CANN 端侧部署实战模型转换与服务化如何将训练好的模型快速部署到昇腾端侧设备本文详解模型格式转换、端侧优化与服务化部署的完整流程。—一、端侧部署概述1.1 端侧部署的挑战与数据中心训练不同端侧部署面临独特的约束算力受限端侧设备如昇腾 310 的算力远低于 910、内存有限、功耗敏感、延迟要求严苛。在昇腾 910 上能实时推理的模型迁移到昇腾 310 可能需要进一步优化才能满足实时性要求。端侧部署的核心挑战在于适配不同算子、减少内存占用、降低推理延迟。CANN 提供了完整的端侧工具链从模型转换到推理引擎再到服务化部署帮助开发者将训练模型高效部署到各种昇腾硬件。1.2 端侧部署架构┌──────────────────────────────────────────────────┐ │ CANN 端侧部署架构 │ ├──────────────────────────────────────────────────┤ │ │ │ 训练侧数据中心 │ │ ┌─────────┐ ┌─────────┐ ┌─────────┐ │ │ │ PyTorch │→│ ONNX │→│ ACL │ │ │ │ / TF │ │ 中间格式 │ │ .om 模型 │ │ │ └─────────┘ └─────────┘ └─────────┘ │ │ │ │ │ │ │ └──────────────┴────────────┘ │ │ 模型转换ATC │ │ │ │ 端侧昇腾设备 │ │ ┌─────────┐ ┌─────────┐ ┌─────────┐ │ │ │ ACL │→│ 引擎 │→│ 服务化 │ │ │ │ 推理 │ │ 调度 │ │ 部署 │ │ │ └─────────┘ └─────────┘ └─────────┘ │ │ │ └──────────────────────────────────────────────────┘1.3 端侧设备选型设备算力FP16显存功耗适用场景昇腾 31022 TFLOPS8 GB7W边缘推理、IPC、摄像头昇腾 910256 TFLOPS32 GB310W数据中心训练/推理昇腾 310P70 TFLOPS12 GB25W边缘服务器、自动驾驶二、模型格式转换2.1 支持的输入格式CANN 支持多种主流训练框架的模型格式框架输入格式说明PyTorch.pt, .pth, .onnx需转换为 ONNXTensorFlow.pb, SavedModel冻结图或 SavedModelONNX.onnx中间格式推荐MindSpore.mindir华为自研框架转换路径优先级PyTorch → ONNX → .om推荐路径 TensorFlow → ONNX → .om MindSpore → .mindir → .om2.2 PyTorch 转 ONNXPyTorch 模型需要先转换为 ONNX 格式再通过 ATC 转为 .om8.1 及之前简单 exportimporttorch modelMyModel()model.eval()# 简单 export静态 shapetorch.onnx.export(model,argstorch.randn(1,3,224,224),fmodel.onnx,input_names[input],output_names[output],dynamic_axesNone# 静态 shape)8.2 新增动态 shape 支持importtorch modelMyModel()model.eval()# 动态 shape export支持变长输入torch.onnx.export(model,argstorch.randn(1,3,224,224),fmodel_dynamic.onnx,input_names[input],output_names[output],dynamic_axes{input:{0:batch_size,2:height,3:width},output:{0:batch_size}},opset_version13,# 建议使用 13 以上keep_initializers_as_inputsFalse)# 验证 ONNX 模型importonnx model_onnxonnx.load(model_dynamic.onnx)onnx.checker.check_model(model_onnx)print(fONNX model validated successfully)2.3 ONNX 模型简化转换后的 ONNX 模型可能包含冗余节点需要简化后再转换8.1 及之前手动简化# 使用 onnx-simplifier需手动调用python-monnxsim model.onnx model_simplified.onnx8.2 新增ATC 内置简化# ATC 自动处理图简化atc--modelmodel.onnx\--framework5\--outputmodel\--input_shapeinput:1,3,224,224\--input_formatNCHW\--soc_versionAscend310\--graph_optimize_modeENABLE# 启用内置图优化2.4 ATC 模型转换ATCAscend Tensor Compiler是 CANN 的模型转换核心工具基础转换命令atc\--model/path/to/model.onnx\--framework5\--output/path/to/model\--input_shapeinput:1,3,224,224\--input_formatNCHW\--soc_versionAscend310\--logINFO进阶转换命令带优化atc\--model/path/to/model.onnx\--framework5\--output/path/to/model\--input_shapeinput:1,3,-1,-1\--dynamic_dims224,256;224,288;224,320\--input_formatNCHW\--soc_versionAscend310\--precision_modeallow_fp32_to_fp16\--op_select_implmodehigh_precision\--output_typeFP16\--insert_batchnorm_mode0\--graph_optimize_modeGP_ENHANCE\--enable_single_stream1\--logINFO关键参数说明参数说明推荐值precision_mode精度模式allow_fp32_to_fp16op_select_implmode算子实现模式high_precisiongraph_optimize_mode图优化级别GP_ENHANCEenable_single_stream单流优化1推理推荐dynamic_dims动态 shape 候选224,256;224,288三、ACL 推理引擎3.1 ACL 架构ACLAscend Computing Language是昇腾的推理运行时提供了 C 和 Python 接口┌──────────────────────────────────────────────────┐ │ ACL 推理架构 │ ├──────────────────────────────────────────────────┤ │ ┌─────────┐ ┌─────────┐ ┌─────────┐ │ │ │ 模型 │→│ 引擎 │→│ 数据 │ │ │ │ 加载 │ │ 执行 │ │ 拷贝 │ │ │ └─────────┘ └─────────┘ └─────────┘ │ │ │ │ │ │ │ ┌────┴────────────┴────────────┴────┐ │ │ │ 昇腾硬件抽象层 │ │ │ └────────────────────────────────────┘ │ └──────────────────────────────────────────────────┘3.2 ACL C 推理基础推理流程#includeacl/acl.h#includeacl/ops/acl_dvpp.h// ACL 初始化voidInitACL(){aclError ret;// 初始化 Contextretacl.init();retacl.set_device(0);// 选择设备 0// 创建 ContextaclrtContext context;retacl.rt.create_context(context);}// 模型加载aclmdlDescPtr modelDesc;aclmdlDatasetPtr inputDataset;aclmdlDatasetPtr outputDataset;voidLoadModel(conststd::stringmodelPath){uint32_tmodelId;size_t modelSize;// 读取模型文件std::ifstreamfile(modelPath,std::ios::binary);file.seekg(0,std::ios::end);modelSizefile.tellg();file.seekg(0,std::ios::beg);std::unique_ptrchar[]modelData(newchar[modelSize]);file.read(modelData.get(),modelSize);// 加载模型aclmdlLoadFromMem(modelData.get(),modelSize,modelId);// 获取模型描述modelDescacl.mdl.create_desc();acl.mdl.get_desc(modelDesc,modelId);}// 推理执行voidInference(void*inputData,void*outputData,size_t dataSize){// 准备输入inputDatasetacl.mdl.create_dataset();aclmdlDataBufferPtr inputBufferacl.mdl.create_data_buffer(inputData,dataSize);acl.mdl.add_dataset_buffer(inputDataset,inputBuffer);// 准备输出outputDatasetacl.mdl.create_dataset();aclmdlDataBufferPtr outputBufferacl.mdl.create_data_buffer(outputData,outputSize);acl.mdl.add_dataset_buffer(outputDataset,outputBuffer);// 执行推理acl.mdl.execute(modelId,inputDataset,outputDataset);// 释放数据acl.mdl.destroy_data_buffer(inputBuffer);acl.mdl.destroy_data_buffer(outputBuffer);acl.mdl.destroy_dataset(inputDataset);acl.mdl.destroy_dataset(outputDataset);}3.3 ACL Python 推理Python 接口更易用适合快速部署8.1 及之前acl弟弟接口importacldefinit_acl():retacl.init()retacl.set_device(0)context,retacl.rt.create_context()stream,retacl.rt.create_stream()returnstreamdefinference(model_path,input_data):# 加载模型model_id,retacl.mdl.load_from_file(model_path)# 准备输入input_datasetacl.mdl.create_dataset()input_bufferacl.mdl.create_data_buffer(input_data)acl.mdl.add_dataset_buffer(input_dataset,input_buffer)# 执行acl.mdl.execute(model_id,input_dataset,output_dataset)returnoutput_data8.2 新增高层接口简化调用fromascend.aclimportAclModel# 一行代码加载模型modelAclModel(model_path/path/to/model.om)# 自动类型转换input_datanp.random.randn(1,3,224,224).astype(np.float32)# 推理自动管理输入输出outputmodel.predict(input_data)# 输出即为 numpy 数组print(fOutput shape:{output.shape})3.4 模型预热首次推理会有初始化开销需要预热fromascend.aclimportAclModel modelAclModel(model_path/path/to/model.om)# 预热执行一次空推理warmup_inputnp.random.randn(1,3,224,224).astype(np.float32)for_inrange(5):_model.predict(warmup_input)print(Model warmed up, ready for real inference)四、服务化部署4.1 推理服务架构端侧推理服务化需要考虑并发处理、延迟优化、资源管理┌──────────────────────────────────────────────────┐ │ 推理服务化架构 │ ├──────────────────────────────────────────────────┤ │ ┌─────────┐ ┌─────────┐ ┌─────────┐ │ │ │ HTTP │→│ 请求 │→│ 模型 │ │ │ │ 服务 │ │ 队列 │ │ 池 │ │ │ └─────────┘ └─────────┘ └─────────┘ │ │ │ │ │ │ │ ┌────┴────────────┴────────────┴────┐ │ │ │ 多模型并行推理 │ │ │ └────────────────────────────────────┘ │ └──────────────────────────────────────────────────┘4.2 基于 Flask 的简单服务基础 Flask 服务fromflaskimportFlask,request,jsonifyimportnumpyasnpfromascend.aclimportAclModelfromthreadingimportLock appFlask(__name__)# 模型实例线程安全model_lockLock()modelNonedefload_model():globalmodel modelAclModel(model_path/path/to/model.om)# 预热warmupnp.random.randn(1,3,224,224).astype(np.float32)for_inrange(3):model.predict(warmup)app.route(/predict,methods[POST])defpredict():ifmodelisNone:returnjsonify({error:Model not loaded}),500# 解析输入datarequest.json input_arraynp.array(data[input],dtypenp.float32)# 推理withmodel_lock:outputmodel.predict(input_array)# 返回结果returnjsonify({output:output.tolist(),shape:output.shape})app.route(/health,methods[GET])defhealth():returnjsonify({status:ok,model_loaded:modelisnotNone})if__name____main__:load_model()app.run(host0.0.0.0,port8080,threadedTrue)4.3 异步批处理服务高并发场景下异步批处理可显著提升吞吐8.1 及之前同步单请求# 每个请求单独处理吞吐低defpredict_sync(data):returnmodel.predict(data)8.2 新增异步批处理importasynciofromthreadingimportThreadfromcollectionsimportdequeclassAsyncBatchedInference:def__init__(self,model_path,max_batch_size32,max_wait_ms50):self.modelAclModel(model_path)self.max_batch_sizemax_batch_size self.max_wait_msmax_wait_ms self.request_queuedeque()self.results{}self.runningTrue# 启动批处理线程self.process_threadThread(targetself._process_loop)self.process_thread.start()def_process_loop(self):后台批处理循环whileself.running:batch[]start_timetime.time()# 收集请求直到 batch 满或超时whilelen(batch)self.max_batch_size:iftime.time()-start_timeself.max_wait_ms/1000:break# 从队列取请求最多等 5mstry:requestself.request_queue.popleft()batch.append(request)exceptIndexError:time.sleep(0.005)ifbatch:# 批量推理inputsnp.stack([r[input]forrinbatch])outputsself.model.predict(inputs)# 分发结果fori,requestinenumerate(batch):request[future].set_result(outputs[i])asyncdefpredict_async(self,input_data):异步预测接口futureasyncio.Future()self.request_queue.append({input:input_data,future:future})returnawaitfuture# 使用inference_serverAsyncBatchedInference(/path/to/model.om)asyncdefhandle_request(data):resultawaitinference_server.predict_async(data)returnresult4.4 模型版本管理生产环境中需要支持模型热更新classVersionedModelServer:def__init__(self,model_dir/models):self.model_dirmodel_dir self.current_versionNoneself.models{}self.lockLock()defload_version(self,version):model_pathf{self.model_dir}/model_v{version}.omself.models[version]AclModel(model_path)withself.lock:ifself.current_versionisNone:self.current_versionversionprint(fModel version{version}loaded)defswitch_version(self,version):ifversionnotinself.models:self.load_version(version)withself.lock:old_versionself.current_version self.current_versionversion# 旧版本在所有请求处理完后可释放returnold_versiondefpredict(self,input_data):withself.lock:modelself.models[self.current_version]returnmodel.predict(input_data)# 滚动更新示例serverVersionedModelServer(/models)server.load_version(1.0)# 收到新版本后oldserver.switch_version(1.1)# 切换到新版本# 旧版本资源可后续释放五、性能优化5.1 延迟优化端侧推理延迟是关键指标需要从多个层面优化内存拷贝优化避免 CPU 和 NPU 之间的不必要数据拷贝# 8.1 及之前频繁拷贝definference_old(input_data):# 输入从 CPU 拷到 NPUinput_npuinput_data.npu()outputmodel.predict(input_npu)# 输出从 NPU 拷回 CPUreturnoutput.cpu()# 8.2 新增零拷贝definference_new(input_data):# 使用 pinned memory 和异步拷贝input_npuinput_data.npu()outputmodel.predict(input_npu)returnoutput# 直接返回 NPU tensorbatch 处理优化适当增大 batch 可提升吞吐# 单请求延迟 vs 批处理吞吐forbatch_sizein[1,4,8,16]:latencies[]for_inrange(100):starttime.time()# 合并 batch 推理outputmodel.predict(batch_input)latencies.append(time.time()-start)avg_latencynp.mean(latencies)throughputbatch_size/avg_latencyprint(fBatch{batch_size}: latency{avg_latency:.3f}s, throughput{throughput:.1f}fps)5.2 显存优化端侧设备显存有限需要精细管理# 使用 torch inference mode 减少显存占用withtorch.inference_mode():outputmodel(input)# 释放中间张量delintermediate_tensor# 强制垃圾回收importgc gc.collect()torch.npu.empty_cache()动态 shape 优化合理设置动态维度范围避免预分配过多显存# 设置动态 shape 范围而非列举所有可能atc--input_shapebatch:1,3,-1,-1\--dynamic_dims224,224;320,3205.3 Profiling 与瓶颈分析# 启用 ProfilingexportASCEND_PROFILING_ENABLE1exportASCEND_PROFILING_OUTPUT_PATH/path/to/profiling# 运行推理python inference.py# 生成报告ascend-sn report--input/path/to/profiling--output/path/to/report六、部署方案对比方案适用场景优点缺点ACL C延迟敏感最低延迟开发成本高ACL Python快速原型易用性能略低Flask HTTP简单服务通用延迟高异步批处理高吞吐吞吐高延迟波动Triton生产级功能全配置复杂七、常见问题排查问题原因解决方案模型加载失败.om 文件损坏重新用 ATC 转换推理超时模型太复杂简化模型或降低精度显存不足batch size 过大减小 batch 或优化显存输出为 NaN输入范围异常检查输入归一化精度下降量化过激使用 higher precision_mode相关仓库ACL- 推理引擎 C 接口 https://gitee.com/ascend/ascend-clatc- 模型转换工具 https://gitee.com/ascend/atcFlask- HTTP 服务框架 https://gitee.com/pallets/flask
CANN 端侧部署实战：模型转换与服务化
发布时间：2026/5/22 6:20:32
CANN 端侧部署实战模型转换与服务化如何将训练好的模型快速部署到昇腾端侧设备本文详解模型格式转换、端侧优化与服务化部署的完整流程。—一、端侧部署概述1.1 端侧部署的挑战与数据中心训练不同端侧部署面临独特的约束算力受限端侧设备如昇腾 310 的算力远低于 910、内存有限、功耗敏感、延迟要求严苛。在昇腾 910 上能实时推理的模型迁移到昇腾 310 可能需要进一步优化才能满足实时性要求。端侧部署的核心挑战在于适配不同算子、减少内存占用、降低推理延迟。CANN 提供了完整的端侧工具链从模型转换到推理引擎再到服务化部署帮助开发者将训练模型高效部署到各种昇腾硬件。1.2 端侧部署架构┌──────────────────────────────────────────────────┐ │ CANN 端侧部署架构 │ ├──────────────────────────────────────────────────┤ │ │ │ 训练侧数据中心 │ │ ┌─────────┐ ┌─────────┐ ┌─────────┐ │ │ │ PyTorch │→│ ONNX │→│ ACL │ │ │ │ / TF │ │ 中间格式 │ │ .om 模型 │ │ │ └─────────┘ └─────────┘ └─────────┘ │ │ │ │ │ │ │ └──────────────┴────────────┘ │ │ 模型转换ATC │ │ │ │ 端侧昇腾设备 │ │ ┌─────────┐ ┌─────────┐ ┌─────────┐ │ │ │ ACL │→│ 引擎 │→│ 服务化 │ │ │ │ 推理 │ │ 调度 │ │ 部署 │ │ │ └─────────┘ └─────────┘ └─────────┘ │ │ │ └──────────────────────────────────────────────────┘1.3 端侧设备选型设备算力FP16显存功耗适用场景昇腾 31022 TFLOPS8 GB7W边缘推理、IPC、摄像头昇腾 910256 TFLOPS32 GB310W数据中心训练/推理昇腾 310P70 TFLOPS12 GB25W边缘服务器、自动驾驶二、模型格式转换2.1 支持的输入格式CANN 支持多种主流训练框架的模型格式框架输入格式说明PyTorch.pt, .pth, .onnx需转换为 ONNXTensorFlow.pb, SavedModel冻结图或 SavedModelONNX.onnx中间格式推荐MindSpore.mindir华为自研框架转换路径优先级PyTorch → ONNX → .om推荐路径 TensorFlow → ONNX → .om MindSpore → .mindir → .om2.2 PyTorch 转 ONNXPyTorch 模型需要先转换为 ONNX 格式再通过 ATC 转为 .om8.1 及之前简单 exportimporttorch modelMyModel()model.eval()# 简单 export静态 shapetorch.onnx.export(model,argstorch.randn(1,3,224,224),fmodel.onnx,input_names[input],output_names[output],dynamic_axesNone# 静态 shape)8.2 新增动态 shape 支持importtorch modelMyModel()model.eval()# 动态 shape export支持变长输入torch.onnx.export(model,argstorch.randn(1,3,224,224),fmodel_dynamic.onnx,input_names[input],output_names[output],dynamic_axes{input:{0:batch_size,2:height,3:width},output:{0:batch_size}},opset_version13,# 建议使用 13 以上keep_initializers_as_inputsFalse)# 验证 ONNX 模型importonnx model_onnxonnx.load(model_dynamic.onnx)onnx.checker.check_model(model_onnx)print(fONNX model validated successfully)2.3 ONNX 模型简化转换后的 ONNX 模型可能包含冗余节点需要简化后再转换8.1 及之前手动简化# 使用 onnx-simplifier需手动调用python-monnxsim model.onnx model_simplified.onnx8.2 新增ATC 内置简化# ATC 自动处理图简化atc--modelmodel.onnx\--framework5\--outputmodel\--input_shapeinput:1,3,224,224\--input_formatNCHW\--soc_versionAscend310\--graph_optimize_modeENABLE# 启用内置图优化2.4 ATC 模型转换ATCAscend Tensor Compiler是 CANN 的模型转换核心工具基础转换命令atc\--model/path/to/model.onnx\--framework5\--output/path/to/model\--input_shapeinput:1,3,224,224\--input_formatNCHW\--soc_versionAscend310\--logINFO进阶转换命令带优化atc\--model/path/to/model.onnx\--framework5\--output/path/to/model\--input_shapeinput:1,3,-1,-1\--dynamic_dims224,256;224,288;224,320\--input_formatNCHW\--soc_versionAscend310\--precision_modeallow_fp32_to_fp16\--op_select_implmodehigh_precision\--output_typeFP16\--insert_batchnorm_mode0\--graph_optimize_modeGP_ENHANCE\--enable_single_stream1\--logINFO关键参数说明参数说明推荐值precision_mode精度模式allow_fp32_to_fp16op_select_implmode算子实现模式high_precisiongraph_optimize_mode图优化级别GP_ENHANCEenable_single_stream单流优化1推理推荐dynamic_dims动态 shape 候选224,256;224,288三、ACL 推理引擎3.1 ACL 架构ACLAscend Computing Language是昇腾的推理运行时提供了 C 和 Python 接口┌──────────────────────────────────────────────────┐ │ ACL 推理架构 │ ├──────────────────────────────────────────────────┤ │ ┌─────────┐ ┌─────────┐ ┌─────────┐ │ │ │ 模型 │→│ 引擎 │→│ 数据 │ │ │ │ 加载 │ │ 执行 │ │ 拷贝 │ │ │ └─────────┘ └─────────┘ └─────────┘ │ │ │ │ │ │ │ ┌────┴────────────┴────────────┴────┐ │ │ │ 昇腾硬件抽象层 │ │ │ └────────────────────────────────────┘ │ └──────────────────────────────────────────────────┘3.2 ACL C 推理基础推理流程#includeacl/acl.h#includeacl/ops/acl_dvpp.h// ACL 初始化voidInitACL(){aclError ret;// 初始化 Contextretacl.init();retacl.set_device(0);// 选择设备 0// 创建 ContextaclrtContext context;retacl.rt.create_context(context);}// 模型加载aclmdlDescPtr modelDesc;aclmdlDatasetPtr inputDataset;aclmdlDatasetPtr outputDataset;voidLoadModel(conststd::stringmodelPath){uint32_tmodelId;size_t modelSize;// 读取模型文件std::ifstreamfile(modelPath,std::ios::binary);file.seekg(0,std::ios::end);modelSizefile.tellg();file.seekg(0,std::ios::beg);std::unique_ptrchar[]modelData(newchar[modelSize]);file.read(modelData.get(),modelSize);// 加载模型aclmdlLoadFromMem(modelData.get(),modelSize,modelId);// 获取模型描述modelDescacl.mdl.create_desc();acl.mdl.get_desc(modelDesc,modelId);}// 推理执行voidInference(void*inputData,void*outputData,size_t dataSize){// 准备输入inputDatasetacl.mdl.create_dataset();aclmdlDataBufferPtr inputBufferacl.mdl.create_data_buffer(inputData,dataSize);acl.mdl.add_dataset_buffer(inputDataset,inputBuffer);// 准备输出outputDatasetacl.mdl.create_dataset();aclmdlDataBufferPtr outputBufferacl.mdl.create_data_buffer(outputData,outputSize);acl.mdl.add_dataset_buffer(outputDataset,outputBuffer);// 执行推理acl.mdl.execute(modelId,inputDataset,outputDataset);// 释放数据acl.mdl.destroy_data_buffer(inputBuffer);acl.mdl.destroy_data_buffer(outputBuffer);acl.mdl.destroy_dataset(inputDataset);acl.mdl.destroy_dataset(outputDataset);}3.3 ACL Python 推理Python 接口更易用适合快速部署8.1 及之前acl弟弟接口importacldefinit_acl():retacl.init()retacl.set_device(0)context,retacl.rt.create_context()stream,retacl.rt.create_stream()returnstreamdefinference(model_path,input_data):# 加载模型model_id,retacl.mdl.load_from_file(model_path)# 准备输入input_datasetacl.mdl.create_dataset()input_bufferacl.mdl.create_data_buffer(input_data)acl.mdl.add_dataset_buffer(input_dataset,input_buffer)# 执行acl.mdl.execute(model_id,input_dataset,output_dataset)returnoutput_data8.2 新增高层接口简化调用fromascend.aclimportAclModel# 一行代码加载模型modelAclModel(model_path/path/to/model.om)# 自动类型转换input_datanp.random.randn(1,3,224,224).astype(np.float32)# 推理自动管理输入输出outputmodel.predict(input_data)# 输出即为 numpy 数组print(fOutput shape:{output.shape})3.4 模型预热首次推理会有初始化开销需要预热fromascend.aclimportAclModel modelAclModel(model_path/path/to/model.om)# 预热执行一次空推理warmup_inputnp.random.randn(1,3,224,224).astype(np.float32)for_inrange(5):_model.predict(warmup_input)print(Model warmed up, ready for real inference)四、服务化部署4.1 推理服务架构端侧推理服务化需要考虑并发处理、延迟优化、资源管理┌──────────────────────────────────────────────────┐ │ 推理服务化架构 │ ├──────────────────────────────────────────────────┤ │ ┌─────────┐ ┌─────────┐ ┌─────────┐ │ │ │ HTTP │→│ 请求 │→│ 模型 │ │ │ │ 服务 │ │ 队列 │ │ 池 │ │ │ └─────────┘ └─────────┘ └─────────┘ │ │ │ │ │ │ │ ┌────┴────────────┴────────────┴────┐ │ │ │ 多模型并行推理 │ │ │ └────────────────────────────────────┘ │ └──────────────────────────────────────────────────┘4.2 基于 Flask 的简单服务基础 Flask 服务fromflaskimportFlask,request,jsonifyimportnumpyasnpfromascend.aclimportAclModelfromthreadingimportLock appFlask(__name__)# 模型实例线程安全model_lockLock()modelNonedefload_model():globalmodel modelAclModel(model_path/path/to/model.om)# 预热warmupnp.random.randn(1,3,224,224).astype(np.float32)for_inrange(3):model.predict(warmup)app.route(/predict,methods[POST])defpredict():ifmodelisNone:returnjsonify({error:Model not loaded}),500# 解析输入datarequest.json input_arraynp.array(data[input],dtypenp.float32)# 推理withmodel_lock:outputmodel.predict(input_array)# 返回结果returnjsonify({output:output.tolist(),shape:output.shape})app.route(/health,methods[GET])defhealth():returnjsonify({status:ok,model_loaded:modelisnotNone})if__name____main__:load_model()app.run(host0.0.0.0,port8080,threadedTrue)4.3 异步批处理服务高并发场景下异步批处理可显著提升吞吐8.1 及之前同步单请求# 每个请求单独处理吞吐低defpredict_sync(data):returnmodel.predict(data)8.2 新增异步批处理importasynciofromthreadingimportThreadfromcollectionsimportdequeclassAsyncBatchedInference:def__init__(self,model_path,max_batch_size32,max_wait_ms50):self.modelAclModel(model_path)self.max_batch_sizemax_batch_size self.max_wait_msmax_wait_ms self.request_queuedeque()self.results{}self.runningTrue# 启动批处理线程self.process_threadThread(targetself._process_loop)self.process_thread.start()def_process_loop(self):后台批处理循环whileself.running:batch[]start_timetime.time()# 收集请求直到 batch 满或超时whilelen(batch)self.max_batch_size:iftime.time()-start_timeself.max_wait_ms/1000:break# 从队列取请求最多等 5mstry:requestself.request_queue.popleft()batch.append(request)exceptIndexError:time.sleep(0.005)ifbatch:# 批量推理inputsnp.stack([r[input]forrinbatch])outputsself.model.predict(inputs)# 分发结果fori,requestinenumerate(batch):request[future].set_result(outputs[i])asyncdefpredict_async(self,input_data):异步预测接口futureasyncio.Future()self.request_queue.append({input:input_data,future:future})returnawaitfuture# 使用inference_serverAsyncBatchedInference(/path/to/model.om)asyncdefhandle_request(data):resultawaitinference_server.predict_async(data)returnresult4.4 模型版本管理生产环境中需要支持模型热更新classVersionedModelServer:def__init__(self,model_dir/models):self.model_dirmodel_dir self.current_versionNoneself.models{}self.lockLock()defload_version(self,version):model_pathf{self.model_dir}/model_v{version}.omself.models[version]AclModel(model_path)withself.lock:ifself.current_versionisNone:self.current_versionversionprint(fModel version{version}loaded)defswitch_version(self,version):ifversionnotinself.models:self.load_version(version)withself.lock:old_versionself.current_version self.current_versionversion# 旧版本在所有请求处理完后可释放returnold_versiondefpredict(self,input_data):withself.lock:modelself.models[self.current_version]returnmodel.predict(input_data)# 滚动更新示例serverVersionedModelServer(/models)server.load_version(1.0)# 收到新版本后oldserver.switch_version(1.1)# 切换到新版本# 旧版本资源可后续释放五、性能优化5.1 延迟优化端侧推理延迟是关键指标需要从多个层面优化内存拷贝优化避免 CPU 和 NPU 之间的不必要数据拷贝# 8.1 及之前频繁拷贝definference_old(input_data):# 输入从 CPU 拷到 NPUinput_npuinput_data.npu()outputmodel.predict(input_npu)# 输出从 NPU 拷回 CPUreturnoutput.cpu()# 8.2 新增零拷贝definference_new(input_data):# 使用 pinned memory 和异步拷贝input_npuinput_data.npu()outputmodel.predict(input_npu)returnoutput# 直接返回 NPU tensorbatch 处理优化适当增大 batch 可提升吞吐# 单请求延迟 vs 批处理吞吐forbatch_sizein[1,4,8,16]:latencies[]for_inrange(100):starttime.time()# 合并 batch 推理outputmodel.predict(batch_input)latencies.append(time.time()-start)avg_latencynp.mean(latencies)throughputbatch_size/avg_latencyprint(fBatch{batch_size}: latency{avg_latency:.3f}s, throughput{throughput:.1f}fps)5.2 显存优化端侧设备显存有限需要精细管理# 使用 torch inference mode 减少显存占用withtorch.inference_mode():outputmodel(input)# 释放中间张量delintermediate_tensor# 强制垃圾回收importgc gc.collect()torch.npu.empty_cache()动态 shape 优化合理设置动态维度范围避免预分配过多显存# 设置动态 shape 范围而非列举所有可能atc--input_shapebatch:1,3,-1,-1\--dynamic_dims224,224;320,3205.3 Profiling 与瓶颈分析# 启用 ProfilingexportASCEND_PROFILING_ENABLE1exportASCEND_PROFILING_OUTPUT_PATH/path/to/profiling# 运行推理python inference.py# 生成报告ascend-sn report--input/path/to/profiling--output/path/to/report六、部署方案对比方案适用场景优点缺点ACL C延迟敏感最低延迟开发成本高ACL Python快速原型易用性能略低Flask HTTP简单服务通用延迟高异步批处理高吞吐吞吐高延迟波动Triton生产级功能全配置复杂七、常见问题排查问题原因解决方案模型加载失败.om 文件损坏重新用 ATC 转换推理超时模型太复杂简化模型或降低精度显存不足batch size 过大减小 batch 或优化显存输出为 NaN输入范围异常检查输入归一化精度下降量化过激使用 higher precision_mode相关仓库ACL- 推理引擎 C 接口 https://gitee.com/ascend/ascend-clatc- 模型转换工具 https://gitee.com/ascend/atcFlask- HTTP 服务框架 https://gitee.com/pallets/flask
