1. trtexec工具基础入门第一次接触trtexec时我也被这个命令行工具的参数数量吓到了。但实际用下来发现它就像瑞士军刀一样虽然功能多但每个都很实用。trtexec是TensorRT安装包自带的命令行工具主要用来做三件事模型编译、性能测试和精度验证。安装TensorRT后你可以在bin目录下找到trtexec的可执行文件。我习惯把它加入系统PATH这样在任何目录都能直接调用。最简单的验证方法是运行trtexec --help这个命令会输出所有可用参数虽然看起来密密麻麻但实际常用的也就那么十几个。新手最容易犯的错误是直接拿ONNX模型就跑结果遇到各种报错。这里有个小技巧先用Netron可视化检查模型结构确保没有不支持的算子。我遇到过好几次模型导出时没问题但TensorRT编译失败的情况都是因为用了不支持的算子。2. 静态ONNX模型编译实战静态模型指的是输入输出维度固定的模型。编译这类模型最简单只需要指定onnx路径和输出engine路径trtexec --onnxmodel.onnx --saveEnginemodel.engine但实际项目中我建议加上这些参数trtexec --onnxmodel.onnx \ --saveEnginemodel.engine \ --fp16 \ --workspace2048 \ --verbose--fp16开启FP16精度能显著提升性能--workspace设置显存工作空间大小单位MB--verbose会输出详细编译日志方便调试。编译完成后可以用以下命令测试引擎性能trtexec --loadEnginemodel.engine \ --warmUp500 \ --duration10 \ --iterations100这个命令会先预热500ms然后运行10秒或至少100次推理最后输出详细的性能报告。3. 动态Shape模型处理技巧动态Shape模型在实际业务中很常见比如批处理大小不固定的场景。处理这类模型需要指定min/opt/max三个shapetrtexec --onnxdynamic.onnx \ --minShapesinput:1x3x224x224 \ --optShapesinput:8x3x224x224 \ --maxShapesinput:16x3x224x224 \ --saveEnginedynamic.engine这里有几个经验值minShape通常设为1optShape设为最常用的batch sizemaxShape根据业务需求设置上限推理时可以指定具体shapetrtexec --loadEnginedynamic.engine \ --shapesinput:4x3x224x2244. 高级性能调优指南当模型性能不理想时可以尝试以下调优方法精度调优组合拳trtexec --onnxmodel.onnx \ --best \ --saveEnginemodel.engine--best参数会让TensorRT自动尝试FP32/FP16/INT8三种精度选择最快的方案。内存池优化trtexec --loadEnginemodel.engine \ --memPoolSizeworkspace:1024,dlaSRAM:256这个命令分别设置了workspace和DLA内存池的大小。多流并发测试trtexec --loadEnginemodel.engine \ --streams4 \ --duration10--streams4会创建4个并发流测试多路推理时的性能。5. 常见问题排查手册问题1编译时报错Unsupported ONNX opset version解决方法检查ONNX opset版本TensorRT 8.x建议使用opset 13或14torch.onnx.export(..., opset_version14)问题2推理结果与原始框架不一致解决方法使用--loadInputs指定输入数据trtexec --loadEnginemodel.engine \ --loadInputsinput:input.bin \ --dumpOutput先用numpy保存输入数据到二进制文件然后对比输出结果。问题3DLA加速不生效解决方法明确指定DLA core并允许GPU回退trtexec --onnxmodel.onnx \ --useDLACore0 \ --allowGPUFallback6. 生产环境最佳实践在实际部署中我总结出几个关键点引擎序列化一定要保存编译好的engine文件避免每次启动都重新编译版本一致性确保训练、导出、编译、推理各环节的软件版本一致监控指标使用--exportProfile导出性能数据建立性能基线渐进式优化先保证正确性再逐步尝试FP16/INT8等优化一个完整的生产环境部署脚本示例#!/bin/bash # 编译阶段 trtexec --onnxmodel.onnx \ --saveEnginemodel.engine \ --fp16 \ --workspace2048 \ --minShapesinput:1x3x224x224 \ --optShapesinput:8x3x224x224 \ --maxShapesinput:16x3x224x224 # 验证阶段 trtexec --loadEnginemodel.engine \ --shapesinput:8x3x224x224 \ --warmUp500 \ --duration30 \ --exportProfileprofile.json # 监控GPU状态 nvidia-smi -l 17. 调试与性能分析技巧层信息导出trtexec --loadEnginemodel.engine \ --dumpLayerInfo \ --exportLayerInfolayer.json这个命令会输出引擎的详细层信息包括每层的精度、输入输出维度等。精度分析trtexec --loadEnginemodel.engine \ --dumpProfile \ --profilingVerbositydetailed加上--profilingVerbositydetailed会显示更详细的性能分析数据。内存分析trtexec --loadEnginemodel.engine \ --verbose在verbose模式下可以观察内存分配和使用情况这对优化workspace大小很有帮助。8. 进阶功能探索插件支持 如果需要支持自定义算子可以通过插件实现trtexec --onnxmodel.onnx \ --pluginsmyplugin.so \ --saveEnginemodel.engine安全模式 对于安全敏感场景可以启用安全编译模式trtexec --onnxmodel.onnx \ --safe \ --saveEnginemodel.engine时序缓存 重复编译相似模型时使用时序缓存可以加速编译trtexec --onnxmodel.onnx \ --timingCacheFilecache.cache \ --saveEnginemodel.engine
从入门到精通：trtexec命令行工具在TensorRT模型部署中的实战指南
发布时间：2026/5/16 9:32:10
1. trtexec工具基础入门第一次接触trtexec时我也被这个命令行工具的参数数量吓到了。但实际用下来发现它就像瑞士军刀一样虽然功能多但每个都很实用。trtexec是TensorRT安装包自带的命令行工具主要用来做三件事模型编译、性能测试和精度验证。安装TensorRT后你可以在bin目录下找到trtexec的可执行文件。我习惯把它加入系统PATH这样在任何目录都能直接调用。最简单的验证方法是运行trtexec --help这个命令会输出所有可用参数虽然看起来密密麻麻但实际常用的也就那么十几个。新手最容易犯的错误是直接拿ONNX模型就跑结果遇到各种报错。这里有个小技巧先用Netron可视化检查模型结构确保没有不支持的算子。我遇到过好几次模型导出时没问题但TensorRT编译失败的情况都是因为用了不支持的算子。2. 静态ONNX模型编译实战静态模型指的是输入输出维度固定的模型。编译这类模型最简单只需要指定onnx路径和输出engine路径trtexec --onnxmodel.onnx --saveEnginemodel.engine但实际项目中我建议加上这些参数trtexec --onnxmodel.onnx \ --saveEnginemodel.engine \ --fp16 \ --workspace2048 \ --verbose--fp16开启FP16精度能显著提升性能--workspace设置显存工作空间大小单位MB--verbose会输出详细编译日志方便调试。编译完成后可以用以下命令测试引擎性能trtexec --loadEnginemodel.engine \ --warmUp500 \ --duration10 \ --iterations100这个命令会先预热500ms然后运行10秒或至少100次推理最后输出详细的性能报告。3. 动态Shape模型处理技巧动态Shape模型在实际业务中很常见比如批处理大小不固定的场景。处理这类模型需要指定min/opt/max三个shapetrtexec --onnxdynamic.onnx \ --minShapesinput:1x3x224x224 \ --optShapesinput:8x3x224x224 \ --maxShapesinput:16x3x224x224 \ --saveEnginedynamic.engine这里有几个经验值minShape通常设为1optShape设为最常用的batch sizemaxShape根据业务需求设置上限推理时可以指定具体shapetrtexec --loadEnginedynamic.engine \ --shapesinput:4x3x224x2244. 高级性能调优指南当模型性能不理想时可以尝试以下调优方法精度调优组合拳trtexec --onnxmodel.onnx \ --best \ --saveEnginemodel.engine--best参数会让TensorRT自动尝试FP32/FP16/INT8三种精度选择最快的方案。内存池优化trtexec --loadEnginemodel.engine \ --memPoolSizeworkspace:1024,dlaSRAM:256这个命令分别设置了workspace和DLA内存池的大小。多流并发测试trtexec --loadEnginemodel.engine \ --streams4 \ --duration10--streams4会创建4个并发流测试多路推理时的性能。5. 常见问题排查手册问题1编译时报错Unsupported ONNX opset version解决方法检查ONNX opset版本TensorRT 8.x建议使用opset 13或14torch.onnx.export(..., opset_version14)问题2推理结果与原始框架不一致解决方法使用--loadInputs指定输入数据trtexec --loadEnginemodel.engine \ --loadInputsinput:input.bin \ --dumpOutput先用numpy保存输入数据到二进制文件然后对比输出结果。问题3DLA加速不生效解决方法明确指定DLA core并允许GPU回退trtexec --onnxmodel.onnx \ --useDLACore0 \ --allowGPUFallback6. 生产环境最佳实践在实际部署中我总结出几个关键点引擎序列化一定要保存编译好的engine文件避免每次启动都重新编译版本一致性确保训练、导出、编译、推理各环节的软件版本一致监控指标使用--exportProfile导出性能数据建立性能基线渐进式优化先保证正确性再逐步尝试FP16/INT8等优化一个完整的生产环境部署脚本示例#!/bin/bash # 编译阶段 trtexec --onnxmodel.onnx \ --saveEnginemodel.engine \ --fp16 \ --workspace2048 \ --minShapesinput:1x3x224x224 \ --optShapesinput:8x3x224x224 \ --maxShapesinput:16x3x224x224 # 验证阶段 trtexec --loadEnginemodel.engine \ --shapesinput:8x3x224x224 \ --warmUp500 \ --duration30 \ --exportProfileprofile.json # 监控GPU状态 nvidia-smi -l 17. 调试与性能分析技巧层信息导出trtexec --loadEnginemodel.engine \ --dumpLayerInfo \ --exportLayerInfolayer.json这个命令会输出引擎的详细层信息包括每层的精度、输入输出维度等。精度分析trtexec --loadEnginemodel.engine \ --dumpProfile \ --profilingVerbositydetailed加上--profilingVerbositydetailed会显示更详细的性能分析数据。内存分析trtexec --loadEnginemodel.engine \ --verbose在verbose模式下可以观察内存分配和使用情况这对优化workspace大小很有帮助。8. 进阶功能探索插件支持 如果需要支持自定义算子可以通过插件实现trtexec --onnxmodel.onnx \ --pluginsmyplugin.so \ --saveEnginemodel.engine安全模式 对于安全敏感场景可以启用安全编译模式trtexec --onnxmodel.onnx \ --safe \ --saveEnginemodel.engine时序缓存 重复编译相似模型时使用时序缓存可以加速编译trtexec --onnxmodel.onnx \ --timingCacheFilecache.cache \ --saveEnginemodel.engine
