上周，我帮一家做无人机巡检的客户部署模型。他们的算法工程师在PC上用ONNX Runtime跑YOLOv8n，推理速度30ms，觉得“挺快”。结果一上Jetson Orin NX，直接崩到120ms——无人机飞一圈，画面卡得像幻灯片。客户急了：“同样的模型，怎么差这么多？”我看了眼代码，发现他们还在用Python端跑ONNX，没做任何优化。半小时后，我帮他们换成TensorRT，推理时间压到5ms。对方技术总监当场就笑了：“这才是能上天的东西。”很多人以为“ONNX Runtime + GPU”就够快了，这是最大的误区。ONNX Runtime在Jetson上默认走CUDA执行提供器，但它的图优化和内存管理远不如TensorRT。另一个常见错误是：直接用FP32精度部署，结果显存爆了——Jetson Orin NX只有8GB共享内存，FP32的YOLOv8n光权重就14MB，加上中间张量，推理时轻松吃掉2GB。还有人不做动态形状优化，固定输入尺寸640x640，结果无人机拍到的画面是1920x1080，硬要resize，精度和速度全丢。反例代码——这是我在客户仓库里看到的“危险”写法：importonnxruntimeasortimportcv2importnumpy
【YOLO目标检测全栈实战】36 TensorRT部署实战：YOLOv8n在Jetson Orin上实现5ms推理
发布时间：2026/5/16 14:05:10
上周，我帮一家做无人机巡检的客户部署模型。他们的算法工程师在PC上用ONNX Runtime跑YOLOv8n，推理速度30ms，觉得“挺快”。结果一上Jetson Orin NX，直接崩到120ms——无人机飞一圈，画面卡得像幻灯片。客户急了：“同样的模型，怎么差这么多？”我看了眼代码，发现他们还在用Python端跑ONNX，没做任何优化。半小时后，我帮他们换成TensorRT，推理时间压到5ms。对方技术总监当场就笑了：“这才是能上天的东西。”很多人以为“ONNX Runtime + GPU”就够快了，这是最大的误区。ONNX Runtime在Jetson上默认走CUDA执行提供器，但它的图优化和内存管理远不如TensorRT。另一个常见错误是：直接用FP32精度部署，结果显存爆了——Jetson Orin NX只有8GB共享内存，FP32的YOLOv8n光权重就14MB，加上中间张量，推理时轻松吃掉2GB。还有人不做动态形状优化，固定输入尺寸640x640，结果无人机拍到的画面是1920x1080，硬要resize，精度和速度全丢。反例代码——这是我在客户仓库里看到的“危险”写法：importonnxruntimeasortimportcv2importnumpy
![3分钟掌握GraphGPT：用AI将自然语言秒变知识图谱的惊人技巧 [特殊字符]](http://pic.xiahunao.cn/yaotu/3分钟掌握GraphGPT：用AI将自然语言秒变知识图谱的惊人技巧 [特殊字符])
