1. 项目概述为什么Jetson Nano Developer Kit至今仍是边缘AI的“敲门砖”如果你对在小型设备上跑人工智能模型感兴趣或者想亲手打造一个能看、能听、能思考的智能硬件项目那么“Jetson Nano Developer Kit”这个名字你一定不陌生。它本质上是一块由英伟达推出的、信用卡大小的单板计算机但其核心价值远不止于此。它是一套完整的、面向开发者的边缘AI计算平台让你能以相对低廉的成本和极小的功耗将强大的AI推理能力部署到现实世界的各种设备中。从智能摄像头、自主机器人到工业质检设备Jetson Nano 的身影无处不在。尽管后续有了性能更强的 Jetson Orin Nano 等产品但 Nano 凭借其极佳的性价比和庞大的社区生态依然是无数开发者和学生进入边缘AI领域的首选“启蒙导师”和“原型验证利器”。我最初接触它是为了给一个校园安防巡检机器人项目寻找一个合适的大脑。当时需要在有限的预算和功耗下实现实时的人脸识别和障碍物检测。对比了树莓派加USB加速棒等多种方案后Jetson Nano Developer Kit 以其内置的128核Maxwell架构GPU和完整的CUDA生态支持脱颖而出。它不是一个需要你从零搭建操作系统的裸板而是一个开箱即用的开发套件包含了载板、散热风扇、甚至预装了系统的MicroSD卡在部分版本中让你拿到手通电就能开始编写AI应用。对于初学者它能帮你绕过复杂的底层环境配置直接聚焦于AI模型的应用与优化对于有经验的开发者它则是一个功能强大、接口丰富的快速原型平台。接下来我将结合自己多次从零部署项目的经验为你深度拆解这块板子的核心玩法、避坑指南以及如何让它真正“跑”起来。2. 核心硬件与接口全解析不只是“能开机”那么简单拿到Jetson Nano Developer Kit第一件事不是急着上电而是花几分钟认清它的“五官四肢”。了解每个接口的用途和限制能在后续开发中避免很多头疼的问题。2.1 核心计算模块GPU是灵魂供电是血脉Jetson Nano 的核心是一颗 Tegra X1 系统级芯片SoC。对我们开发者而言最需要关注的是其内置的128核 NVIDIA Maxwell 架构 GPU。正是这个GPU让它在处理图像识别、目标检测等并行计算任务时性能远超同价位的通用CPU。它的CPU部分是4核ARM Cortex-A57对于运行Linux系统和一般的应用程序逻辑也完全足够。供电部分有两个选择这也是新手最容易踩的第一个坑。板载了一个Micro-USB 接口和一个筒形直流电源接口。官方强烈建议只要你不是在运行最最基础的演示程序都请务必使用筒形直流电源接口5V⎓ 4A供电。我吃过亏用Micro-USB供电跑YOLOv5推理一开始似乎正常但一旦计算负载上来立刻就会因为供电不足导致系统不稳定、随机重启甚至损坏MicroSD卡上的系统。直流电源接口能提供稳定足额的功率确保GPU满血运行。如果你需要连接摄像头、USB设备等外设充足的供电更是基础保障。2.2 关键外设接口连接现实世界的桥梁摄像头接口板载了两个MIPI CSI-2摄像头接口。这是连接官方或第三方CSI摄像头模组如Raspberry Pi Camera的高速通道。如果你想做计算机视觉项目这是首选因为其带宽高、延迟低驱动程序集成也好。很多人在问能否用USB摄像头答案是肯定的通用性更强但会占用USB带宽并增加一定的CPU解码开销。显示与扩展接口HDMI 和 DisplayPort用于连接显示器。注意它不支持即插即用通常需要在系统启动前就接好。GPIO 引脚40-pin这是与树莓派兼容的GPIO排针你可以通过它连接传感器如超声波、温湿度、控制电机、读取按钮状态等是实现与物理世界交互的关键。使用前需要安装Jetson.GPIO库。USB 3.0 USB 2.0连接键鼠、U盘、USB网卡、USB摄像头等。注意USB总带宽是共享的连接过多高速设备可能会互相影响。网络与存储千兆以太网稳定的有线网络连接用于下载安装包、更新系统、进行远程登录SSH至关重要。MicroSD 卡槽这是系统的“硬盘”。卡的速度直接决定了系统运行的流畅度。我强烈建议使用至少UHS-I Speed Class 3 (U3)或A2级别的MicroSD卡。用过普通的C10卡系统操作卡顿安装软件慢到怀疑人生。换用A2级别的卡后体验提升巨大。M.2 Key E 接口在底板背面这是一个宝藏接口可以用于安装Wi-Fi/蓝牙模块或NVMe SSD转接卡。如果你觉得MicroSD卡存储不够快或不够大通过这个接口转接一个NVMe SSD作为系统盘将是质的飞跃无论是启动速度还是软件编译速度。3. 系统初始化与环境配置打造稳固的开发地基系统初始化是万里长征第一步这一步走稳了后面能省去无数麻烦。3.1 系统烧录与首次启动官方推荐使用 NVIDIA SDK Manager 进行系统烧录但对于Jetson Nano更通用简单的方法是直接下载JetPack SDK中的系统镜像文件。JetPack是英伟达为Jetson系列提供的软件开发包包含了操作系统基于Ubuntu、CUDA、cuDNN、TensorRT等核心组件。下载镜像前往英伟达开发者网站找到Jetson Nano下载最新版本的JetPack镜像如JetPack 4.6或5.x系列注意Nano对最新版本的支持情况。通常是一个.img文件。烧录到MicroSD卡使用balenaEtcher或Raspberry Pi Imager这类工具将镜像文件烧录到你的高速MicroSD卡中。这个过程会清空卡内所有数据。首次启动将烧录好的卡插入Nano连接显示器、键鼠、直流电源和网线上电。首次启动会进行系统扩展和用户配置按照屏幕提示完成即可。注意首次启动和后续的系统更新、软件安装务必保持稳定的有线网络连接。无线网络在驱动完善前可能不可用且下载大型安装包时不稳定。3.2 基础环境配置必做的几件小事系统启动进入桌面后别急着跑Demo先做这几件事更换软件源默认的国外源速度很慢。将APT源更换为国内镜像如清华、中科大源可以极大提升安装软件的速度。修改/etc/apt/sources.list和/etc/apt/sources.list.d/nvidia-l4t-apt-source.list中的网址即可。系统更新与扩容运行sudo apt update sudo apt upgrade进行系统更新。然后运行sudo apt install jetson-disk-image-expand这个工具会自动扩展系统分区以占用整个MicroSD卡的空间避免后续出现磁盘已满的报错。安装核心开发工具安装python3-pip,cmake,git,curl,wget等基础工具。建议将pip源也换为国内源。验证CUDA环境在终端输入nvcc -V和nvidia-smi。前者应输出CUDA编译器版本后者会显示一个简化的系统状态其中包含GPU利用率、内存占用等信息。能看到这些说明GPU驱动和CUDA基础环境已就绪。4. 深度学习模型部署实战以YOLOv5为例环境配好就到了最激动人心的环节让AI模型在Nano上跑起来。这里以最经典的目标检测模型YOLOv5为例因为它社区活跃在边缘端部署的资料也最全。4.1 原生Python推理快速验证与性能基线最简单的方式是直接使用PyTorch或TensorFlow加载模型进行推理。这能帮你快速验证模型功能并建立一个性能基线。安装PyTorch for Jetson切记不要直接用pip install torch英伟达为Jetson提供了预编译的、与JetPack中CUDA版本匹配的PyTorch wheel包。你需要到英伟达官方论坛或发布页面找到对应你JetPack版本的PyTorch下载链接。例如对于JetPack 4.6命令可能类似于wget https://developer.download.nvidia.com/compute/redist/jp/v46/pytorch/torch-1.10.0-cp36-cp36m-linux_aarch64.whl pip3 install torch-1.10.0-cp36-cp36m-linux_aarch64.whl克隆YOLOv5并安装依赖git clone https://github.com/ultralytics/yolov5 cd yolov5 pip3 install -r requirements.txt这个过程可能会比较慢因为要编译一些依赖。运行推理测试python3 detect.py --source 0 # 使用摄像头 # 或 python3 detect.py --source data/images/bus.jpg # 使用图片首次运行会自动下载预训练的yolov5s.pt模型。你会看到终端输出检测结果并在runs/detect/exp目录下看到标注好的图片。实测心得在Jetson Nano上用PyTorch直接跑yolov5s模型640x640输入帧率FPS大概在2-5之间取决于场景复杂度。这只能算“能跑”离“流畅”还有距离。CPU和GPU利用率都会很高风扇狂转。这是因为PyTorch模型没有针对Nano的GPU进行深度优化并且包含了大量用于训练的前后处理逻辑。4.2 使用TensorRT加速释放硬件全部潜能要让性能产生质的飞跃必须祭出英伟达的推理优化引擎——TensorRT。它能将训练好的模型进行解析、优化并生成一个高度优化的、序列化的推理引擎.engine文件在Jetson上运行时效率极高。将YOLOv5模型转换为TensorRT引擎并部署目前社区有成熟的方案。以下是一个经过验证的流程安装pycuda和onnxTensorRT转换通常需要ONNX作为中间格式。pip3 install pycuda onnx1.12.0导出模型为ONNX格式使用YOLOv5自带的export.py脚本。python3 export.py --weights yolov5s.pt --include onnx --img 640 --batch 1 --simplify得到yolov5s.onnx文件。--batch 1指定了批处理大小为1适合实时推理。使用TensorRT的trtexec工具转换JetPack自带TensorRT和trtexec命令行工具。这是最“原生”的转换方式。/usr/src/tensorrt/bin/trtexec --onnxyolov5s.onnx --saveEngineyolov5s_fp16.engine --fp16 --workspace1024--fp16: 启用半精度浮点数FP16模式。这是在Jetson Nano上提升性能的关键FP16在保持精度可接受的前提下能大幅减少内存占用和计算时间而Nano的GPU对FP16有很好的支持。--workspace: 设置GPU内存工作空间大小单位是MB。如果转换复杂模型时失败可以尝试增大此值如2048。编写TensorRT推理脚本转换得到.engine文件后你需要编写一个Python脚本来加载它并进行推理。这个脚本需要处理引擎的反序列化、内存分配、数据预处理将图像数据转换为模型输入格式、执行推理、以及后处理解析输出层得到边界框和类别。社区有多个开源项目如tensorrtx提供了YOLOv5的TensorRT推理代码参考你可以基于此修改。性能对比经过TensorRT FP16优化后同样的yolov5s模型在Jetson Nano上的推理速度通常可以提升3到8倍FPS达到10-20甚至更高具体取决于输入分辨率和优化程度。从“卡顿”到“基本流畅”体验提升巨大。核心避坑点TensorRT版本与CUDA、JetPack版本的兼容性至关重要。如果你从第三方仓库下载预编译的wheel包或代码务必确认其依赖的TensorRT版本与你系统安装的版本一致。不匹配会导致无法导入库或运行时错误。使用dpkg -l | grep tensorrt查看系统安装的版本。5. 进阶优化与实战问题排查当你完成了基础部署下一步就是让项目更健壮、更高效。5.1 性能优化技巧降低输入分辨率YOLOv5默认输入是640x640。如果你的应用场景对远处小目标检测要求不高可以尝试降低到416x416或320x320。分辨率降低计算量呈平方级减少FPS提升非常明显。选择更轻量的模型yolov5s是“小”模型还有更极致的yolov5n纳米级。或者考虑专门为边缘设备设计的架构如NanoDet、YOLO-Fastest等。启用GPU Jetson ClocksJetson Nano的GPU和CPU频率可以根据散热和功耗情况动态调整。为了获得最大持续性能可以将其锁定在最高频率sudo jetson_clocks运行后风扇会全速运转以保障散热。这是一个简单的“性能模式”开关。优化后处理模型推理后的非极大值抑制NMS等后处理操作通常在CPU上进行也可能成为瓶颈。尝试使用CUDA来加速这些操作或者使用TensorRT插件将其集成到引擎内部。5.2 常见问题与解决方案实录以下是我在多个项目中真实遇到过的问题及解决方法问题现象可能原因排查步骤与解决方案系统随机重启或卡死1.供电不足最主要原因。2. 散热不良导致过热降频或死机。3. MicroSD卡质量差或损坏。1.立即检查是否使用了5V4A直流电源并确保电源线接触良好。2. 触摸散热片是否烫手确保风扇正常运转考虑加装散热片或改进风道。3. 使用dmesg命令查看系统日志是否有I/O错误。备份数据更换为U3/A2级别的品牌高速卡。运行AI程序时报“CUDA out of memory”GPU显存4GB被耗尽。1. 使用nvidia-smi命令实时查看显存占用。2.减小模型输入尺寸--img。3. 确保使用FP16模式--fp16转换TensorRT引擎这能直接减半显存占用。4. 检查代码中是否有在GPU上不必要地缓存大量中间张量。TensorRT转换onnx模型失败1. ONNX模型包含TensorRT不支持的算子。2. 输入输出维度动态不定。3. TensorRT版本太旧。1. 在导出ONNX时使用--simplify选项并尝试更新ONNX和ONNX Simplifier工具。2. 在导出时固定输入尺寸如--img 640 --batch 1。3. 尝试使用社区维护的YOLO转TensorRT专用工具如yolov5-tensorrt它们通常包含了自定义插件的实现。CSI摄像头无法识别或没有/dev/video0设备1. 摄像头排线接触不良。2. 未启用相机硬件接口。3. 驱动问题。1. 重新拔插CSI排线确保金色触点一面朝向板载接口的卡扣侧。2. 运行sudo /opt/nvidia/jetson-io/jetson-io.py在图形化工具中确认摄像头接口已配置启用。3. 尝试使用v4l2-ctl --list-devices命令列出视频设备。pip安装包时编译出错很多Python包的预编译wheel包不提供ARM64aarch64架构版本需要在本地编译。1.首先安装编译所需的系统依赖sudo apt install python3-dev build-essential。2. 对于复杂的包如OpenCV强烈建议使用apt安装sudo apt install python3-opencv。这比从pip编译安装要快得多且稳定。3. 如果必须从pip安装确保网络通畅并耐心等待编译完成。6. 从开发套件到产品原型项目拓展思路当你的算法在Developer Kit上稳定运行后你可能想把它变成一个更独立、更接近产品的形态。使用Jetson Nano模块SoMDeveloper Kit的载板很大是为了方便调试。实际产品中你会使用核心的Jetson Nano系统模块System-on-Module。它是一个更小的、集成了CPU、GPU、内存和存储的板子你需要为其设计或购买一个定制的载板Carrier Board只保留你项目必需的接口如CSI、GPIO、USB这样可以大大减小体积和功耗。电源管理产品化需要考虑稳定的电源方案例如使用带有浪涌保护和稳压功能的电源模块并设计软开关电路。外壳与散热设计3D打印外壳并规划好散热风道。对于持续高负载运行被动散热可能不够需要预留风扇位置或使用更大的散热片。软件自启动将你的AI推理程序编写为系统服务systemd service并设置成开机自启动。这样设备上电后就能自动运行你的应用无需手动登录操作。远程管理与更新实现通过SSH或Web界面进行远程监控、日志查看和软件更新OTA的功能这对于部署在户外的设备尤其重要。折腾Jetson Nano Developer Kit的整个过程就是一个典型的边缘AI应用开发闭环从硬件认知、环境搭建到模型选择、部署优化最后考虑产品化落地。它带给你的不仅仅是运行了几个Demo更重要的是让你亲身经历了将AI算法从云端“压缩”并“注入”到一个小型终端设备中的完整流程。这种在资源严格受限的环境下进行性能博弈和问题排查的经验对于深入理解AI部署的本质至关重要。
Jetson Nano边缘AI开发实战：从硬件解析到TensorRT模型部署优化
发布时间：2026/8/1 14:08:51
1. 项目概述为什么Jetson Nano Developer Kit至今仍是边缘AI的“敲门砖”如果你对在小型设备上跑人工智能模型感兴趣或者想亲手打造一个能看、能听、能思考的智能硬件项目那么“Jetson Nano Developer Kit”这个名字你一定不陌生。它本质上是一块由英伟达推出的、信用卡大小的单板计算机但其核心价值远不止于此。它是一套完整的、面向开发者的边缘AI计算平台让你能以相对低廉的成本和极小的功耗将强大的AI推理能力部署到现实世界的各种设备中。从智能摄像头、自主机器人到工业质检设备Jetson Nano 的身影无处不在。尽管后续有了性能更强的 Jetson Orin Nano 等产品但 Nano 凭借其极佳的性价比和庞大的社区生态依然是无数开发者和学生进入边缘AI领域的首选“启蒙导师”和“原型验证利器”。我最初接触它是为了给一个校园安防巡检机器人项目寻找一个合适的大脑。当时需要在有限的预算和功耗下实现实时的人脸识别和障碍物检测。对比了树莓派加USB加速棒等多种方案后Jetson Nano Developer Kit 以其内置的128核Maxwell架构GPU和完整的CUDA生态支持脱颖而出。它不是一个需要你从零搭建操作系统的裸板而是一个开箱即用的开发套件包含了载板、散热风扇、甚至预装了系统的MicroSD卡在部分版本中让你拿到手通电就能开始编写AI应用。对于初学者它能帮你绕过复杂的底层环境配置直接聚焦于AI模型的应用与优化对于有经验的开发者它则是一个功能强大、接口丰富的快速原型平台。接下来我将结合自己多次从零部署项目的经验为你深度拆解这块板子的核心玩法、避坑指南以及如何让它真正“跑”起来。2. 核心硬件与接口全解析不只是“能开机”那么简单拿到Jetson Nano Developer Kit第一件事不是急着上电而是花几分钟认清它的“五官四肢”。了解每个接口的用途和限制能在后续开发中避免很多头疼的问题。2.1 核心计算模块GPU是灵魂供电是血脉Jetson Nano 的核心是一颗 Tegra X1 系统级芯片SoC。对我们开发者而言最需要关注的是其内置的128核 NVIDIA Maxwell 架构 GPU。正是这个GPU让它在处理图像识别、目标检测等并行计算任务时性能远超同价位的通用CPU。它的CPU部分是4核ARM Cortex-A57对于运行Linux系统和一般的应用程序逻辑也完全足够。供电部分有两个选择这也是新手最容易踩的第一个坑。板载了一个Micro-USB 接口和一个筒形直流电源接口。官方强烈建议只要你不是在运行最最基础的演示程序都请务必使用筒形直流电源接口5V⎓ 4A供电。我吃过亏用Micro-USB供电跑YOLOv5推理一开始似乎正常但一旦计算负载上来立刻就会因为供电不足导致系统不稳定、随机重启甚至损坏MicroSD卡上的系统。直流电源接口能提供稳定足额的功率确保GPU满血运行。如果你需要连接摄像头、USB设备等外设充足的供电更是基础保障。2.2 关键外设接口连接现实世界的桥梁摄像头接口板载了两个MIPI CSI-2摄像头接口。这是连接官方或第三方CSI摄像头模组如Raspberry Pi Camera的高速通道。如果你想做计算机视觉项目这是首选因为其带宽高、延迟低驱动程序集成也好。很多人在问能否用USB摄像头答案是肯定的通用性更强但会占用USB带宽并增加一定的CPU解码开销。显示与扩展接口HDMI 和 DisplayPort用于连接显示器。注意它不支持即插即用通常需要在系统启动前就接好。GPIO 引脚40-pin这是与树莓派兼容的GPIO排针你可以通过它连接传感器如超声波、温湿度、控制电机、读取按钮状态等是实现与物理世界交互的关键。使用前需要安装Jetson.GPIO库。USB 3.0 USB 2.0连接键鼠、U盘、USB网卡、USB摄像头等。注意USB总带宽是共享的连接过多高速设备可能会互相影响。网络与存储千兆以太网稳定的有线网络连接用于下载安装包、更新系统、进行远程登录SSH至关重要。MicroSD 卡槽这是系统的“硬盘”。卡的速度直接决定了系统运行的流畅度。我强烈建议使用至少UHS-I Speed Class 3 (U3)或A2级别的MicroSD卡。用过普通的C10卡系统操作卡顿安装软件慢到怀疑人生。换用A2级别的卡后体验提升巨大。M.2 Key E 接口在底板背面这是一个宝藏接口可以用于安装Wi-Fi/蓝牙模块或NVMe SSD转接卡。如果你觉得MicroSD卡存储不够快或不够大通过这个接口转接一个NVMe SSD作为系统盘将是质的飞跃无论是启动速度还是软件编译速度。3. 系统初始化与环境配置打造稳固的开发地基系统初始化是万里长征第一步这一步走稳了后面能省去无数麻烦。3.1 系统烧录与首次启动官方推荐使用 NVIDIA SDK Manager 进行系统烧录但对于Jetson Nano更通用简单的方法是直接下载JetPack SDK中的系统镜像文件。JetPack是英伟达为Jetson系列提供的软件开发包包含了操作系统基于Ubuntu、CUDA、cuDNN、TensorRT等核心组件。下载镜像前往英伟达开发者网站找到Jetson Nano下载最新版本的JetPack镜像如JetPack 4.6或5.x系列注意Nano对最新版本的支持情况。通常是一个.img文件。烧录到MicroSD卡使用balenaEtcher或Raspberry Pi Imager这类工具将镜像文件烧录到你的高速MicroSD卡中。这个过程会清空卡内所有数据。首次启动将烧录好的卡插入Nano连接显示器、键鼠、直流电源和网线上电。首次启动会进行系统扩展和用户配置按照屏幕提示完成即可。注意首次启动和后续的系统更新、软件安装务必保持稳定的有线网络连接。无线网络在驱动完善前可能不可用且下载大型安装包时不稳定。3.2 基础环境配置必做的几件小事系统启动进入桌面后别急着跑Demo先做这几件事更换软件源默认的国外源速度很慢。将APT源更换为国内镜像如清华、中科大源可以极大提升安装软件的速度。修改/etc/apt/sources.list和/etc/apt/sources.list.d/nvidia-l4t-apt-source.list中的网址即可。系统更新与扩容运行sudo apt update sudo apt upgrade进行系统更新。然后运行sudo apt install jetson-disk-image-expand这个工具会自动扩展系统分区以占用整个MicroSD卡的空间避免后续出现磁盘已满的报错。安装核心开发工具安装python3-pip,cmake,git,curl,wget等基础工具。建议将pip源也换为国内源。验证CUDA环境在终端输入nvcc -V和nvidia-smi。前者应输出CUDA编译器版本后者会显示一个简化的系统状态其中包含GPU利用率、内存占用等信息。能看到这些说明GPU驱动和CUDA基础环境已就绪。4. 深度学习模型部署实战以YOLOv5为例环境配好就到了最激动人心的环节让AI模型在Nano上跑起来。这里以最经典的目标检测模型YOLOv5为例因为它社区活跃在边缘端部署的资料也最全。4.1 原生Python推理快速验证与性能基线最简单的方式是直接使用PyTorch或TensorFlow加载模型进行推理。这能帮你快速验证模型功能并建立一个性能基线。安装PyTorch for Jetson切记不要直接用pip install torch英伟达为Jetson提供了预编译的、与JetPack中CUDA版本匹配的PyTorch wheel包。你需要到英伟达官方论坛或发布页面找到对应你JetPack版本的PyTorch下载链接。例如对于JetPack 4.6命令可能类似于wget https://developer.download.nvidia.com/compute/redist/jp/v46/pytorch/torch-1.10.0-cp36-cp36m-linux_aarch64.whl pip3 install torch-1.10.0-cp36-cp36m-linux_aarch64.whl克隆YOLOv5并安装依赖git clone https://github.com/ultralytics/yolov5 cd yolov5 pip3 install -r requirements.txt这个过程可能会比较慢因为要编译一些依赖。运行推理测试python3 detect.py --source 0 # 使用摄像头 # 或 python3 detect.py --source data/images/bus.jpg # 使用图片首次运行会自动下载预训练的yolov5s.pt模型。你会看到终端输出检测结果并在runs/detect/exp目录下看到标注好的图片。实测心得在Jetson Nano上用PyTorch直接跑yolov5s模型640x640输入帧率FPS大概在2-5之间取决于场景复杂度。这只能算“能跑”离“流畅”还有距离。CPU和GPU利用率都会很高风扇狂转。这是因为PyTorch模型没有针对Nano的GPU进行深度优化并且包含了大量用于训练的前后处理逻辑。4.2 使用TensorRT加速释放硬件全部潜能要让性能产生质的飞跃必须祭出英伟达的推理优化引擎——TensorRT。它能将训练好的模型进行解析、优化并生成一个高度优化的、序列化的推理引擎.engine文件在Jetson上运行时效率极高。将YOLOv5模型转换为TensorRT引擎并部署目前社区有成熟的方案。以下是一个经过验证的流程安装pycuda和onnxTensorRT转换通常需要ONNX作为中间格式。pip3 install pycuda onnx1.12.0导出模型为ONNX格式使用YOLOv5自带的export.py脚本。python3 export.py --weights yolov5s.pt --include onnx --img 640 --batch 1 --simplify得到yolov5s.onnx文件。--batch 1指定了批处理大小为1适合实时推理。使用TensorRT的trtexec工具转换JetPack自带TensorRT和trtexec命令行工具。这是最“原生”的转换方式。/usr/src/tensorrt/bin/trtexec --onnxyolov5s.onnx --saveEngineyolov5s_fp16.engine --fp16 --workspace1024--fp16: 启用半精度浮点数FP16模式。这是在Jetson Nano上提升性能的关键FP16在保持精度可接受的前提下能大幅减少内存占用和计算时间而Nano的GPU对FP16有很好的支持。--workspace: 设置GPU内存工作空间大小单位是MB。如果转换复杂模型时失败可以尝试增大此值如2048。编写TensorRT推理脚本转换得到.engine文件后你需要编写一个Python脚本来加载它并进行推理。这个脚本需要处理引擎的反序列化、内存分配、数据预处理将图像数据转换为模型输入格式、执行推理、以及后处理解析输出层得到边界框和类别。社区有多个开源项目如tensorrtx提供了YOLOv5的TensorRT推理代码参考你可以基于此修改。性能对比经过TensorRT FP16优化后同样的yolov5s模型在Jetson Nano上的推理速度通常可以提升3到8倍FPS达到10-20甚至更高具体取决于输入分辨率和优化程度。从“卡顿”到“基本流畅”体验提升巨大。核心避坑点TensorRT版本与CUDA、JetPack版本的兼容性至关重要。如果你从第三方仓库下载预编译的wheel包或代码务必确认其依赖的TensorRT版本与你系统安装的版本一致。不匹配会导致无法导入库或运行时错误。使用dpkg -l | grep tensorrt查看系统安装的版本。5. 进阶优化与实战问题排查当你完成了基础部署下一步就是让项目更健壮、更高效。5.1 性能优化技巧降低输入分辨率YOLOv5默认输入是640x640。如果你的应用场景对远处小目标检测要求不高可以尝试降低到416x416或320x320。分辨率降低计算量呈平方级减少FPS提升非常明显。选择更轻量的模型yolov5s是“小”模型还有更极致的yolov5n纳米级。或者考虑专门为边缘设备设计的架构如NanoDet、YOLO-Fastest等。启用GPU Jetson ClocksJetson Nano的GPU和CPU频率可以根据散热和功耗情况动态调整。为了获得最大持续性能可以将其锁定在最高频率sudo jetson_clocks运行后风扇会全速运转以保障散热。这是一个简单的“性能模式”开关。优化后处理模型推理后的非极大值抑制NMS等后处理操作通常在CPU上进行也可能成为瓶颈。尝试使用CUDA来加速这些操作或者使用TensorRT插件将其集成到引擎内部。5.2 常见问题与解决方案实录以下是我在多个项目中真实遇到过的问题及解决方法问题现象可能原因排查步骤与解决方案系统随机重启或卡死1.供电不足最主要原因。2. 散热不良导致过热降频或死机。3. MicroSD卡质量差或损坏。1.立即检查是否使用了5V4A直流电源并确保电源线接触良好。2. 触摸散热片是否烫手确保风扇正常运转考虑加装散热片或改进风道。3. 使用dmesg命令查看系统日志是否有I/O错误。备份数据更换为U3/A2级别的品牌高速卡。运行AI程序时报“CUDA out of memory”GPU显存4GB被耗尽。1. 使用nvidia-smi命令实时查看显存占用。2.减小模型输入尺寸--img。3. 确保使用FP16模式--fp16转换TensorRT引擎这能直接减半显存占用。4. 检查代码中是否有在GPU上不必要地缓存大量中间张量。TensorRT转换onnx模型失败1. ONNX模型包含TensorRT不支持的算子。2. 输入输出维度动态不定。3. TensorRT版本太旧。1. 在导出ONNX时使用--simplify选项并尝试更新ONNX和ONNX Simplifier工具。2. 在导出时固定输入尺寸如--img 640 --batch 1。3. 尝试使用社区维护的YOLO转TensorRT专用工具如yolov5-tensorrt它们通常包含了自定义插件的实现。CSI摄像头无法识别或没有/dev/video0设备1. 摄像头排线接触不良。2. 未启用相机硬件接口。3. 驱动问题。1. 重新拔插CSI排线确保金色触点一面朝向板载接口的卡扣侧。2. 运行sudo /opt/nvidia/jetson-io/jetson-io.py在图形化工具中确认摄像头接口已配置启用。3. 尝试使用v4l2-ctl --list-devices命令列出视频设备。pip安装包时编译出错很多Python包的预编译wheel包不提供ARM64aarch64架构版本需要在本地编译。1.首先安装编译所需的系统依赖sudo apt install python3-dev build-essential。2. 对于复杂的包如OpenCV强烈建议使用apt安装sudo apt install python3-opencv。这比从pip编译安装要快得多且稳定。3. 如果必须从pip安装确保网络通畅并耐心等待编译完成。6. 从开发套件到产品原型项目拓展思路当你的算法在Developer Kit上稳定运行后你可能想把它变成一个更独立、更接近产品的形态。使用Jetson Nano模块SoMDeveloper Kit的载板很大是为了方便调试。实际产品中你会使用核心的Jetson Nano系统模块System-on-Module。它是一个更小的、集成了CPU、GPU、内存和存储的板子你需要为其设计或购买一个定制的载板Carrier Board只保留你项目必需的接口如CSI、GPIO、USB这样可以大大减小体积和功耗。电源管理产品化需要考虑稳定的电源方案例如使用带有浪涌保护和稳压功能的电源模块并设计软开关电路。外壳与散热设计3D打印外壳并规划好散热风道。对于持续高负载运行被动散热可能不够需要预留风扇位置或使用更大的散热片。软件自启动将你的AI推理程序编写为系统服务systemd service并设置成开机自启动。这样设备上电后就能自动运行你的应用无需手动登录操作。远程管理与更新实现通过SSH或Web界面进行远程监控、日志查看和软件更新OTA的功能这对于部署在户外的设备尤其重要。折腾Jetson Nano Developer Kit的整个过程就是一个典型的边缘AI应用开发闭环从硬件认知、环境搭建到模型选择、部署优化最后考虑产品化落地。它带给你的不仅仅是运行了几个Demo更重要的是让你亲身经历了将AI算法从云端“压缩”并“注入”到一个小型终端设备中的完整流程。这种在资源严格受限的环境下进行性能博弈和问题排查的经验对于深入理解AI部署的本质至关重要。
