1. Jetson Orin NX 开发环境概述Jetson Orin NX 是 NVIDIA 推出的一款高性能边缘计算设备搭载了强大的 GPU 和 AI 加速器非常适合部署深度学习模型。与普通 PC 或服务器不同Jetson 系列设备采用了 ARM 架构因此在软件安装和配置上有其特殊性。很多开发者第一次接触 Jetson 设备时容易按照 x86 架构的思路去安装软件结果踩了不少坑。我自己在刚开始使用 Jetson Orin NX 时也遇到过类似问题后来才发现关键在于理解 Jetson 生态系统的特殊性。JetPack 是 NVIDIA 为 Jetson 系列设备量身定制的软件开发套件它包含了 CUDA、cuDNN、TensorRT 等关键组件而且这些组件都是经过 NVIDIA 严格测试和优化的版本。使用 JetPack 的最大好处就是避免了手动配置各种依赖项的麻烦真正做到开箱即用。对于深度学习开发者来说这节省了大量环境配置的时间让我们可以更专注于模型开发和优化。2. JetPack 安装与配置2.1 安装 JetPack 基础套件安装 JetPack 前建议先更新系统软件包列表sudo apt update然后安装 JetPack 套件sudo apt install nvidia-jetpack安装完成后可以通过以下命令查看已安装的 JetPack 版本sudo apt show nvidia-jetpackJetPack 安装过程会自动配置好 CUDA 环境。安装完成后可以通过nvcc -V命令查看 CUDA 版本。以 JetPack 5.1 为例它默认安装的是 CUDA 11.4。这里有个重要提示Jetson 设备上的 CUDA 版本是由 JetPack 版本决定的不能随意升级或降级否则可能会导致系统不稳定。2.2 验证 CUDA 安装安装完成后建议运行一些简单的 CUDA 示例程序来验证安装是否成功。NVIDIA 提供了一些现成的 CUDA 示例代码cd /usr/local/cuda/samples sudo make编译完成后可以运行 deviceQuery 示例来查看 GPU 信息./bin/aarch64/linux/release/deviceQuery如果看到类似 Result PASS 的输出说明 CUDA 安装正确。这个步骤虽然简单但很重要可以避免后续安装 PyTorch 时遇到各种奇怪的问题。3. PyTorch 安装与配置3.1 选择正确的 PyTorch 版本在 Jetson 设备上安装 PyTorch 需要特别注意版本匹配问题。不能直接使用 PyTorch 官网提供的 pip 安装命令因为这些预编译版本是针对 x86 架构的。我们需要使用 NVIDIA 专门为 Jetson 设备提供的 PyTorch 版本。首先确定你的 JetPack 版本和对应的 CUDA 版本。以 JetPack 5.1 为例它使用的是 CUDA 11.4。然后到 NVIDIA 的 PyTorch for Jetson 页面查找匹配的 PyTorch 版本。下载对应的 .whl 文件后使用 pip 安装pip install torch-2.1.0a041361538.nv23.06-cp38-cp38-linux_aarch64.whl安装完成后可以启动 Python 解释器验证 PyTorch 是否能够正确识别 CUDAimport torch print(torch.__version__) print(torch.cuda.is_available())如果输出显示 CUDA 可用说明安装成功。如果遇到问题最常见的原因是 PyTorch 版本与 JetPack 版本不匹配。3.2 常见安装问题排查在实际安装过程中可能会遇到各种问题。以下是一些常见问题及解决方法ImportError: libcudart.so.11.0: cannot open shared object file这通常表示 PyTorch 版本与 CUDA 版本不匹配。解决方法是确认 JetPack 版本然后安装对应的 PyTorch 版本。安装过程中内存不足Jetson 设备的内存有限在安装大型软件包时可能会遇到内存不足的问题。可以尝试创建交换分区来缓解sudo fallocate -l 4G /swapfile sudo chmod 600 /swapfile sudo mkswap /swapfile sudo swapon /swapfilepip 安装速度慢可以更换为国内镜像源加速下载pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple4. torchvision 安装指南4.1 安装匹配版本的 torchvisiontorchvision 的版本必须与 PyTorch 版本严格匹配。安装错误的 torchvision 版本可能会导致 PyTorch 被自动升级到不兼容的版本从而破坏已有的环境。我就曾经踩过这个坑系统自动安装了最新版的 PyTorch结果导致 CUDA 不可用。安装 torchvision 前需要先安装一些系统依赖sudo apt-get install libjpeg-dev zlib1g-dev libpython3-dev libopenblas-dev libavcodec-dev libavformat-dev libswscale-dev然后从源码安装 torchvision。以 PyTorch 2.1 为例对应的 torchvision 版本是 0.16.1git clone --branch v0.16.1 https://github.com/pytorch/vision torchvision cd torchvision export BUILD_VERSION0.16.1 python3 setup.py install --user cd ../安装完成后同样建议验证 torchvision 是否能正常工作import torchvision print(torchvision.__version__)4.2 torchvision 的依赖管理torchvision 对 Pillow 库有特定版本要求。如果遇到图像处理相关的问题可以尝试安装指定版本的 Pillowpip install pillow7对于某些特殊功能可能还需要安装额外的依赖项。例如如果要使用视频相关功能需要确保 FFmpeg 已正确安装sudo apt-get install ffmpeg5. 环境优化与实用技巧5.1 性能优化建议Jetson Orin NX 虽然性能强大但毕竟是嵌入式设备资源有限。以下是一些优化建议启用持久模式可以避免频繁初始化 GPU 带来的开销sudo nvidia-persistenced调整电源模式Jetson 设备有不同的电源模式会影响性能sudo nvpmodel -m 0 # 最高性能模式监控系统资源使用 jtop 工具可以方便地监控系统状态sudo -H pip install jetson-stats jtop5.2 开发环境配置对于日常开发建议配置好 SSH 远程访问和 Jupyter Notebook 环境。安装 Jupyter Notebookpip install notebook然后创建一个启动脚本jupyter notebook --ip0.0.0.0 --port8888 --no-browser --allow-root这样可以通过浏览器远程访问 Jetson 设备上的 Notebook 环境大大提升开发效率。6. 深度学习模型部署实践6.1 模型转换与优化在 Jetson 设备上部署模型前建议使用 TensorRT 进行优化。TensorRT 是 NVIDIA 的推理优化器可以显著提升模型在 Jetson 上的运行效率。PyTorch 模型可以通过 torch2trt 工具转换为 TensorRT 引擎from torch2trt import torch2trt model_trt torch2trt(model, [dummy_input])转换后的模型可以显著减少内存占用和提高推理速度。在实际项目中这种优化通常能带来 2-5 倍的性能提升。6.2 内存管理技巧Jetson 设备的内存有限运行大型模型时需要注意内存管理。以下是一些实用技巧使用混合精度推理可以减少内存占用并提高速度model.half() # 转换为半精度 input input.half()及时清理不需要的变量import torch torch.cuda.empty_cache()使用内存映射文件处理大型数据集dataset torch.utils.data.DatasetFolder(..., loaderlambda x: np.load(x, mmap_moder))7. 常见问题解决方案在实际使用过程中可能会遇到各种奇怪的问题。以下是一些常见问题的解决方法CUDA out of memory这是最常见的问题说明模型或批处理大小超过了可用内存。可以尝试减小批处理大小或者使用梯度累积技巧for i, (inputs, targets) in enumerate(train_loader): outputs model(inputs) loss criterion(outputs, targets) loss loss / accumulation_steps loss.backward() if (i1) % accumulation_steps 0: optimizer.step() optimizer.zero_grad()模型加载慢可以将模型保存为 TorchScript 格式加快加载速度traced_script_module torch.jit.trace(model, example_input) traced_script_module.save(model.pt)奇怪的推理结果可能是预处理/后处理不匹配导致的。确保训练和推理时的数据处理流程完全一致。
Jetson Orin NX 深度学习环境搭建：从 JetPack 到 PyTorch 全流程指南
发布时间：2026/5/20 12:53:32
1. Jetson Orin NX 开发环境概述Jetson Orin NX 是 NVIDIA 推出的一款高性能边缘计算设备搭载了强大的 GPU 和 AI 加速器非常适合部署深度学习模型。与普通 PC 或服务器不同Jetson 系列设备采用了 ARM 架构因此在软件安装和配置上有其特殊性。很多开发者第一次接触 Jetson 设备时容易按照 x86 架构的思路去安装软件结果踩了不少坑。我自己在刚开始使用 Jetson Orin NX 时也遇到过类似问题后来才发现关键在于理解 Jetson 生态系统的特殊性。JetPack 是 NVIDIA 为 Jetson 系列设备量身定制的软件开发套件它包含了 CUDA、cuDNN、TensorRT 等关键组件而且这些组件都是经过 NVIDIA 严格测试和优化的版本。使用 JetPack 的最大好处就是避免了手动配置各种依赖项的麻烦真正做到开箱即用。对于深度学习开发者来说这节省了大量环境配置的时间让我们可以更专注于模型开发和优化。2. JetPack 安装与配置2.1 安装 JetPack 基础套件安装 JetPack 前建议先更新系统软件包列表sudo apt update然后安装 JetPack 套件sudo apt install nvidia-jetpack安装完成后可以通过以下命令查看已安装的 JetPack 版本sudo apt show nvidia-jetpackJetPack 安装过程会自动配置好 CUDA 环境。安装完成后可以通过nvcc -V命令查看 CUDA 版本。以 JetPack 5.1 为例它默认安装的是 CUDA 11.4。这里有个重要提示Jetson 设备上的 CUDA 版本是由 JetPack 版本决定的不能随意升级或降级否则可能会导致系统不稳定。2.2 验证 CUDA 安装安装完成后建议运行一些简单的 CUDA 示例程序来验证安装是否成功。NVIDIA 提供了一些现成的 CUDA 示例代码cd /usr/local/cuda/samples sudo make编译完成后可以运行 deviceQuery 示例来查看 GPU 信息./bin/aarch64/linux/release/deviceQuery如果看到类似 Result PASS 的输出说明 CUDA 安装正确。这个步骤虽然简单但很重要可以避免后续安装 PyTorch 时遇到各种奇怪的问题。3. PyTorch 安装与配置3.1 选择正确的 PyTorch 版本在 Jetson 设备上安装 PyTorch 需要特别注意版本匹配问题。不能直接使用 PyTorch 官网提供的 pip 安装命令因为这些预编译版本是针对 x86 架构的。我们需要使用 NVIDIA 专门为 Jetson 设备提供的 PyTorch 版本。首先确定你的 JetPack 版本和对应的 CUDA 版本。以 JetPack 5.1 为例它使用的是 CUDA 11.4。然后到 NVIDIA 的 PyTorch for Jetson 页面查找匹配的 PyTorch 版本。下载对应的 .whl 文件后使用 pip 安装pip install torch-2.1.0a041361538.nv23.06-cp38-cp38-linux_aarch64.whl安装完成后可以启动 Python 解释器验证 PyTorch 是否能够正确识别 CUDAimport torch print(torch.__version__) print(torch.cuda.is_available())如果输出显示 CUDA 可用说明安装成功。如果遇到问题最常见的原因是 PyTorch 版本与 JetPack 版本不匹配。3.2 常见安装问题排查在实际安装过程中可能会遇到各种问题。以下是一些常见问题及解决方法ImportError: libcudart.so.11.0: cannot open shared object file这通常表示 PyTorch 版本与 CUDA 版本不匹配。解决方法是确认 JetPack 版本然后安装对应的 PyTorch 版本。安装过程中内存不足Jetson 设备的内存有限在安装大型软件包时可能会遇到内存不足的问题。可以尝试创建交换分区来缓解sudo fallocate -l 4G /swapfile sudo chmod 600 /swapfile sudo mkswap /swapfile sudo swapon /swapfilepip 安装速度慢可以更换为国内镜像源加速下载pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple4. torchvision 安装指南4.1 安装匹配版本的 torchvisiontorchvision 的版本必须与 PyTorch 版本严格匹配。安装错误的 torchvision 版本可能会导致 PyTorch 被自动升级到不兼容的版本从而破坏已有的环境。我就曾经踩过这个坑系统自动安装了最新版的 PyTorch结果导致 CUDA 不可用。安装 torchvision 前需要先安装一些系统依赖sudo apt-get install libjpeg-dev zlib1g-dev libpython3-dev libopenblas-dev libavcodec-dev libavformat-dev libswscale-dev然后从源码安装 torchvision。以 PyTorch 2.1 为例对应的 torchvision 版本是 0.16.1git clone --branch v0.16.1 https://github.com/pytorch/vision torchvision cd torchvision export BUILD_VERSION0.16.1 python3 setup.py install --user cd ../安装完成后同样建议验证 torchvision 是否能正常工作import torchvision print(torchvision.__version__)4.2 torchvision 的依赖管理torchvision 对 Pillow 库有特定版本要求。如果遇到图像处理相关的问题可以尝试安装指定版本的 Pillowpip install pillow7对于某些特殊功能可能还需要安装额外的依赖项。例如如果要使用视频相关功能需要确保 FFmpeg 已正确安装sudo apt-get install ffmpeg5. 环境优化与实用技巧5.1 性能优化建议Jetson Orin NX 虽然性能强大但毕竟是嵌入式设备资源有限。以下是一些优化建议启用持久模式可以避免频繁初始化 GPU 带来的开销sudo nvidia-persistenced调整电源模式Jetson 设备有不同的电源模式会影响性能sudo nvpmodel -m 0 # 最高性能模式监控系统资源使用 jtop 工具可以方便地监控系统状态sudo -H pip install jetson-stats jtop5.2 开发环境配置对于日常开发建议配置好 SSH 远程访问和 Jupyter Notebook 环境。安装 Jupyter Notebookpip install notebook然后创建一个启动脚本jupyter notebook --ip0.0.0.0 --port8888 --no-browser --allow-root这样可以通过浏览器远程访问 Jetson 设备上的 Notebook 环境大大提升开发效率。6. 深度学习模型部署实践6.1 模型转换与优化在 Jetson 设备上部署模型前建议使用 TensorRT 进行优化。TensorRT 是 NVIDIA 的推理优化器可以显著提升模型在 Jetson 上的运行效率。PyTorch 模型可以通过 torch2trt 工具转换为 TensorRT 引擎from torch2trt import torch2trt model_trt torch2trt(model, [dummy_input])转换后的模型可以显著减少内存占用和提高推理速度。在实际项目中这种优化通常能带来 2-5 倍的性能提升。6.2 内存管理技巧Jetson 设备的内存有限运行大型模型时需要注意内存管理。以下是一些实用技巧使用混合精度推理可以减少内存占用并提高速度model.half() # 转换为半精度 input input.half()及时清理不需要的变量import torch torch.cuda.empty_cache()使用内存映射文件处理大型数据集dataset torch.utils.data.DatasetFolder(..., loaderlambda x: np.load(x, mmap_moder))7. 常见问题解决方案在实际使用过程中可能会遇到各种奇怪的问题。以下是一些常见问题的解决方法CUDA out of memory这是最常见的问题说明模型或批处理大小超过了可用内存。可以尝试减小批处理大小或者使用梯度累积技巧for i, (inputs, targets) in enumerate(train_loader): outputs model(inputs) loss criterion(outputs, targets) loss loss / accumulation_steps loss.backward() if (i1) % accumulation_steps 0: optimizer.step() optimizer.zero_grad()模型加载慢可以将模型保存为 TorchScript 格式加快加载速度traced_script_module torch.jit.trace(model, example_input) traced_script_module.save(model.pt)奇怪的推理结果可能是预处理/后处理不匹配导致的。确保训练和推理时的数据处理流程完全一致。
