在嵌入式设备上部署和运行 AI 模型正从实验室概念走向广泛的工程实践。Raspberry Pi 凭借其极佳的性价比、活跃的社区和丰富的生态成为了探索边缘 AI 的理想平台。然而将模型从云端或高性能服务器迁移到资源受限的树莓派上开发者常常面临模型格式不兼容、推理框架臃肿、内存和算力瓶颈等诸多挑战。本文将以 Google 近期推出的轻量级开放模型 Gemma 为例结合专为边缘设备优化的 LiteRT 推理框架带你完成一次从模型准备、环境搭建到实际部署和性能调优的完整实践。通过这个过程你将掌握在 Raspberry Pi 这类边缘设备上高效运行现代 AI 模型的核心方法论而不仅仅是跑通一个 Demo。1. 理解边缘 AI 部署的核心挑战与选型思路在 Raspberry Pi 上运行 AI首要任务是认清约束条件并选择合适的工具链。盲目地将为 GPU 服务器设计的框架和模型直接移植过来几乎必然失败。1.1 Raspberry Pi 作为 AI 边缘节点的资源画像以目前保有量较大的 Raspberry Pi 4B4GB/8GB 内存版本为例其硬件规格决定了 AI 任务的边界CPU: 四核 Cortex-A72 1.5GHzARMv8 架构。这是主要的计算单元支持 SIMD 指令如 NEON进行加速。内存: 共享系统内存模型权重和中间激活值都存放于此。内存带宽和容量是限制模型大小的关键。无专用 NPU: 这意味着所有矩阵运算都依赖 CPU 通用计算优化重点在于利用 CPU 特性如多线程、NEON和减少不必要的计算与内存搬运。基于此边缘 AI 部署的黄金法则变为用更小的模型、更高效的运行时、更精简的依赖完成特定的推理任务。1.2 为什么选择 Gemma 与 LiteRT 这个组合Gemma是 Google 基于 Gemini 技术构建的轻量级、开放模型家族提供了 2B 和 7B 两种参数量级。对于 Raspberry PiGemma-2B 是一个极具吸引力的起点质量与规模的平衡 在保持相当语言理解和生成能力的同时参数量远小于动辄百亿、千亿的大模型使其有可能在边缘设备上运行。开放的起点 提供了基础模型权重允许开发者进行微调、量化等优化操作以适应特定边缘场景。LiteRT是一个专为资源受限环境设计的高性能深度学习推理框架。它的优势恰好针对树莓派的痛点极简依赖 核心运行时库非常轻量无需复杂的 Python 环境或庞大的深度学习框架适合嵌入式部署。硬件亲和 对 ARM CPU 架构尤其是 NEON 指令集有深度优化能充分挖掘 Raspberry Pi CPU 的算力。格式支持 通常支持 ONNX、TFLite 等中间表示格式方便将来自 PyTorch、TensorFlow 等训练框架的模型进行转换和部署。这个组合的核心思路是用 Gemma 提供“足够好”的模型能力用 LiteRT 提供“足够快”且“足够省”的运行时环境。1.3 边缘 AI 部署的典型工作流在开始动手前需要明确从原始模型到边缘设备上运行的整体流程这有助于理解每一步的目的模型获取与准备 下载 Gemma 原始模型权重通常是 PyTorch 格式的.safetensors或.bin文件。模型转换 将原始模型转换为推理框架支持的格式如 ONNX。这一步通常在资源充足的开发机如带 GPU 的电脑上完成。模型优化 对转换后的模型进行量化如 INT8、算子融合、图优化等操作以减小模型体积、提升推理速度。交叉编译与部署 为 ARM 架构编译 LiteRT 运行时库并将优化后的模型、运行时库及应用程序打包部署到 Raspberry Pi。集成与测试 在 Raspberry Pi 上编写或运行示例程序加载模型并进行推理测试验证功能与性能。本文将聚焦于一个相对简化但完整的流程使用易于上手的工具完成步骤 2-5。2. 搭建开发与部署环境我们将采用“在 x86 开发机上准备模型和程序在 Raspberry Pi 上运行”的交叉开发模式。这是嵌入式开发的常见实践。2.1 Raspberry Pi 系统准备首先确保你的 Raspberry Pi 有一个干净、最新的操作系统。使用 Raspberry Pi Imager 刷写系统 从官网下载 Raspberry Pi Imager。插入 MicroSD 卡启动 Imager。选择操作系统 推荐选择 “Raspberry Pi OS (64-bit)” 的 “Lite” 版本无桌面环境以节省资源或 “Desktop” 版本方便调试。常见问题 如果遇到 “raspberry pi imager慢” 的问题通常与网络或镜像源有关。可以尝试更换网络环境。在 Imager 的设置中CtrlShiftX启用“使用本地镜像源”选项如果可用。手动下载系统镜像文件.img.xz然后在 Imager 中选择“使用自定义镜像”。配置 在烧录前通过 Imager 的设置菜单预先配置主机名、开启 SSH、设置 Wi-Fi 和用户名密码实现无头启动。系统初始化与更新 将 SD 卡插入树莓派并启动通过 SSH 连接。# 连接到你的树莓派假设主机名为 raspberrypi.local ssh piraspberrypi.local连接后首先更新系统sudo apt update sudo apt upgrade -y sudo apt install -y git wget curl build-essential cmake2.2 在开发机x86 Linux/Mac/WSL2上准备模型转换环境模型转换和优化步骤对计算资源有一定要求建议在性能更强的开发机上进行。安装 Python 及必要工具 确保开发机有 Python 3.8 环境。建议使用 conda 或 venv 创建独立环境。# 创建并激活虚拟环境 python3 -m venv gemma_env source gemma_env/bin/activate # Linux/Mac # gemma_env\Scripts\activate # Windows安装模型转换工具链 我们将使用transformers库加载 Gemma并使用onnx和onnxruntime进行转换和初步验证。也可以使用optimum等工具。pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu # 根据你的CUDA情况选择 pip install transformers onnx onnxruntime # 如果需要安装 optimum 进行优化 # pip install optimum[onnxruntime]2.3 获取 Gemma 模型权重访问 Hugging Face 模型库找到 Gemma 模型页面。你需要同意其使用协议。然后可以通过以下方式之一获取模型方式一使用 Hugging Face CLI(推荐)# 首先登录需要 token在 HF 网站设置中生成 huggingface-cli login # 下载模型以 gemma-2b 为例 git lfs install git clone https://huggingface.co/google/gemma-2b方式二在代码中动态加载transformers库支持在线加载但首次运行会下载且不便于后续离线部署。注意Gemma 模型文件较大2B 版本约 5GB请确保开发机和树莓派有足够存储空间。对于树莓派我们最终需要的是转换优化后的小尺寸模型文件。3. 模型转换与优化从 PyTorch 到边缘格式这是最关键的一步目标是将庞大的原始模型“瘦身”并转换为 LiteRT 能够高效执行的格式。3.1 将 Gemma 转换为 ONNX 格式ONNX 是一个开放的模型表示格式作为不同框架之间的桥梁。我们写一个 Python 脚本进行转换。创建一个文件convert_gemma_to_onnx.pyimport torch from transformers import AutoTokenizer, AutoModelForCausalLM import onnx from onnxruntime.transformers.float16 import convert_float_to_float16 # 1. 加载模型和分词器 model_id ./gemma-2b # 修改为你的本地路径或 HF 模型名如 google/gemma-2b tokenizer AutoTokenizer.from_pretrained(model_id) model AutoModelForCausalLM.from_pretrained(model_id, torch_dtypetorch.float16) # 使用半精度节省内存 model.eval() # 切换到评估模式 # 2. 准备示例输入 dummy_input tokenizer(Hello, how are you?, return_tensorspt) input_ids dummy_input[input_ids] attention_mask dummy_input[attention_mask] # 对于文本生成模型我们通常导出的是每一步的解码过程。 # 这里简化处理导出一个用于单步推理的模型接收 input_ids, attention_mask, 可能还有 past_key_values # 注意实际部署可能需要更复杂的导出逻辑来处理自回归生成。 print(fInput shape: {input_ids.shape}) # 3. 导出为 ONNX onnx_model_path gemma-2b.onnx torch.onnx.export( model, (input_ids, attention_mask), # 模型输入参数 onnx_model_path, input_names[input_ids, attention_mask], output_names[logits], # 输出是下一个token的logits dynamic_axes{ input_ids: {0: batch_size, 1: sequence_length}, attention_mask: {0: batch_size, 1: sequence_length}, logits: {0: batch_size, 1: sequence_length} }, opset_version14, # 使用较新的 opset do_constant_foldingTrue, ) print(fModel exported to {onnx_model_path}) # 4. (可选) 转换为 FP16 精度进一步减小模型体积 onnx_model onnx.load(onnx_model_path) onnx_model_fp16 convert_float_to_float16(onnx_model) onnx.save(onnx_model_fp16, gemma-2b-fp16.onnx) print(FP16 conversion done.)运行此脚本python convert_gemma_to_onnx.py此步骤会生成gemma-2b.onnxFP32和gemma-2b-fp16.onnxFP16文件。FP16 版本体积约为一半是边缘部署的首选但需确保推理运行时支持 FP16。3.2 使用 ONNX Runtime 进行模型优化与量化ONNX Runtime 提供了丰富的图优化和量化工具可以显著提升模型在 CPU 上的性能。安装 ONNX Runtime 工具pip install onnxruntime onnxruntime-tools执行量化INT8 量化能将模型权重和激活值从浮点数转换为整数大幅减少模型体积和内存占用并利用整数运算加速。这是边缘部署的“杀手锏”。# 首先需要准备一个校准数据集这里用随机数据示例 python -m onnxruntime.quantization.preprocess \ --input gemma-2b-fp16.onnx \ --output gemma-2b-fp16-infer.onnx \ --skip_optimization # 然后进行静态量化需要提供校准数据此处简化 # 注意Transformer 类模型的量化较为复杂可能需要更细致的校准和配置。 # 以下命令仅为示意实际生产需参考 ONNX Runtime 量化文档。 # python -m onnxruntime.quantization.quantize \ # --input gemma-2b-fp16-infer.onnx \ # --output gemma-2b-int8.onnx \ # --quant_format QOperator \ # --op_types_to_quantize ...由于大语言模型的量化是一个专业话题对于初次尝试可以暂时跳过量化步骤直接使用 FP16 模型。但需要明白FP16 模型在树莓派上运行可能仍然非常缓慢且占用大量内存。使用 ONNX Runtime 进行图优化 即使不量化基本的图优化也能带来收益。python -m onnxruntime.tools.convert_onnx_models_to_ort \ gemma-2b-fp16.onnx \ --optimization_level basic此命令会生成一个.ort文件这是 ONNX Runtime 优化后的格式通常能获得更好的性能。3.3 为 LiteRT 准备模型LiteRT 可能直接支持 ONNX也可能有自定义的模型格式。你需要查阅 LiteRT 的官方文档。通常流程是从 LiteRT 项目源码中找到模型转换工具例如convert_tool。将 ONNX 模型转换为 LiteRT 支持的格式如.lrt或.bin。该工具可能集成了针对 ARM NEON 的特定优化。假设 LiteRT 提供了一个转换脚本convert_onnx_to_lrt.py其用法可能如下# 假设在开发机上操作 git clone https://github.com/litert-project/litert cd litert/tools python convert_onnx_to_lrt.py --input ../gemma-2b-fp16.onnx --output ../gemma-2b.lrt --target arm64关键点 模型转换和优化是性能提升的关键。在开发机上花时间做好这一步能极大缓解树莓派上的运行时压力。4. 在 Raspberry Pi 上编译与部署 LiteRT现在我们将工作重心转移到 Raspberry Pi 上。4.1 在 Raspberry Pi 上编译 LiteRT 运行时安装编译依赖sudo apt install -y git cmake build-essential libopenblas-dev克隆并编译 LiteRTgit clone https://github.com/litert-project/litert.git cd litert mkdir build cd build # 关键配置指定 ARM 架构开启 NEON 优化关闭不必要的特性 cmake .. -DCMAKE_BUILD_TYPERelease -DARCHarm64 -DENABLE_NEONON -DBUILD_SHARED_LIBSON make -j$(nproc) # 使用所有核心编译 sudo make install # 将库文件安装到系统路径编译成功后liblitert.so等库文件会被安装到/usr/local/lib头文件在/usr/local/include。4.2 部署模型与编写测试程序将优化后的模型文件传输到树莓派 使用scp命令将你在开发机上生成的最终模型文件如gemma-2b.lrt或优化后的 ONNX 文件和分词器文件tokenizer.json等传到树莓派。# 在开发机上执行 scp gemma-2b.lrt piraspberrypi.local:~/edge_ai_demo/ scp -r gemma-2b/tokenizer* piraspberrypi.local:~/edge_ai_demo/编写一个简单的 C 推理程序 在树莓派上创建demo.cpp。#include iostream #include vector #include chrono #include “litert/litert.h” // 假设 LiteRT 的主要头文件 int main() { // 1. 初始化 LiteRT 环境 LRTEnv* env lrt_create_env(); if (!env) { std::cerr Failed to create LiteRT environment. std::endl; return -1; } // 2. 创建推理会话 LRTSession* session lrt_create_session(env); if (!session) { std::cerr Failed to create session. std::endl; lrt_destroy_env(env); return -1; } // 3. 加载模型 const char* model_path ./gemma-2b.lrt; if (lrt_load_model(session, model_path) ! LRT_SUCCESS) { std::cerr Failed to load model: model_path std::endl; lrt_destroy_session(session); lrt_destroy_env(env); return -1; } // 4. 准备输入数据 (这里需要根据模型输入结构填充) // 例如将 tokenized 的 input_ids 和 attention_mask 放入 tensor std::vectorint32_t input_ids {1, 15043, 13, 663, 338, 297}; // “Hello, how are you?” 的 token id (示例) std::vectorint32_t attention_mask(input_ids.size(), 1); LRTensor* input_tensor_ids lrt_create_tensor(LRT_INT32, {1, (int)input_ids.size()}, input_ids.data()); LRTensor* input_tensor_mask lrt_create_tensor(LRT_INT32, {1, (int)attention_mask.size()}, attention_mask.data()); // 5. 设置输入 lrt_set_input(session, 0, input_tensor_ids); lrt_set_input(session, 1, input_tensor_mask); // 6. 运行推理 auto start std::chrono::high_resolution_clock::now(); if (lrt_run(session) ! LRT_SUCCESS) { std::cerr Inference failed. std::endl; } auto end std::chrono::high_resolution_clock::now(); std::chrono::durationdouble elapsed end - start; std::cout Inference time: elapsed.count() seconds. std::endl; // 7. 获取输出 LRTensor* output_tensor lrt_get_output(session, 0); // 处理 output_tensor 中的数据 (logits)... // 8. 清理资源 lrt_destroy_tensor(output_tensor); lrt_destroy_tensor(input_tensor_mask); lrt_destroy_tensor(input_tensor_ids); lrt_destroy_session(session); lrt_destroy_env(env); return 0; }注意 以上代码为示意代码实际 API 调用、Tensor 创建和数据处理需严格参照 LiteRT 的官方文档。大语言模型的生成式推理通常需要循环调用lrt_run来实现自回归。编译测试程序g -stdc11 demo.cpp -o demo -llitert -I/usr/local/include -L/usr/local/lib -Wl,-rpath,/usr/local/lib运行测试./demo如果一切顺利你将看到模型加载并执行了一次前向传播同时输出推理耗时。5. 性能评估、常见问题与优化策略在资源受限的边缘设备上性能调优是永恒的主题。成功运行只是第一步。5.1 性能评估指标在树莓派上运行 Gemma 这类模型需要关注以下指标内存占用 使用htop或free -m命令监控程序运行时的内存使用量。模型权重、激活值和中间结果都会消耗内存。推理延迟 单次前向传播生成一个 token所需的时间。这是影响交互体验的关键。CPU 利用率 使用top或mpstat查看推理时 CPU 各核心的负载情况判断是否充分利用了多核。温度与功耗 长期高负载运行需注意散热。可使用vcgencmd measure_temp监控温度。5.2 常见问题与排查路径问题现象可能原因检查与解决思路编译 LiteRT 失败依赖缺失、CMake 参数错误、内存不足。1. 确认安装了build-essential,cmake。2. 检查 CMake 输出日志看是否有找不到包的错误。3. 树莓派编译大项目可能内存不足尝试make -j2减少并行任务或增加 swap 空间。运行程序时报“找不到 liblitert.so”动态链接库路径未设置。1. 运行ldconfig更新库缓存。2. 编译程序时加上-Wl,-rpath,/usr/local/lib。3. 临时设置环境变量export LD_LIBRARY_PATH/usr/local/lib:$LD_LIBRARY_PATH。加载模型时崩溃或报错模型格式不匹配、版本不兼容、内存不足。1. 确认模型文件是为 ARM 架构转换的。2. 检查 LiteRT 版本和模型转换工具版本是否匹配。3. 使用dmesg查看是否有 OOM内存溢出日志。尝试使用更小的模型或进行量化。推理速度极慢未启用优化、模型过大、CPU 频率受限。1. 确认编译 LiteRT 时开启了-DENABLE_NEONON和-DCMAKE_BUILD_TYPERelease。2. 对模型进行 INT8 量化是提速最有效的手段。3. 检查 CPU 频率vcgencmd get_config arm_freq。必要时在/boot/config.txt中取消超频限制。输出结果乱码或完全错误分词器不匹配、输入数据格式错误、模型损坏。1. 确保树莓派上使用的分词器文件与转换模型时的一致。2. 仔细核对输入 Tensor 的数据类型int32/int64、形状和数值。3. 在开发机上用 ONNX Runtime 运行相同输入验证模型和分词器本身是否正确。5.3 进阶优化策略当基础版本跑通后可以考虑以下方向进行深度优化模型层面量化 这是最重要的优化。探索INT8甚至INT4量化使用更专业的量化工具如GPTQ,AWQ和校准数据集。剪枝 移除模型中冗余的权重或神经元。知识蒸馏 用更大的教师模型训练一个更小的学生模型专门用于边缘部署。运行时层面算子优化 确保 LiteRT 对 Gemma 中的关键算子如 Rotary Embedding, RMSNorm, 稀疏注意力有高效的 ARM NEON 实现。内存规划 优化内存分配策略减少动态内存分配带来的开销和碎片。线程池调优 调整 LiteRT 内部线程池大小匹配树莓派的核心数。系统与硬件层面CPU 调频策略 设置为performance模式避免推理时降频。sudo echo performance | sudo tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor内存管理 使用malloc_trim或自定义内存池管理频繁的分配释放。散热 为树莓派加装散热片或风扇避免因过热导致 CPU 降频。6. 生产环境考量与最佳实践将边缘 AI 从实验推向实际应用需要更严谨的工程化处理。稳定性与健壮性心跳与看门狗 部署守护进程监控 AI 推理服务崩溃后能自动重启。输入验证与过滤 对输入文本进行长度、字符集检查防止异常输入导致崩溃。资源限制 使用cgroups限制进程的内存和 CPU 使用防止单个任务耗尽系统资源。效率与资源管理模型预热 在服务启动后先用一些典型请求“预热”模型触发初始化和缓存避免首次请求延迟过高。请求队列与批处理 如果并发请求多可以实现简单的队列并尝试将多个请求批处理batch后一次性推理提高吞吐量。模型卸载 如果内存紧张可以考虑在空闲时将不常用的模型从内存中卸载。可观测性日志记录 记录关键事件模型加载成功/失败、推理耗时、输入输出样本脱敏后。指标暴露 提供简单的 HTTP 端点或文件暴露 Prometheus 格式的指标如请求数、平均延迟、错误数、内存使用量。远程调试 预留通过 SSH 或远程接口获取运行时状态如模型是否加载、队列长度的能力。安全与隐私最小权限原则 运行 AI 推理服务的用户应具有最小必要权限。数据本地化 边缘 AI 的优势是数据不出设备。确保你的应用设计遵循这一原则。模型保护 对部署的模型文件进行加密或混淆增加逆向工程难度。在 Raspberry Pi 上部署 Gemma 这类模型目前仍然处于探索和优化阶段很难达到流畅的交互体验。但这个过程的真正价值在于你系统地实践了边缘 AI 部署的全链路从模型选择、格式转换、跨平台编译、运行时集成到性能调优。掌握了这套方法论后你可以将其应用于更小、更专用的模型如 MobileNet, YOLO-Nano, Whisper-tiny在树莓派上构建真正实用的边缘智能应用如本地语音助手、离线图像识别或实时传感器数据分析。下一步可以尝试用更成熟的边缘推理框架如 TensorFlow Lite for Microcontrollers, ONNX Runtime Mobile来部署量化后的 Gemma或者探索专门为 ARM 优化的模型架构在有限的资源下寻找性能与精度的最佳平衡点。 树莓派部署Gemma模型：基于LiteRT的边缘AI实践指南
在嵌入式设备上部署和运行 AI 模型正从实验室概念走向广泛的工程实践。Raspberry Pi 凭借其极佳的性价比、活跃的社区和丰富的生态成为了探索边缘 AI 的理想平台。然而将模型从云端或高性能服务器迁移到资源受限的树莓派上开发者常常面临模型格式不兼容、推理框架臃肿、内存和算力瓶颈等诸多挑战。本文将以 Google 近期推出的轻量级开放模型 Gemma 为例结合专为边缘设备优化的 LiteRT 推理框架带你完成一次从模型准备、环境搭建到实际部署和性能调优的完整实践。通过这个过程你将掌握在 Raspberry Pi 这类边缘设备上高效运行现代 AI 模型的核心方法论而不仅仅是跑通一个 Demo。1. 理解边缘 AI 部署的核心挑战与选型思路在 Raspberry Pi 上运行 AI首要任务是认清约束条件并选择合适的工具链。盲目地将为 GPU 服务器设计的框架和模型直接移植过来几乎必然失败。1.1 Raspberry Pi 作为 AI 边缘节点的资源画像以目前保有量较大的 Raspberry Pi 4B4GB/8GB 内存版本为例其硬件规格决定了 AI 任务的边界CPU: 四核 Cortex-A72 1.5GHzARMv8 架构。这是主要的计算单元支持 SIMD 指令如 NEON进行加速。内存: 共享系统内存模型权重和中间激活值都存放于此。内存带宽和容量是限制模型大小的关键。无专用 NPU: 这意味着所有矩阵运算都依赖 CPU 通用计算优化重点在于利用 CPU 特性如多线程、NEON和减少不必要的计算与内存搬运。基于此边缘 AI 部署的黄金法则变为用更小的模型、更高效的运行时、更精简的依赖完成特定的推理任务。1.2 为什么选择 Gemma 与 LiteRT 这个组合Gemma是 Google 基于 Gemini 技术构建的轻量级、开放模型家族提供了 2B 和 7B 两种参数量级。对于 Raspberry PiGemma-2B 是一个极具吸引力的起点质量与规模的平衡 在保持相当语言理解和生成能力的同时参数量远小于动辄百亿、千亿的大模型使其有可能在边缘设备上运行。开放的起点 提供了基础模型权重允许开发者进行微调、量化等优化操作以适应特定边缘场景。LiteRT是一个专为资源受限环境设计的高性能深度学习推理框架。它的优势恰好针对树莓派的痛点极简依赖 核心运行时库非常轻量无需复杂的 Python 环境或庞大的深度学习框架适合嵌入式部署。硬件亲和 对 ARM CPU 架构尤其是 NEON 指令集有深度优化能充分挖掘 Raspberry Pi CPU 的算力。格式支持 通常支持 ONNX、TFLite 等中间表示格式方便将来自 PyTorch、TensorFlow 等训练框架的模型进行转换和部署。这个组合的核心思路是用 Gemma 提供“足够好”的模型能力用 LiteRT 提供“足够快”且“足够省”的运行时环境。1.3 边缘 AI 部署的典型工作流在开始动手前需要明确从原始模型到边缘设备上运行的整体流程这有助于理解每一步的目的模型获取与准备 下载 Gemma 原始模型权重通常是 PyTorch 格式的.safetensors或.bin文件。模型转换 将原始模型转换为推理框架支持的格式如 ONNX。这一步通常在资源充足的开发机如带 GPU 的电脑上完成。模型优化 对转换后的模型进行量化如 INT8、算子融合、图优化等操作以减小模型体积、提升推理速度。交叉编译与部署 为 ARM 架构编译 LiteRT 运行时库并将优化后的模型、运行时库及应用程序打包部署到 Raspberry Pi。集成与测试 在 Raspberry Pi 上编写或运行示例程序加载模型并进行推理测试验证功能与性能。本文将聚焦于一个相对简化但完整的流程使用易于上手的工具完成步骤 2-5。2. 搭建开发与部署环境我们将采用“在 x86 开发机上准备模型和程序在 Raspberry Pi 上运行”的交叉开发模式。这是嵌入式开发的常见实践。2.1 Raspberry Pi 系统准备首先确保你的 Raspberry Pi 有一个干净、最新的操作系统。使用 Raspberry Pi Imager 刷写系统 从官网下载 Raspberry Pi Imager。插入 MicroSD 卡启动 Imager。选择操作系统 推荐选择 “Raspberry Pi OS (64-bit)” 的 “Lite” 版本无桌面环境以节省资源或 “Desktop” 版本方便调试。常见问题 如果遇到 “raspberry pi imager慢” 的问题通常与网络或镜像源有关。可以尝试更换网络环境。在 Imager 的设置中CtrlShiftX启用“使用本地镜像源”选项如果可用。手动下载系统镜像文件.img.xz然后在 Imager 中选择“使用自定义镜像”。配置 在烧录前通过 Imager 的设置菜单预先配置主机名、开启 SSH、设置 Wi-Fi 和用户名密码实现无头启动。系统初始化与更新 将 SD 卡插入树莓派并启动通过 SSH 连接。# 连接到你的树莓派假设主机名为 raspberrypi.local ssh piraspberrypi.local连接后首先更新系统sudo apt update sudo apt upgrade -y sudo apt install -y git wget curl build-essential cmake2.2 在开发机x86 Linux/Mac/WSL2上准备模型转换环境模型转换和优化步骤对计算资源有一定要求建议在性能更强的开发机上进行。安装 Python 及必要工具 确保开发机有 Python 3.8 环境。建议使用 conda 或 venv 创建独立环境。# 创建并激活虚拟环境 python3 -m venv gemma_env source gemma_env/bin/activate # Linux/Mac # gemma_env\Scripts\activate # Windows安装模型转换工具链 我们将使用transformers库加载 Gemma并使用onnx和onnxruntime进行转换和初步验证。也可以使用optimum等工具。pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu # 根据你的CUDA情况选择 pip install transformers onnx onnxruntime # 如果需要安装 optimum 进行优化 # pip install optimum[onnxruntime]2.3 获取 Gemma 模型权重访问 Hugging Face 模型库找到 Gemma 模型页面。你需要同意其使用协议。然后可以通过以下方式之一获取模型方式一使用 Hugging Face CLI(推荐)# 首先登录需要 token在 HF 网站设置中生成 huggingface-cli login # 下载模型以 gemma-2b 为例 git lfs install git clone https://huggingface.co/google/gemma-2b方式二在代码中动态加载transformers库支持在线加载但首次运行会下载且不便于后续离线部署。注意Gemma 模型文件较大2B 版本约 5GB请确保开发机和树莓派有足够存储空间。对于树莓派我们最终需要的是转换优化后的小尺寸模型文件。3. 模型转换与优化从 PyTorch 到边缘格式这是最关键的一步目标是将庞大的原始模型“瘦身”并转换为 LiteRT 能够高效执行的格式。3.1 将 Gemma 转换为 ONNX 格式ONNX 是一个开放的模型表示格式作为不同框架之间的桥梁。我们写一个 Python 脚本进行转换。创建一个文件convert_gemma_to_onnx.pyimport torch from transformers import AutoTokenizer, AutoModelForCausalLM import onnx from onnxruntime.transformers.float16 import convert_float_to_float16 # 1. 加载模型和分词器 model_id ./gemma-2b # 修改为你的本地路径或 HF 模型名如 google/gemma-2b tokenizer AutoTokenizer.from_pretrained(model_id) model AutoModelForCausalLM.from_pretrained(model_id, torch_dtypetorch.float16) # 使用半精度节省内存 model.eval() # 切换到评估模式 # 2. 准备示例输入 dummy_input tokenizer(Hello, how are you?, return_tensorspt) input_ids dummy_input[input_ids] attention_mask dummy_input[attention_mask] # 对于文本生成模型我们通常导出的是每一步的解码过程。 # 这里简化处理导出一个用于单步推理的模型接收 input_ids, attention_mask, 可能还有 past_key_values # 注意实际部署可能需要更复杂的导出逻辑来处理自回归生成。 print(fInput shape: {input_ids.shape}) # 3. 导出为 ONNX onnx_model_path gemma-2b.onnx torch.onnx.export( model, (input_ids, attention_mask), # 模型输入参数 onnx_model_path, input_names[input_ids, attention_mask], output_names[logits], # 输出是下一个token的logits dynamic_axes{ input_ids: {0: batch_size, 1: sequence_length}, attention_mask: {0: batch_size, 1: sequence_length}, logits: {0: batch_size, 1: sequence_length} }, opset_version14, # 使用较新的 opset do_constant_foldingTrue, ) print(fModel exported to {onnx_model_path}) # 4. (可选) 转换为 FP16 精度进一步减小模型体积 onnx_model onnx.load(onnx_model_path) onnx_model_fp16 convert_float_to_float16(onnx_model) onnx.save(onnx_model_fp16, gemma-2b-fp16.onnx) print(FP16 conversion done.)运行此脚本python convert_gemma_to_onnx.py此步骤会生成gemma-2b.onnxFP32和gemma-2b-fp16.onnxFP16文件。FP16 版本体积约为一半是边缘部署的首选但需确保推理运行时支持 FP16。3.2 使用 ONNX Runtime 进行模型优化与量化ONNX Runtime 提供了丰富的图优化和量化工具可以显著提升模型在 CPU 上的性能。安装 ONNX Runtime 工具pip install onnxruntime onnxruntime-tools执行量化INT8 量化能将模型权重和激活值从浮点数转换为整数大幅减少模型体积和内存占用并利用整数运算加速。这是边缘部署的“杀手锏”。# 首先需要准备一个校准数据集这里用随机数据示例 python -m onnxruntime.quantization.preprocess \ --input gemma-2b-fp16.onnx \ --output gemma-2b-fp16-infer.onnx \ --skip_optimization # 然后进行静态量化需要提供校准数据此处简化 # 注意Transformer 类模型的量化较为复杂可能需要更细致的校准和配置。 # 以下命令仅为示意实际生产需参考 ONNX Runtime 量化文档。 # python -m onnxruntime.quantization.quantize \ # --input gemma-2b-fp16-infer.onnx \ # --output gemma-2b-int8.onnx \ # --quant_format QOperator \ # --op_types_to_quantize ...由于大语言模型的量化是一个专业话题对于初次尝试可以暂时跳过量化步骤直接使用 FP16 模型。但需要明白FP16 模型在树莓派上运行可能仍然非常缓慢且占用大量内存。使用 ONNX Runtime 进行图优化 即使不量化基本的图优化也能带来收益。python -m onnxruntime.tools.convert_onnx_models_to_ort \ gemma-2b-fp16.onnx \ --optimization_level basic此命令会生成一个.ort文件这是 ONNX Runtime 优化后的格式通常能获得更好的性能。3.3 为 LiteRT 准备模型LiteRT 可能直接支持 ONNX也可能有自定义的模型格式。你需要查阅 LiteRT 的官方文档。通常流程是从 LiteRT 项目源码中找到模型转换工具例如convert_tool。将 ONNX 模型转换为 LiteRT 支持的格式如.lrt或.bin。该工具可能集成了针对 ARM NEON 的特定优化。假设 LiteRT 提供了一个转换脚本convert_onnx_to_lrt.py其用法可能如下# 假设在开发机上操作 git clone https://github.com/litert-project/litert cd litert/tools python convert_onnx_to_lrt.py --input ../gemma-2b-fp16.onnx --output ../gemma-2b.lrt --target arm64关键点 模型转换和优化是性能提升的关键。在开发机上花时间做好这一步能极大缓解树莓派上的运行时压力。4. 在 Raspberry Pi 上编译与部署 LiteRT现在我们将工作重心转移到 Raspberry Pi 上。4.1 在 Raspberry Pi 上编译 LiteRT 运行时安装编译依赖sudo apt install -y git cmake build-essential libopenblas-dev克隆并编译 LiteRTgit clone https://github.com/litert-project/litert.git cd litert mkdir build cd build # 关键配置指定 ARM 架构开启 NEON 优化关闭不必要的特性 cmake .. -DCMAKE_BUILD_TYPERelease -DARCHarm64 -DENABLE_NEONON -DBUILD_SHARED_LIBSON make -j$(nproc) # 使用所有核心编译 sudo make install # 将库文件安装到系统路径编译成功后liblitert.so等库文件会被安装到/usr/local/lib头文件在/usr/local/include。4.2 部署模型与编写测试程序将优化后的模型文件传输到树莓派 使用scp命令将你在开发机上生成的最终模型文件如gemma-2b.lrt或优化后的 ONNX 文件和分词器文件tokenizer.json等传到树莓派。# 在开发机上执行 scp gemma-2b.lrt piraspberrypi.local:~/edge_ai_demo/ scp -r gemma-2b/tokenizer* piraspberrypi.local:~/edge_ai_demo/编写一个简单的 C 推理程序 在树莓派上创建demo.cpp。#include iostream #include vector #include chrono #include “litert/litert.h” // 假设 LiteRT 的主要头文件 int main() { // 1. 初始化 LiteRT 环境 LRTEnv* env lrt_create_env(); if (!env) { std::cerr Failed to create LiteRT environment. std::endl; return -1; } // 2. 创建推理会话 LRTSession* session lrt_create_session(env); if (!session) { std::cerr Failed to create session. std::endl; lrt_destroy_env(env); return -1; } // 3. 加载模型 const char* model_path ./gemma-2b.lrt; if (lrt_load_model(session, model_path) ! LRT_SUCCESS) { std::cerr Failed to load model: model_path std::endl; lrt_destroy_session(session); lrt_destroy_env(env); return -1; } // 4. 准备输入数据 (这里需要根据模型输入结构填充) // 例如将 tokenized 的 input_ids 和 attention_mask 放入 tensor std::vectorint32_t input_ids {1, 15043, 13, 663, 338, 297}; // “Hello, how are you?” 的 token id (示例) std::vectorint32_t attention_mask(input_ids.size(), 1); LRTensor* input_tensor_ids lrt_create_tensor(LRT_INT32, {1, (int)input_ids.size()}, input_ids.data()); LRTensor* input_tensor_mask lrt_create_tensor(LRT_INT32, {1, (int)attention_mask.size()}, attention_mask.data()); // 5. 设置输入 lrt_set_input(session, 0, input_tensor_ids); lrt_set_input(session, 1, input_tensor_mask); // 6. 运行推理 auto start std::chrono::high_resolution_clock::now(); if (lrt_run(session) ! LRT_SUCCESS) { std::cerr Inference failed. std::endl; } auto end std::chrono::high_resolution_clock::now(); std::chrono::durationdouble elapsed end - start; std::cout Inference time: elapsed.count() seconds. std::endl; // 7. 获取输出 LRTensor* output_tensor lrt_get_output(session, 0); // 处理 output_tensor 中的数据 (logits)... // 8. 清理资源 lrt_destroy_tensor(output_tensor); lrt_destroy_tensor(input_tensor_mask); lrt_destroy_tensor(input_tensor_ids); lrt_destroy_session(session); lrt_destroy_env(env); return 0; }注意 以上代码为示意代码实际 API 调用、Tensor 创建和数据处理需严格参照 LiteRT 的官方文档。大语言模型的生成式推理通常需要循环调用lrt_run来实现自回归。编译测试程序g -stdc11 demo.cpp -o demo -llitert -I/usr/local/include -L/usr/local/lib -Wl,-rpath,/usr/local/lib运行测试./demo如果一切顺利你将看到模型加载并执行了一次前向传播同时输出推理耗时。5. 性能评估、常见问题与优化策略在资源受限的边缘设备上性能调优是永恒的主题。成功运行只是第一步。5.1 性能评估指标在树莓派上运行 Gemma 这类模型需要关注以下指标内存占用 使用htop或free -m命令监控程序运行时的内存使用量。模型权重、激活值和中间结果都会消耗内存。推理延迟 单次前向传播生成一个 token所需的时间。这是影响交互体验的关键。CPU 利用率 使用top或mpstat查看推理时 CPU 各核心的负载情况判断是否充分利用了多核。温度与功耗 长期高负载运行需注意散热。可使用vcgencmd measure_temp监控温度。5.2 常见问题与排查路径问题现象可能原因检查与解决思路编译 LiteRT 失败依赖缺失、CMake 参数错误、内存不足。1. 确认安装了build-essential,cmake。2. 检查 CMake 输出日志看是否有找不到包的错误。3. 树莓派编译大项目可能内存不足尝试make -j2减少并行任务或增加 swap 空间。运行程序时报“找不到 liblitert.so”动态链接库路径未设置。1. 运行ldconfig更新库缓存。2. 编译程序时加上-Wl,-rpath,/usr/local/lib。3. 临时设置环境变量export LD_LIBRARY_PATH/usr/local/lib:$LD_LIBRARY_PATH。加载模型时崩溃或报错模型格式不匹配、版本不兼容、内存不足。1. 确认模型文件是为 ARM 架构转换的。2. 检查 LiteRT 版本和模型转换工具版本是否匹配。3. 使用dmesg查看是否有 OOM内存溢出日志。尝试使用更小的模型或进行量化。推理速度极慢未启用优化、模型过大、CPU 频率受限。1. 确认编译 LiteRT 时开启了-DENABLE_NEONON和-DCMAKE_BUILD_TYPERelease。2. 对模型进行 INT8 量化是提速最有效的手段。3. 检查 CPU 频率vcgencmd get_config arm_freq。必要时在/boot/config.txt中取消超频限制。输出结果乱码或完全错误分词器不匹配、输入数据格式错误、模型损坏。1. 确保树莓派上使用的分词器文件与转换模型时的一致。2. 仔细核对输入 Tensor 的数据类型int32/int64、形状和数值。3. 在开发机上用 ONNX Runtime 运行相同输入验证模型和分词器本身是否正确。5.3 进阶优化策略当基础版本跑通后可以考虑以下方向进行深度优化模型层面量化 这是最重要的优化。探索INT8甚至INT4量化使用更专业的量化工具如GPTQ,AWQ和校准数据集。剪枝 移除模型中冗余的权重或神经元。知识蒸馏 用更大的教师模型训练一个更小的学生模型专门用于边缘部署。运行时层面算子优化 确保 LiteRT 对 Gemma 中的关键算子如 Rotary Embedding, RMSNorm, 稀疏注意力有高效的 ARM NEON 实现。内存规划 优化内存分配策略减少动态内存分配带来的开销和碎片。线程池调优 调整 LiteRT 内部线程池大小匹配树莓派的核心数。系统与硬件层面CPU 调频策略 设置为performance模式避免推理时降频。sudo echo performance | sudo tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor内存管理 使用malloc_trim或自定义内存池管理频繁的分配释放。散热 为树莓派加装散热片或风扇避免因过热导致 CPU 降频。6. 生产环境考量与最佳实践将边缘 AI 从实验推向实际应用需要更严谨的工程化处理。稳定性与健壮性心跳与看门狗 部署守护进程监控 AI 推理服务崩溃后能自动重启。输入验证与过滤 对输入文本进行长度、字符集检查防止异常输入导致崩溃。资源限制 使用cgroups限制进程的内存和 CPU 使用防止单个任务耗尽系统资源。效率与资源管理模型预热 在服务启动后先用一些典型请求“预热”模型触发初始化和缓存避免首次请求延迟过高。请求队列与批处理 如果并发请求多可以实现简单的队列并尝试将多个请求批处理batch后一次性推理提高吞吐量。模型卸载 如果内存紧张可以考虑在空闲时将不常用的模型从内存中卸载。可观测性日志记录 记录关键事件模型加载成功/失败、推理耗时、输入输出样本脱敏后。指标暴露 提供简单的 HTTP 端点或文件暴露 Prometheus 格式的指标如请求数、平均延迟、错误数、内存使用量。远程调试 预留通过 SSH 或远程接口获取运行时状态如模型是否加载、队列长度的能力。安全与隐私最小权限原则 运行 AI 推理服务的用户应具有最小必要权限。数据本地化 边缘 AI 的优势是数据不出设备。确保你的应用设计遵循这一原则。模型保护 对部署的模型文件进行加密或混淆增加逆向工程难度。在 Raspberry Pi 上部署 Gemma 这类模型目前仍然处于探索和优化阶段很难达到流畅的交互体验。但这个过程的真正价值在于你系统地实践了边缘 AI 部署的全链路从模型选择、格式转换、跨平台编译、运行时集成到性能调优。掌握了这套方法论后你可以将其应用于更小、更专用的模型如 MobileNet, YOLO-Nano, Whisper-tiny在树莓派上构建真正实用的边缘智能应用如本地语音助手、离线图像识别或实时传感器数据分析。下一步可以尝试用更成熟的边缘推理框架如 TensorFlow Lite for Microcontrollers, ONNX Runtime Mobile来部署量化后的 Gemma或者探索专门为 ARM 优化的模型架构在有限的资源下寻找性能与精度的最佳平衡点。