提到端侧 AI很多新手第一反应是「要懂算法、要训练模型、门槛很高」。其实在鸿蒙 7 体系下依托kit.AIKit 端侧推理引擎不需要懂算法原理不需要联网只要准备好预训练模型处理好输入输出短短几十行代码就能实现纯本地的图像识别数据完全不出设备还能享受 NPU 硬件加速。本文就以最经典的通用图像分类为实战场景带你从零跑通端侧 AI 推理的完整链路选图 → 本地预处理 → NPU 推理 → 返回识别结果全程离线运行代码可直接复用扩展。一、为什么用端侧 AI核心价值端侧 AI 就是把模型推理完全放在设备本地执行不依赖云端服务核心优势非常明确极致隐私图片、数据全部在本地处理不上传云端适合敏感场景离线可用没有网络也能正常使用不受信号、流量限制低延迟NPU 硬件加速推理耗时毫秒级适合实时场景低功耗系统级调度 NPU比纯 CPU 推理功耗降低 60% 以上适合落地的场景非常多本地图片分类、物体检测、文字识别、扫码、人像抠图、图像超分等等。二、核心技术栈与原理2.1 官方套件kit.AIKitAIKit 是鸿蒙官方端侧 AI 能力的统一入口核心包含两大部分预置系统 AI 能力人像抠图、图像超分、文本摘要等开箱即用的能力无需自带模型通用推理引擎 aiEngine支持加载自定义 ONNX / 鸿蒙模型格式实现任意自定义 AI 任务NPU 自动加速本文实战使用的是通用推理引擎它是最灵活、扩展性最强的端侧 AI 方案换个模型就能快速落地不同场景。2.2 图像识别完整推理链路通用图像分类的执行流程非常固定所有端侧推理任务都遵循这个逻辑选择图片 → 图片预处理缩放、归一化、转张量 ↓ 加载模型 → 输入张量 → NPU/CPU 推理 ↓ 结果后处理取概率最高的分类、映射标签 ↓ 展示识别结果2.3 模型选择MobileNetV2我们使用业界最通用的轻量图像分类模型MobileNetV2谷歌开源的预训练模型支持 1000 类通用物体识别模型体积小仅十几 MB推理速度快适合端侧部署对硬件要求低新手入门门槛最低理解后可无缝替换为其他模型三、前置准备3.1 开发与运行环境SDK 版本API 26HarmonyOS 7.0及以上开发工具DevEco Studio 5.0 及以上运行设备推荐麒麟 9000 系列及以上设备支持 NPU 硬件加速兼容不支持 NPU 的设备会自动回退到 CPU 推理可正常运行只是速度稍慢3.2 资源文件准备需要提前准备两个文件放到工程entry/src/main/resources/rawfile目录下模型文件mobilenetv2.onnx可直接下载官方公开的 MobileNetV2 ONNX 预训练模型标签文件imagenet_labels.jsonImageNet 1000 分类的中文/英文标签映射格式如下[tench 金鲫鱼,goldfish 金鱼,great white shark 大白鲨,...]四、完整实战本地图像分类 Demo4.1 第一步封装推理工具类我们把模型加载、图片预处理、推理执行、结果后处理全部封装到工具类中和 UI 完全分离便于复用。新建entry/src/main/ets/utils/ImageClassifier.etsimport{aiEngine}fromkit.AIKit;import{fs}fromkit.CoreFileKit;import{hilog}fromkit.PerformanceAnalysisKit;constTAGImageClassifier;// 识别结果结构体exportinterfaceClassifyResult{label:string;confidence:number;}/** * 端侧图像分类器 * 基于AIKit推理引擎本地离线运行 */exportclassImageClassifier{privateinferEngine:aiEngine.InferEngine|nullnull;privatelabels:string[][];privateisReady:booleanfalse;// 模型输入参数MobileNetV2标准输入224x224 RGB三通道privatereadonlyINPUT_SIZE224;privatereadonlyINPUT_CHANNEL3;/** * 初始化拷贝模型到沙箱 加载模型 读取标签 */asyncinit(context:Context):Promiseboolean{try{// 1. 将rawfile中的模型和标签拷贝到沙箱目录constmodelPathawaitthis.copyRawToFile(context,mobilenetv2.onnx);constlabelPathawaitthis.copyRawToFile(context,imagenet_labels.json);// 2. 读取标签constlabelContentfs.readText(labelPath);this.labelsJSON.parse(labelContent);// 3. 创建推理引擎优先NPU加速this.inferEngineaiEngine.createInferEngine({modelPath:modelPath,deviceType:aiEngine.DeviceType.NPU_PREFERRED});awaitthis.inferEngine.load();this.isReadytrue;hilog.info(0x0000,TAG,图像分类器初始化成功);returntrue;}catch(err){hilog.error(0x0000,TAG,初始化失败:${JSON.stringify(err)});this.isReadyfalse;returnfalse;}}/** * 执行图像分类返回Top3结果 * param imageBuffer 图片像素数据RGB Float32 归一化后 */asyncclassify(imageBuffer:ArrayBuffer):PromiseClassifyResult[]{if(!this.isReady||!this.inferEngine){thrownewError(分类器未初始化);}try{// 1. 设置输入张量constinputTensornewaiEngine.Tensor({data:imageBuffer,shape:[1,this.INPUT_CHANNEL,this.INPUT_SIZE,this.INPUT_SIZE],dtype:aiEngine.DataType.FLOAT32});this.inferEngine.setInputTensor(0,inputTensor);// 2. 执行推理awaitthis.inferEngine.run();// 3. 获取输出张量constoutputTensorthis.inferEngine.getOutputTensor(0);constoutputDatanewFloat32Array(outputTensor.data);// 4. 后处理取概率最高的Top3returnthis.getTopResults(outputData,3);}catch(err){hilog.error(0x0000,TAG,推理失败:${JSON.stringify(err)});return[];}}/** * 图片预处理将图片缩放到指定尺寸转RGB并归一化 * param imageUri 图片URI */asyncpreprocessImage(imageUri:string):PromiseArrayBuffer{// 说明实际项目中使用PixelMap解码图片、缩放、提取RGB像素// 此处简化核心逻辑将图片缩放到224x224提取RGB像素值并归一化到[0,1]constpixelCountthis.INPUT_SIZE*this.INPUT_SIZE;constfloatBuffernewFloat32Array(pixelCount*this.INPUT_CHANNEL);// 提示完整实现需要调用Image Kit解码图片为PixelMap逐像素读取RGB值// 归一化参数根据模型训练时的配置调整MobileNet通常为// pixel (pixel / 255.0 - mean) / std// mean [0.485, 0.456, 0.406], std [0.229, 0.224, 0.225]returnfloatBuffer.buffer;}/** * 后处理取置信度最高的Top N结果 */privategetTopResults(output:Float32Array,topN:number):ClassifyResult[]{constresults:ClassifyResult[][];constindexedArray.from(output).map((conf,i)({index:i,conf}));indexed.sort((a,b)b.conf-a.conf);for(leti0;itopNiindexed.length;i){constitemindexed[i];results.push({label:this.labels[item.index]||类别${item.index},confidence:item.conf});}returnresults;}/** * 将rawfile文件拷贝到沙箱返回沙箱路径 */privateasynccopyRawToFile(context:Context,fileName:string):Promisestring{constrawDataawaitcontext.resourceManager.getRawFileContent(fileName);consttargetPath${context.filesDir}/${fileName};if(!fs.exists(targetPath)){fs.write(targetPath,rawData.buffer);}returntargetPath;}/** * 释放资源 */release():void{if(this.inferEngine){this.inferEngine.unload();this.inferEnginenull;}this.isReadyfalse;}}4.2 第二步主页面实现页面实现相册选图、图片预览、触发识别、展示结果的完整交互。打开entry/src/main/ets/pages/Index.etsimport{ImageClassifier,ClassifyResult}from../utils/ImageClassifier;import{PhotoViewPicker,photoAccessHelper,promptAction}fromkit.ArkUI;import{hilog}fromkit.PerformanceAnalysisKit;constTAGImageClassifyDemo;EntryComponentstruct OfflineImageClassifyPage{StateimageUri:string;StateresultList:ClassifyResult[][];StateisLoading:booleanfalse;StateisInitDone:booleanfalse;privateclassifier:ImageClassifiernewImageClassifier();privatephotoPicker:PhotoViewPickernewPhotoViewPicker();asyncaboutToAppear(){// 页面加载时异步初始化模型this.isLoadingtrue;constsuccessawaitthis.classifier.init(getContext(this));this.isInitDonesuccess;this.isLoadingfalse;if(!success){promptAction.showToast({message:模型初始化失败请检查资源文件});}}aboutToDisappear(){this.classifier.release();}/** * 选择图片 */asyncpickImage(){try{constresawaitthis.photoPicker.select({MIMEType:photoAccessHelper.MimeType.IMAGE,maxSelectNumber:1});if(res.photoUrisres.photoUris.length0){this.imageUrires.photoUris[0];this.resultList[];}}catch(err){hilog.error(0x0000,TAG,选图失败:${JSON.stringify(err)});}}/** * 执行识别 */asyncstartClassify(){if(!this.imageUri||!this.isInitDone){promptAction.showToast({message:请先选择图片并等待模型加载});return;}this.isLoadingtrue;conststartTimeDate.now();try{// 1. 图片预处理constinputBufferawaitthis.classifier.preprocessImage(this.imageUri);// 2. 推理this.resultListawaitthis.classifier.classify(inputBuffer);constcostDate.now()-startTime;hilog.info(0x0000,TAG,识别完成耗时${cost}ms);}catch(err){promptAction.showToast({message:识别失败});}finally{this.isLoadingfalse;}}build(){Column({space:20}){Text(离线图像识别).fontSize(24).fontWeight(FontWeight.Bold).width(90%).margin({top:30});// 图片预览区Stack({alignContent:Alignment.Center}){if(this.imageUri){Image(this.imageUri).width(100%).aspectRatio(1).objectFit(ImageFit.Contain).borderRadius(12).backgroundColor(#F5F5F5);}else{Column({space:12}){Text(️).fontSize(48);Text(选择一张图片开始识别).fontSize(14).fontColor(#999999);}}if(this.isLoading){Column({space:8}){LoadingProgress().width(36).height(36).color(#0A59F7);Text(推理中...).fontSize(14).fontColor(#666666);}.width(120).padding(16).backgroundColor(#FFFFFFCC).borderRadius(12);}}.width(90%).aspectRatio(1).backgroundColor(#FFFFFF).borderRadius(16).shadow({radius:6,color:#1A000000});// 操作按钮Column({space:12}){Button(选择图片).width(100%).height(50).borderRadius(25).backgroundColor(#0A59F7).onClick(()this.pickImage());Button(开始识别).width(100%).height(50).borderRadius(25).backgroundColor(#00B578).enabled(!!this.imageUri!this.isLoadingthis.isInitDone).onClick(()this.startClassify());}.width(90%);// 识别结果if(this.resultList.length0){Column({space:12}){Text(识别结果Top3).fontSize(16).fontWeight(FontWeight.Medium).width(100%);ForEach(this.resultList,(item,index){Row(){Text(Top${index1}).fontSize(14).fontColor(#888888).width(60);Text(item.label).fontSize(15).fontColor(#333333).layoutWeight(1);Text(${(item.confidence*100).toFixed(1)}%).fontSize(14).fontColor(#0A59F7).fontFamily(monospace);}.width(100%).padding(12).backgroundColor(index0?#F0F7FF:#FAFAFA).borderRadius(8);});}.width(90%).padding(16).backgroundColor(#FFFFFF).borderRadius(12).shadow({radius:4,color:#1A000000});}Blank();Text( 纯本地离线推理数据不上传保护隐私).fontSize(12).fontColor(#AAAAAA).margin({bottom:30});}.width(100%).height(100%).backgroundColor(#F8F9FA);}}五、运行验证步骤放入资源将下载好的模型文件和标签文件放入rawfile目录编译安装将应用安装到鸿蒙实体设备上初始化验证进入应用后等待模型加载完成无报错即初始化成功识别测试点击选择图片从相册选一张物体照片点击开始识别等待推理完成查看 Top3 识别结果与置信度离线验证关闭设备 Wi-Fi 和移动网络重复上述操作功能完全正常六、进阶优化与扩展方向6.1 性能优化模型量化使用 INT8 量化模型体积减小 75%推理速度提升 2~3 倍精度损失极小输入复用连续推理时复用输入张量内存避免频繁申请释放异步流水线预处理和推理并行执行提升连续识别帧率NPU 调优根据芯片型号调整算子优先级最大化 NPU 利用率6.2 功能扩展这套推理框架是通用的替换不同的模型就能快速落地各种端侧 AI 能力换 YOLO 系列模型 → 实时物体检测换 OCR 模型 → 本地文字识别换人脸检测模型 → 人脸关键点识别换超分模型 → 图片清晰度增强6.3 系统预置 AI 能力如果不需要自定义模型AIKit 还提供了很多开箱即用的系统预置能力人像抠图、智能抠图图像超分辨率智能文本摘要语音识别与合成七、新手高频踩坑指南1. 模型加载失败排查模型文件是否正确放入 rawfile、是否成功拷贝到沙箱、路径是否正确注意ONNX 模型版本要和推理引擎支持的版本匹配建议用 opset 11~16 之间的版本2. 识别结果完全不对90% 的情况是预处理归一化参数错误每个模型训练时的均值、标准差都不同必须和训练时保持完全一致否则结果会完全错乱其次检查输入张量的形状、通道顺序RGB / BGR是否匹配3. NPU 不支持推理很慢部分小众算子 NPU 不支持会自动回退到 CPU 执行优化尽量使用 NPU 支持的标准算子避免自定义算子也可手动指定 CPU 模式保证兼容性4. 大图推理内存溢出不要直接把原图输入模型必须先缩放到模型要求的输入尺寸超大图可先做缩放、裁剪再送入推理引擎大幅降低内存占用5. 页面退出后仍占用资源必须在页面aboutToDisappear中调用release()释放推理引擎长时间后台运行会占用 NPU 资源导致系统功耗升高总结端侧 AI 看似门槛很高其实鸿蒙 AIKit 已经把最复杂的模型解析、硬件调度、内存管理都封装好了开发者只需要关注「输入预处理 输出后处理」两部分业务逻辑就能快速落地离线 AI 能力。这个图像分类 Demo 是最基础的入门模板吃透了推理引擎的使用流程再去做更复杂的实时检测、多模型串联等场景思路都会非常清晰。端侧 AI 的核心价值从来不是追求极致精度而是在隐私、延迟、可用性之间找到最佳平衡这也是鸿蒙分布式智能体验的基础。
本地离线图像识别 Demo，鸿蒙端侧 AI 套件入门
发布时间：2026/7/15 2:00:13
提到端侧 AI很多新手第一反应是「要懂算法、要训练模型、门槛很高」。其实在鸿蒙 7 体系下依托kit.AIKit 端侧推理引擎不需要懂算法原理不需要联网只要准备好预训练模型处理好输入输出短短几十行代码就能实现纯本地的图像识别数据完全不出设备还能享受 NPU 硬件加速。本文就以最经典的通用图像分类为实战场景带你从零跑通端侧 AI 推理的完整链路选图 → 本地预处理 → NPU 推理 → 返回识别结果全程离线运行代码可直接复用扩展。一、为什么用端侧 AI核心价值端侧 AI 就是把模型推理完全放在设备本地执行不依赖云端服务核心优势非常明确极致隐私图片、数据全部在本地处理不上传云端适合敏感场景离线可用没有网络也能正常使用不受信号、流量限制低延迟NPU 硬件加速推理耗时毫秒级适合实时场景低功耗系统级调度 NPU比纯 CPU 推理功耗降低 60% 以上适合落地的场景非常多本地图片分类、物体检测、文字识别、扫码、人像抠图、图像超分等等。二、核心技术栈与原理2.1 官方套件kit.AIKitAIKit 是鸿蒙官方端侧 AI 能力的统一入口核心包含两大部分预置系统 AI 能力人像抠图、图像超分、文本摘要等开箱即用的能力无需自带模型通用推理引擎 aiEngine支持加载自定义 ONNX / 鸿蒙模型格式实现任意自定义 AI 任务NPU 自动加速本文实战使用的是通用推理引擎它是最灵活、扩展性最强的端侧 AI 方案换个模型就能快速落地不同场景。2.2 图像识别完整推理链路通用图像分类的执行流程非常固定所有端侧推理任务都遵循这个逻辑选择图片 → 图片预处理缩放、归一化、转张量 ↓ 加载模型 → 输入张量 → NPU/CPU 推理 ↓ 结果后处理取概率最高的分类、映射标签 ↓ 展示识别结果2.3 模型选择MobileNetV2我们使用业界最通用的轻量图像分类模型MobileNetV2谷歌开源的预训练模型支持 1000 类通用物体识别模型体积小仅十几 MB推理速度快适合端侧部署对硬件要求低新手入门门槛最低理解后可无缝替换为其他模型三、前置准备3.1 开发与运行环境SDK 版本API 26HarmonyOS 7.0及以上开发工具DevEco Studio 5.0 及以上运行设备推荐麒麟 9000 系列及以上设备支持 NPU 硬件加速兼容不支持 NPU 的设备会自动回退到 CPU 推理可正常运行只是速度稍慢3.2 资源文件准备需要提前准备两个文件放到工程entry/src/main/resources/rawfile目录下模型文件mobilenetv2.onnx可直接下载官方公开的 MobileNetV2 ONNX 预训练模型标签文件imagenet_labels.jsonImageNet 1000 分类的中文/英文标签映射格式如下[tench 金鲫鱼,goldfish 金鱼,great white shark 大白鲨,...]四、完整实战本地图像分类 Demo4.1 第一步封装推理工具类我们把模型加载、图片预处理、推理执行、结果后处理全部封装到工具类中和 UI 完全分离便于复用。新建entry/src/main/ets/utils/ImageClassifier.etsimport{aiEngine}fromkit.AIKit;import{fs}fromkit.CoreFileKit;import{hilog}fromkit.PerformanceAnalysisKit;constTAGImageClassifier;// 识别结果结构体exportinterfaceClassifyResult{label:string;confidence:number;}/** * 端侧图像分类器 * 基于AIKit推理引擎本地离线运行 */exportclassImageClassifier{privateinferEngine:aiEngine.InferEngine|nullnull;privatelabels:string[][];privateisReady:booleanfalse;// 模型输入参数MobileNetV2标准输入224x224 RGB三通道privatereadonlyINPUT_SIZE224;privatereadonlyINPUT_CHANNEL3;/** * 初始化拷贝模型到沙箱 加载模型 读取标签 */asyncinit(context:Context):Promiseboolean{try{// 1. 将rawfile中的模型和标签拷贝到沙箱目录constmodelPathawaitthis.copyRawToFile(context,mobilenetv2.onnx);constlabelPathawaitthis.copyRawToFile(context,imagenet_labels.json);// 2. 读取标签constlabelContentfs.readText(labelPath);this.labelsJSON.parse(labelContent);// 3. 创建推理引擎优先NPU加速this.inferEngineaiEngine.createInferEngine({modelPath:modelPath,deviceType:aiEngine.DeviceType.NPU_PREFERRED});awaitthis.inferEngine.load();this.isReadytrue;hilog.info(0x0000,TAG,图像分类器初始化成功);returntrue;}catch(err){hilog.error(0x0000,TAG,初始化失败:${JSON.stringify(err)});this.isReadyfalse;returnfalse;}}/** * 执行图像分类返回Top3结果 * param imageBuffer 图片像素数据RGB Float32 归一化后 */asyncclassify(imageBuffer:ArrayBuffer):PromiseClassifyResult[]{if(!this.isReady||!this.inferEngine){thrownewError(分类器未初始化);}try{// 1. 设置输入张量constinputTensornewaiEngine.Tensor({data:imageBuffer,shape:[1,this.INPUT_CHANNEL,this.INPUT_SIZE,this.INPUT_SIZE],dtype:aiEngine.DataType.FLOAT32});this.inferEngine.setInputTensor(0,inputTensor);// 2. 执行推理awaitthis.inferEngine.run();// 3. 获取输出张量constoutputTensorthis.inferEngine.getOutputTensor(0);constoutputDatanewFloat32Array(outputTensor.data);// 4. 后处理取概率最高的Top3returnthis.getTopResults(outputData,3);}catch(err){hilog.error(0x0000,TAG,推理失败:${JSON.stringify(err)});return[];}}/** * 图片预处理将图片缩放到指定尺寸转RGB并归一化 * param imageUri 图片URI */asyncpreprocessImage(imageUri:string):PromiseArrayBuffer{// 说明实际项目中使用PixelMap解码图片、缩放、提取RGB像素// 此处简化核心逻辑将图片缩放到224x224提取RGB像素值并归一化到[0,1]constpixelCountthis.INPUT_SIZE*this.INPUT_SIZE;constfloatBuffernewFloat32Array(pixelCount*this.INPUT_CHANNEL);// 提示完整实现需要调用Image Kit解码图片为PixelMap逐像素读取RGB值// 归一化参数根据模型训练时的配置调整MobileNet通常为// pixel (pixel / 255.0 - mean) / std// mean [0.485, 0.456, 0.406], std [0.229, 0.224, 0.225]returnfloatBuffer.buffer;}/** * 后处理取置信度最高的Top N结果 */privategetTopResults(output:Float32Array,topN:number):ClassifyResult[]{constresults:ClassifyResult[][];constindexedArray.from(output).map((conf,i)({index:i,conf}));indexed.sort((a,b)b.conf-a.conf);for(leti0;itopNiindexed.length;i){constitemindexed[i];results.push({label:this.labels[item.index]||类别${item.index},confidence:item.conf});}returnresults;}/** * 将rawfile文件拷贝到沙箱返回沙箱路径 */privateasynccopyRawToFile(context:Context,fileName:string):Promisestring{constrawDataawaitcontext.resourceManager.getRawFileContent(fileName);consttargetPath${context.filesDir}/${fileName};if(!fs.exists(targetPath)){fs.write(targetPath,rawData.buffer);}returntargetPath;}/** * 释放资源 */release():void{if(this.inferEngine){this.inferEngine.unload();this.inferEnginenull;}this.isReadyfalse;}}4.2 第二步主页面实现页面实现相册选图、图片预览、触发识别、展示结果的完整交互。打开entry/src/main/ets/pages/Index.etsimport{ImageClassifier,ClassifyResult}from../utils/ImageClassifier;import{PhotoViewPicker,photoAccessHelper,promptAction}fromkit.ArkUI;import{hilog}fromkit.PerformanceAnalysisKit;constTAGImageClassifyDemo;EntryComponentstruct OfflineImageClassifyPage{StateimageUri:string;StateresultList:ClassifyResult[][];StateisLoading:booleanfalse;StateisInitDone:booleanfalse;privateclassifier:ImageClassifiernewImageClassifier();privatephotoPicker:PhotoViewPickernewPhotoViewPicker();asyncaboutToAppear(){// 页面加载时异步初始化模型this.isLoadingtrue;constsuccessawaitthis.classifier.init(getContext(this));this.isInitDonesuccess;this.isLoadingfalse;if(!success){promptAction.showToast({message:模型初始化失败请检查资源文件});}}aboutToDisappear(){this.classifier.release();}/** * 选择图片 */asyncpickImage(){try{constresawaitthis.photoPicker.select({MIMEType:photoAccessHelper.MimeType.IMAGE,maxSelectNumber:1});if(res.photoUrisres.photoUris.length0){this.imageUrires.photoUris[0];this.resultList[];}}catch(err){hilog.error(0x0000,TAG,选图失败:${JSON.stringify(err)});}}/** * 执行识别 */asyncstartClassify(){if(!this.imageUri||!this.isInitDone){promptAction.showToast({message:请先选择图片并等待模型加载});return;}this.isLoadingtrue;conststartTimeDate.now();try{// 1. 图片预处理constinputBufferawaitthis.classifier.preprocessImage(this.imageUri);// 2. 推理this.resultListawaitthis.classifier.classify(inputBuffer);constcostDate.now()-startTime;hilog.info(0x0000,TAG,识别完成耗时${cost}ms);}catch(err){promptAction.showToast({message:识别失败});}finally{this.isLoadingfalse;}}build(){Column({space:20}){Text(离线图像识别).fontSize(24).fontWeight(FontWeight.Bold).width(90%).margin({top:30});// 图片预览区Stack({alignContent:Alignment.Center}){if(this.imageUri){Image(this.imageUri).width(100%).aspectRatio(1).objectFit(ImageFit.Contain).borderRadius(12).backgroundColor(#F5F5F5);}else{Column({space:12}){Text(️).fontSize(48);Text(选择一张图片开始识别).fontSize(14).fontColor(#999999);}}if(this.isLoading){Column({space:8}){LoadingProgress().width(36).height(36).color(#0A59F7);Text(推理中...).fontSize(14).fontColor(#666666);}.width(120).padding(16).backgroundColor(#FFFFFFCC).borderRadius(12);}}.width(90%).aspectRatio(1).backgroundColor(#FFFFFF).borderRadius(16).shadow({radius:6,color:#1A000000});// 操作按钮Column({space:12}){Button(选择图片).width(100%).height(50).borderRadius(25).backgroundColor(#0A59F7).onClick(()this.pickImage());Button(开始识别).width(100%).height(50).borderRadius(25).backgroundColor(#00B578).enabled(!!this.imageUri!this.isLoadingthis.isInitDone).onClick(()this.startClassify());}.width(90%);// 识别结果if(this.resultList.length0){Column({space:12}){Text(识别结果Top3).fontSize(16).fontWeight(FontWeight.Medium).width(100%);ForEach(this.resultList,(item,index){Row(){Text(Top${index1}).fontSize(14).fontColor(#888888).width(60);Text(item.label).fontSize(15).fontColor(#333333).layoutWeight(1);Text(${(item.confidence*100).toFixed(1)}%).fontSize(14).fontColor(#0A59F7).fontFamily(monospace);}.width(100%).padding(12).backgroundColor(index0?#F0F7FF:#FAFAFA).borderRadius(8);});}.width(90%).padding(16).backgroundColor(#FFFFFF).borderRadius(12).shadow({radius:4,color:#1A000000});}Blank();Text( 纯本地离线推理数据不上传保护隐私).fontSize(12).fontColor(#AAAAAA).margin({bottom:30});}.width(100%).height(100%).backgroundColor(#F8F9FA);}}五、运行验证步骤放入资源将下载好的模型文件和标签文件放入rawfile目录编译安装将应用安装到鸿蒙实体设备上初始化验证进入应用后等待模型加载完成无报错即初始化成功识别测试点击选择图片从相册选一张物体照片点击开始识别等待推理完成查看 Top3 识别结果与置信度离线验证关闭设备 Wi-Fi 和移动网络重复上述操作功能完全正常六、进阶优化与扩展方向6.1 性能优化模型量化使用 INT8 量化模型体积减小 75%推理速度提升 2~3 倍精度损失极小输入复用连续推理时复用输入张量内存避免频繁申请释放异步流水线预处理和推理并行执行提升连续识别帧率NPU 调优根据芯片型号调整算子优先级最大化 NPU 利用率6.2 功能扩展这套推理框架是通用的替换不同的模型就能快速落地各种端侧 AI 能力换 YOLO 系列模型 → 实时物体检测换 OCR 模型 → 本地文字识别换人脸检测模型 → 人脸关键点识别换超分模型 → 图片清晰度增强6.3 系统预置 AI 能力如果不需要自定义模型AIKit 还提供了很多开箱即用的系统预置能力人像抠图、智能抠图图像超分辨率智能文本摘要语音识别与合成七、新手高频踩坑指南1. 模型加载失败排查模型文件是否正确放入 rawfile、是否成功拷贝到沙箱、路径是否正确注意ONNX 模型版本要和推理引擎支持的版本匹配建议用 opset 11~16 之间的版本2. 识别结果完全不对90% 的情况是预处理归一化参数错误每个模型训练时的均值、标准差都不同必须和训练时保持完全一致否则结果会完全错乱其次检查输入张量的形状、通道顺序RGB / BGR是否匹配3. NPU 不支持推理很慢部分小众算子 NPU 不支持会自动回退到 CPU 执行优化尽量使用 NPU 支持的标准算子避免自定义算子也可手动指定 CPU 模式保证兼容性4. 大图推理内存溢出不要直接把原图输入模型必须先缩放到模型要求的输入尺寸超大图可先做缩放、裁剪再送入推理引擎大幅降低内存占用5. 页面退出后仍占用资源必须在页面aboutToDisappear中调用release()释放推理引擎长时间后台运行会占用 NPU 资源导致系统功耗升高总结端侧 AI 看似门槛很高其实鸿蒙 AIKit 已经把最复杂的模型解析、硬件调度、内存管理都封装好了开发者只需要关注「输入预处理 输出后处理」两部分业务逻辑就能快速落地离线 AI 能力。这个图像分类 Demo 是最基础的入门模板吃透了推理引擎的使用流程再去做更复杂的实时检测、多模型串联等场景思路都会非常清晰。端侧 AI 的核心价值从来不是追求极致精度而是在隐私、延迟、可用性之间找到最佳平衡这也是鸿蒙分布式智能体验的基础。
