llm 推理主要就是分成4部分 tokenizer 、llm inference、sample 和 kvcache 管理。所有的llm 推理框架基本上都是围绕这几部分来设计推理框架的。MNN 的架构也是大体如此。1. 运行环境搭建1.1 编译需要MNN 源码开启LLM 功能支持 -DMNN_BUILD_LLM=ON 如果要支持多模态和Omni 模型还需要开启 -D MNN_BUILD_LLM_OMNI=ON 参数。cmake..-DMNN_BUILD_LLM=ON-DMNN_BUILD_LLM_OMNI=ON-DLLM_SUPPORT_VISION=ON-DLLM_SUPPORT_AUDIO=ONmake-j81.2 运行demo下面模型 https://www.modelscope.cn/models/MNN/Qwen3-VL-2B-Instruct-MNN用来测试。prompt.txt 提示词:imgtest.jpg/img描述一下这个图片里面有什么内容?# ./llm_demo /work1/mnn/mnn_models/Qwen3-VL-2B-Instruct-MNN/config.json vl_prompt.txtCPU Group:[8641401297515113],800000-4800000CPU Group:[112103],800000-4900000The device supports: i8sdot:0, fp16:0, i8mm:0, sve2:0, sme2:0config path is /work1/mnn/mnn_models/Qwen3-VL-2B-Instruct-MNN/config.json main,268, cost time:3734.455078ms prompt
MNN llm_demo VLM模型推理源码分析
发布时间：2026/5/20 6:00:44
llm 推理主要就是分成4部分 tokenizer 、llm inference、sample 和 kvcache 管理。所有的llm 推理框架基本上都是围绕这几部分来设计推理框架的。MNN 的架构也是大体如此。1. 运行环境搭建1.1 编译需要MNN 源码开启LLM 功能支持 -DMNN_BUILD_LLM=ON 如果要支持多模态和Omni 模型还需要开启 -D MNN_BUILD_LLM_OMNI=ON 参数。cmake..-DMNN_BUILD_LLM=ON-DMNN_BUILD_LLM_OMNI=ON-DLLM_SUPPORT_VISION=ON-DLLM_SUPPORT_AUDIO=ONmake-j81.2 运行demo下面模型 https://www.modelscope.cn/models/MNN/Qwen3-VL-2B-Instruct-MNN用来测试。prompt.txt 提示词:imgtest.jpg/img描述一下这个图片里面有什么内容?# ./llm_demo /work1/mnn/mnn_models/Qwen3-VL-2B-Instruct-MNN/config.json vl_prompt.txtCPU Group:[8641401297515113],800000-4800000CPU Group:[112103],800000-4900000The device supports: i8sdot:0, fp16:0, i8mm:0, sve2:0, sme2:0config path is /work1/mnn/mnn_models/Qwen3-VL-2B-Instruct-MNN/config.json main,268, cost time:3734.455078ms prompt
