Qwen3-8B 推理优化实践【免费下载链接】cann-learning-hubCANN 学习中心仓支持在线互动运行、边学边练提供教程、示例与优化方案一站式助力昇腾开发者快速上手。项目地址: https://gitcode.com/cann/cann-learning-hub本教程以Qwen3-8B为例展示如何在昇腾 NPU 上使用 cann-recipes-infer 离线推理框架完成 Baseline 推理、Profiling 分析并验证 Dense RMSNorm NPU 融合路径的性能收益。课程主流程采用 recipes 的典型用法查看并修改models/qwen/config/下的 YAML 配置通过executor/scripts/infer.sh拉起离线推理再从res/与prof/目录读取日志和性能产物。教程包含以下内容Notebooks包含环境准备、YAML 修改、infer.sh启动、Profiling 分析和 Dense RMSNorm NPU 融合路径 A/B 验证步骤可在 GitCode 提供的轻量级 Notebook 上运行也可在本地 Jupyter 环境中执行。SRC包含教程中使用的 recipes 推理入口、Qwen3-8B 模型适配代码、NPU 适配辅助函数、运行后处理工具与样例 prompt。关于 cann-recipes-infercann-recipes-infer 是 CANN 推理优化样例仓面向 LLM 与多模态模型推理业务中的典型模型和加速算法提供基于 CANN 平台的优化样例帮助开发者快速完成 NPU 推理部署与性能验证。仓库覆盖 Qwen、DeepSeek、Kimi、LongCat、Hunyuan、SANA-Video、Wan、GPT-OSS、HSTU 等多类模型样例既包含文本大模型也包含图像、视频和推荐类推理实践。仓库以executor/提供统一推理执行框架包含离线推理入口、在线推理服务、模型加载、配置解析、调度执行和通用工具模块以models/提供不同模型的脚本与 YAML 配置以module/和ops/提供基础层、量化模块以及 AscendC、PyPTO、TileLang 等算子样例。不同模型样例围绕昇腾 NPU 推理常见优化点展开包括融合算子、图模式编译、Packed Sequence、Page Attention、TP/EP/DP/CP 等并行策略、多流并行、KV Cache 管理、W8A8/W8A8C8/混合量化以及部分模型中的 MTP 投机推理能力。本课程采用该仓库的 recipes 工作流与 Qwen3-8B 单卡 BF16 推理所需代码子集保留 YAML 配置、executor/scripts/infer.sh启动方式、离线推理、Profiling 和 Dense RMSNorm NPU 融合验证链路。学习本课程后可以继续到完整cann-recipes-infer仓库中查看更多模型和更复杂的部署优化实践。注意在线体验请直接在 GitCode Notebook 环境中执行。Notebook 环境需包含 CANN、torch、torch_npu、transformers、modelscope、datasets和 recipes 推理所需依赖本地运行前请先执行/usr/local/Ascend/ascend-toolkit/set_env.sh或等价 CANN 环境脚本。transformers版本需支持 Qwen3 模型结构建议使用 4.51.0 或更高版本。Qwen3-8BBF16 权重约 16GB短上下文单卡验证建议使用 64GB HBM NPU磁盘空间建议至少 40GB。教程默认关闭 thinking 模式并使用短输出降低在线环境资源压力。模型权重使用Qwen/Qwen3-8B。首次运行会通过 ModelScope 下载并缓存权重如环境中已准备本地权重可设置QWEN3_8B_MODEL_PATH/path/to/Qwen3-8B。模型权重模型标识Qwen/Qwen3-8B。下载通道Notebook 默认使用 ModelScope。本地权重已准备模型目录时设置QWEN3_8B_MODEL_PATH/path/to/Qwen3-8B后会直接加载本地权重。下载时机首次执行02_baseline_inference.ipynb的 Baseline 推理 cell 时开始下载权重已存在缓存或本地权重时会直接加载。异常排查如果下载阶段网络不稳定可重新执行当前 cell已完成的缓存会被复用。端到端复现Notebook 环境中按顺序打开并 Run All01_chapter_intro.ipynb02_baseline_inference.ipynb03_profiling_analysis.ipynb04_npu_optimization.ipynb首次执行02_baseline_inference.ipynb的 Baseline 推理 cell 会开始下载并缓存Qwen/Qwen3-8B权重如果已设置QWEN3_8B_MODEL_PATH则直接使用本地权重目录。02/03/04的环境准备单元会定位仓库目录、创建Sources/model_inference_optimization/qwen3_8b运行目录、导入 CANN 环境并打印 recipes 目录、YAML 目录、推理入口和 NPU 可见卡号。手工操作时进入src/inference_scripts/recipe_qwen3_8b/models/qwen/config/修改 YAMLNotebook 中会把对应 YAML 复制到Sources/.../recipe_yaml/只填入当前环境可用的模型路径。启动推理时会显式展示并执行cd src/inference_scripts/recipe_qwen3_8b bash executor/scripts/infer.sh --model qwen --mode offline --yaml yamlrecipes 日志保存在src/inference_scripts/recipe_qwen3_8b/models/qwen/res/日期/case_name/课程指标会同步写入Sources/model_inference_optimization/qwen3_8b/run_outputs/。第 3 章会在 YAML 中打开model_config.enable_profilertrue。运行后进入 recipes 结果目录下的prof/查看kernel_details、trace、op_statistic或op_summary等性能产物再基于真实算子耗时选择第 4 章的优化点。本地终端运行前先准备 CANN 和可见 NPU。source /usr/local/Ascend/ascend-toolkit/set_env.sh export ASCEND_RT_VISIBLE_DEVICES0如需使用本地权重export QWEN3_8B_MODEL_PATH/path/to/Qwen3-8B代码与权重说明本实践的 Notebook、推理脚本和 Qwen3 NPU 适配辅助代码位于本目录src/。recipes 推理框架子集位于src/inference_scripts/recipe_qwen3_8b/保留 Qwen3-8B 单卡离线推理所需的 executor、model loader、Qwen 模型文件与公共线性层代码。recipes YAML 位于src/inference_scripts/recipe_qwen3_8b/models/qwen/config/qwen3_8b_1tp.yaml用于 Baselineqwen3_8b_1tp_profile.yaml用于 Profilingqwen3_8b_1tp_add_rmsnorm.yaml用于 Dense RMSNorm NPU 融合验证。Qwen dense 模型实现位于src/inference_scripts/recipe_qwen3_8b/models/qwen/models/modeling_qwen.py基于 Qwen2/Qwen3 dense 结构适配 NPU 推理。Qwen3 NPU norm 精度检查位于src/qwen3_npu_adaptation.py第 4 章 A/B 只切换 recipes Qwen3-8B 路径中是否启用torch_npu.npu_rms_norm与torch_npu.npu_add_rms_norm融合。模型权重使用Qwen/Qwen3-8B首次运行会通过默认下载通道获取权重已准备本地权重时可通过QWEN3_8B_MODEL_PATH指定。Notebooks| Notebook | Link | 状态 | |--|--|--| | 1. 章节介绍 | 在线体验 | ✅ 已发布 | | 2. Baseline 跑通 | 在线体验 | ✅ 已发布 | | 3. Profiling 分析 | 在线体验 | ✅ 已发布 | | 4. Dense RMSNorm NPU 融合路径优化验证 | 在线体验 | ✅ 已发布 | | 5. 量化Qwen3-8B模型 | 在线体验 | ✅ 已发布 | | 6. 自定义量化 A8W8 matmul 算子开发并接入 Qwen3-8B | 在线体验 | ✅ 已发布 |【免费下载链接】cann-learning-hubCANN 学习中心仓支持在线互动运行、边学边练提供教程、示例与优化方案一站式助力昇腾开发者快速上手。项目地址: https://gitcode.com/cann/cann-learning-hub创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
CANN学习中心：Qwen3-8B推理优化实践
发布时间：2026/7/12 23:11:24
Qwen3-8B 推理优化实践【免费下载链接】cann-learning-hubCANN 学习中心仓支持在线互动运行、边学边练提供教程、示例与优化方案一站式助力昇腾开发者快速上手。项目地址: https://gitcode.com/cann/cann-learning-hub本教程以Qwen3-8B为例展示如何在昇腾 NPU 上使用 cann-recipes-infer 离线推理框架完成 Baseline 推理、Profiling 分析并验证 Dense RMSNorm NPU 融合路径的性能收益。课程主流程采用 recipes 的典型用法查看并修改models/qwen/config/下的 YAML 配置通过executor/scripts/infer.sh拉起离线推理再从res/与prof/目录读取日志和性能产物。教程包含以下内容Notebooks包含环境准备、YAML 修改、infer.sh启动、Profiling 分析和 Dense RMSNorm NPU 融合路径 A/B 验证步骤可在 GitCode 提供的轻量级 Notebook 上运行也可在本地 Jupyter 环境中执行。SRC包含教程中使用的 recipes 推理入口、Qwen3-8B 模型适配代码、NPU 适配辅助函数、运行后处理工具与样例 prompt。关于 cann-recipes-infercann-recipes-infer 是 CANN 推理优化样例仓面向 LLM 与多模态模型推理业务中的典型模型和加速算法提供基于 CANN 平台的优化样例帮助开发者快速完成 NPU 推理部署与性能验证。仓库覆盖 Qwen、DeepSeek、Kimi、LongCat、Hunyuan、SANA-Video、Wan、GPT-OSS、HSTU 等多类模型样例既包含文本大模型也包含图像、视频和推荐类推理实践。仓库以executor/提供统一推理执行框架包含离线推理入口、在线推理服务、模型加载、配置解析、调度执行和通用工具模块以models/提供不同模型的脚本与 YAML 配置以module/和ops/提供基础层、量化模块以及 AscendC、PyPTO、TileLang 等算子样例。不同模型样例围绕昇腾 NPU 推理常见优化点展开包括融合算子、图模式编译、Packed Sequence、Page Attention、TP/EP/DP/CP 等并行策略、多流并行、KV Cache 管理、W8A8/W8A8C8/混合量化以及部分模型中的 MTP 投机推理能力。本课程采用该仓库的 recipes 工作流与 Qwen3-8B 单卡 BF16 推理所需代码子集保留 YAML 配置、executor/scripts/infer.sh启动方式、离线推理、Profiling 和 Dense RMSNorm NPU 融合验证链路。学习本课程后可以继续到完整cann-recipes-infer仓库中查看更多模型和更复杂的部署优化实践。注意在线体验请直接在 GitCode Notebook 环境中执行。Notebook 环境需包含 CANN、torch、torch_npu、transformers、modelscope、datasets和 recipes 推理所需依赖本地运行前请先执行/usr/local/Ascend/ascend-toolkit/set_env.sh或等价 CANN 环境脚本。transformers版本需支持 Qwen3 模型结构建议使用 4.51.0 或更高版本。Qwen3-8BBF16 权重约 16GB短上下文单卡验证建议使用 64GB HBM NPU磁盘空间建议至少 40GB。教程默认关闭 thinking 模式并使用短输出降低在线环境资源压力。模型权重使用Qwen/Qwen3-8B。首次运行会通过 ModelScope 下载并缓存权重如环境中已准备本地权重可设置QWEN3_8B_MODEL_PATH/path/to/Qwen3-8B。模型权重模型标识Qwen/Qwen3-8B。下载通道Notebook 默认使用 ModelScope。本地权重已准备模型目录时设置QWEN3_8B_MODEL_PATH/path/to/Qwen3-8B后会直接加载本地权重。下载时机首次执行02_baseline_inference.ipynb的 Baseline 推理 cell 时开始下载权重已存在缓存或本地权重时会直接加载。异常排查如果下载阶段网络不稳定可重新执行当前 cell已完成的缓存会被复用。端到端复现Notebook 环境中按顺序打开并 Run All01_chapter_intro.ipynb02_baseline_inference.ipynb03_profiling_analysis.ipynb04_npu_optimization.ipynb首次执行02_baseline_inference.ipynb的 Baseline 推理 cell 会开始下载并缓存Qwen/Qwen3-8B权重如果已设置QWEN3_8B_MODEL_PATH则直接使用本地权重目录。02/03/04的环境准备单元会定位仓库目录、创建Sources/model_inference_optimization/qwen3_8b运行目录、导入 CANN 环境并打印 recipes 目录、YAML 目录、推理入口和 NPU 可见卡号。手工操作时进入src/inference_scripts/recipe_qwen3_8b/models/qwen/config/修改 YAMLNotebook 中会把对应 YAML 复制到Sources/.../recipe_yaml/只填入当前环境可用的模型路径。启动推理时会显式展示并执行cd src/inference_scripts/recipe_qwen3_8b bash executor/scripts/infer.sh --model qwen --mode offline --yaml yamlrecipes 日志保存在src/inference_scripts/recipe_qwen3_8b/models/qwen/res/日期/case_name/课程指标会同步写入Sources/model_inference_optimization/qwen3_8b/run_outputs/。第 3 章会在 YAML 中打开model_config.enable_profilertrue。运行后进入 recipes 结果目录下的prof/查看kernel_details、trace、op_statistic或op_summary等性能产物再基于真实算子耗时选择第 4 章的优化点。本地终端运行前先准备 CANN 和可见 NPU。source /usr/local/Ascend/ascend-toolkit/set_env.sh export ASCEND_RT_VISIBLE_DEVICES0如需使用本地权重export QWEN3_8B_MODEL_PATH/path/to/Qwen3-8B代码与权重说明本实践的 Notebook、推理脚本和 Qwen3 NPU 适配辅助代码位于本目录src/。recipes 推理框架子集位于src/inference_scripts/recipe_qwen3_8b/保留 Qwen3-8B 单卡离线推理所需的 executor、model loader、Qwen 模型文件与公共线性层代码。recipes YAML 位于src/inference_scripts/recipe_qwen3_8b/models/qwen/config/qwen3_8b_1tp.yaml用于 Baselineqwen3_8b_1tp_profile.yaml用于 Profilingqwen3_8b_1tp_add_rmsnorm.yaml用于 Dense RMSNorm NPU 融合验证。Qwen dense 模型实现位于src/inference_scripts/recipe_qwen3_8b/models/qwen/models/modeling_qwen.py基于 Qwen2/Qwen3 dense 结构适配 NPU 推理。Qwen3 NPU norm 精度检查位于src/qwen3_npu_adaptation.py第 4 章 A/B 只切换 recipes Qwen3-8B 路径中是否启用torch_npu.npu_rms_norm与torch_npu.npu_add_rms_norm融合。模型权重使用Qwen/Qwen3-8B首次运行会通过默认下载通道获取权重已准备本地权重时可通过QWEN3_8B_MODEL_PATH指定。Notebooks| Notebook | Link | 状态 | |--|--|--| | 1. 章节介绍 | 在线体验 | ✅ 已发布 | | 2. Baseline 跑通 | 在线体验 | ✅ 已发布 | | 3. Profiling 分析 | 在线体验 | ✅ 已发布 | | 4. Dense RMSNorm NPU 融合路径优化验证 | 在线体验 | ✅ 已发布 | | 5. 量化Qwen3-8B模型 | 在线体验 | ✅ 已发布 | | 6. 自定义量化 A8W8 matmul 算子开发并接入 Qwen3-8B | 在线体验 | ✅ 已发布 |【免费下载链接】cann-learning-hubCANN 学习中心仓支持在线互动运行、边学边练提供教程、示例与优化方案一站式助力昇腾开发者快速上手。项目地址: https://gitcode.com/cann/cann-learning-hub创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
