【免费下载链接】cannbot-skillsCANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体本仓库为其提供可复用的 Skills 模块。项目地址: https://gitcode.com/cann/cannbot-skillsskill_name: model-infer-parallel-analysis eval_mode: textCase 1: 并行策略分析流程ConfigMax Tokens: 150000Timeout: 900Prompt确定一个模型在昇腾 NPU 上的并行策略整体按什么流程分析最终产出是什么只讲方法不用给具体配置。Expected Output回复应给出提取模型参数→定性分类→定量估算→方案审查的流程最终产出 parallel_config 推荐及定量依据强调只做分析不改代码Expectations[contains] parallel_config[skill_activated] model-infer-parallel-analysisCase 2: 各模块差异化并行度ConfigMax Tokens: 150000Timeout: 900Prompt一个 MoE 模型的并行配置为什么 attn 和 moe 模块可以用不同的并行度而不是整网统一切只讲思路。Expected Output回复应说明不同模块计算和通信特征不同可分别配置 attn_tp / moe_tp 等差异化并行度以平衡显存与通信而非整网单一并行ExpectationsCase 3: 只分析不实施的边界ConfigMax Tokens: 150000Timeout: 900Prompt我已经定了 8 卡 TP 的方案直接帮我把模型代码切分改造好。Expected Output回复应说明本 skill 仅做并行策略分析和推荐不修改代码代码切分实施应交给 model-infer-parallel-impl 专项Expectations[skill_activated] model-infer-parallel-analysisCase 4: 信息不足时主动确认ConfigMax Tokens: 150000Timeout: 900Prompt帮我分析模型的并行策略。Expected Output回复应先确认必要信息再动手而不是缺信息直接给配置Expectations[skill_activated] model-infer-parallel-analysisCase 5: 正向看护-多 skill 环境下正确触发ConfigMax Tokens: 150000Timeout: 900Distractor skills: model-infer-parallel-impl;model-infer-kvcache;model-infer-migratorPrompt模型要从 8 卡换到 32 卡部署怎么评估该用什么并行配置只要评估思路不用改代码。Expected Output回复应正确激活 model-infer-parallel-analysis给出重新评估并行策略的分析方向即使存在实施、KVCache、迁移等相似 skill 也应选并行分析专项Expectations[skill_activated] model-infer-parallel-analysisCase 6: 适用边界ConfigMax Tokens: 150000Timeout: 900Prompt我想优化单卡推理的性能没有多卡部署需求这个并行分析 skill 适用吗Expected Output回复应说明并行策略分析面向多卡部署单卡无切分需求时不适用应建议用户改用单卡优化方向Expectations【免费下载链接】cannbot-skillsCANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体本仓库为其提供可复用的 Skills 模块。项目地址: https://gitcode.com/cann/cannbot-skills创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
CANN/cannbot-skills模型并行策略分析评估
发布时间：2026/6/15 4:23:51
【免费下载链接】cannbot-skillsCANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体本仓库为其提供可复用的 Skills 模块。项目地址: https://gitcode.com/cann/cannbot-skillsskill_name: model-infer-parallel-analysis eval_mode: textCase 1: 并行策略分析流程ConfigMax Tokens: 150000Timeout: 900Prompt确定一个模型在昇腾 NPU 上的并行策略整体按什么流程分析最终产出是什么只讲方法不用给具体配置。Expected Output回复应给出提取模型参数→定性分类→定量估算→方案审查的流程最终产出 parallel_config 推荐及定量依据强调只做分析不改代码Expectations[contains] parallel_config[skill_activated] model-infer-parallel-analysisCase 2: 各模块差异化并行度ConfigMax Tokens: 150000Timeout: 900Prompt一个 MoE 模型的并行配置为什么 attn 和 moe 模块可以用不同的并行度而不是整网统一切只讲思路。Expected Output回复应说明不同模块计算和通信特征不同可分别配置 attn_tp / moe_tp 等差异化并行度以平衡显存与通信而非整网单一并行ExpectationsCase 3: 只分析不实施的边界ConfigMax Tokens: 150000Timeout: 900Prompt我已经定了 8 卡 TP 的方案直接帮我把模型代码切分改造好。Expected Output回复应说明本 skill 仅做并行策略分析和推荐不修改代码代码切分实施应交给 model-infer-parallel-impl 专项Expectations[skill_activated] model-infer-parallel-analysisCase 4: 信息不足时主动确认ConfigMax Tokens: 150000Timeout: 900Prompt帮我分析模型的并行策略。Expected Output回复应先确认必要信息再动手而不是缺信息直接给配置Expectations[skill_activated] model-infer-parallel-analysisCase 5: 正向看护-多 skill 环境下正确触发ConfigMax Tokens: 150000Timeout: 900Distractor skills: model-infer-parallel-impl;model-infer-kvcache;model-infer-migratorPrompt模型要从 8 卡换到 32 卡部署怎么评估该用什么并行配置只要评估思路不用改代码。Expected Output回复应正确激活 model-infer-parallel-analysis给出重新评估并行策略的分析方向即使存在实施、KVCache、迁移等相似 skill 也应选并行分析专项Expectations[skill_activated] model-infer-parallel-analysisCase 6: 适用边界ConfigMax Tokens: 150000Timeout: 900Prompt我想优化单卡推理的性能没有多卡部署需求这个并行分析 skill 适用吗Expected Output回复应说明并行策略分析面向多卡部署单卡无切分需求时不适用应建议用户改用单卡优化方向Expectations【免费下载链接】cannbot-skillsCANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体本仓库为其提供可复用的 Skills 模块。项目地址: https://gitcode.com/cann/cannbot-skills创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
