CANN/torchtitan-npu测试指南

测试使用指南【免费下载链接】torchtitan-npuAscend Extension for torchtitan项目地址: https://gitcode.com/cann/torchtitan-npu常用命令单元测试# 运行全部单元测试并生成报告 sh build.sh -u --generate-report # 只运行本仓 torchtitan-npu 的单元测试 RUN_TORCHTITAN_UTfalse sh build.sh -u --generate-report冒烟测试# 运行默认 smoke 套件core extended sh build.sh -s --generate-report # 只运行 core smoke ONLY_CORE_SMOKEtrue sh build.sh -s --generate-report # 只运行 extended smoke ONLY_EXTENDED_SMOKEtrue sh build.sh -s --generate-report # 只运行 upstream smoke ONLY_UPSTREAM_SMOKEtrue sh build.sh -s --generate-report集成测试 (Integration Test)tests/smoke_tests/integration_test.py是端到端集成测试入口用于验证新增模型功能支持情况特性兼容性并行策略兼容性运行方式# 通过 build.sh 运行默认运行 core extended smoke ONLY_CORE_SMOKEtrue sh build.sh -s --generate-report # 独立运行 integration_test.py python tests/smoke_tests/integration_test.py output_dir \ --test_name all \ --ngpu 2命令行参数参数默认值说明output_dir无必填测试输出目录--config_path./tests/smoke_tests/base_test.toml基础配置文件路径--test_nameall指定测试用例名称--ngpu2最大 GPU 数OverrideDefinitions 使用说明OverrideDefinitions是定义集成测试用例的配置类OverrideDefinitions( override_args[[...]], # 必填命令行参数列表 test_descr..., # 必填测试描述 test_name..., # 必填测试名称 ngpu2, # 可选所需 GPU 数 disabledFalse, # 可选是否禁用 )新增测试用例步骤打开tests/smoke_tests/integration_test.py在generate_smoke_tests()函数的smoke_cases列表中添加新配置OverrideDefinitions( [ [ --model.name your_model, --model.flavor your_flavor, --parallelism.tensor_parallel_degree 2, ], ], Your Model TP Test, your_model_tp, ngpu2, )运行测试验证python tests/smoke_tests/integration_test.py ./outputs --test_name your_model_tpbase_test.toml 配置文件tests/smoke_tests/base_test.toml是集成测试的基础配置所有测试都会基于这个配置文件运行override_args中的参数会覆盖基础配置中的同名参数。模型并行专项命令# 基础模型并行冒烟测试 python3 -m pytest -v tests/smoke_tests/model_parallel/ # 多进程模型并行冒烟测试 RUN_MODEL_PARALLEL_MULTI_RANKtrue torchrun --nproc_per_node4 -m pytest -v tests/smoke_tests/model_parallel/什么时候用哪个命令命令适用场景build.sh -u修改的是硬件无关逻辑比如 converter、config、helper、patchbuild.sh -s修改的是真实 NPU 执行链路或 wrapper 行为并希望跑默认的 core extended smokeONLY_CORE_SMOKEtrue修改了最小训练主链路即 integration_test 中定义的端到端集成测试ONLY_EXTENDED_SMOKEtrue修改了本仓特性或模型并行行为ONLY_UPSTREAM_SMOKEtrue修改依赖上游 torchtitan 集成链路的逻辑或需要单独跑更重的 upstream smoke快速判断只改了硬件无关逻辑先跑build.sh -u改了 NPU 特性链路或 wrapper跑build.sh -s改了训练主链路接线至少跑ONLY_CORE_SMOKEtrue build.sh -s改了模型并行行为跑ONLY_EXTENDED_SMOKEtrue build.sh -s需要检查上游集成兼容性单独跑ONLY_UPSTREAM_SMOKEtrue build.sh -s测试报告输出目录test_reports/常见产物*.xmlJUnit 结果*.html开启--generate-report后生成的 HTML 报告coverage/单元测试覆盖率报告README.md自动生成的报告索引使用建议先跑和改动最匹配的最小命令。不依赖 NPU 的改动优先跑build.sh -u。能定向跑 smoke 子集时就不要默认全量跑。如果测试布局或执行方式变了记得同步更新文档。【免费下载链接】torchtitan-npuAscend Extension for torchtitan项目地址: https://gitcode.com/cann/torchtitan-npu创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考