CANN/torchtitan-npu快速上手指南

快速上手【免费下载链接】torchtitan-npuAscend Extension for torchtitan项目地址: https://gitcode.com/cann/torchtitan-npu参考 软件安装 准备环境后按照如下步骤操作在 NPU 平台上运行 torchtitan-npu。数据准备下载 Tokenizer 以 DeepSeekV3.2 网络为例。新建 deepseekv3.2-tokenizer 目录将tokenizer.json和tokenizer_config.json文件下载至该目录。也可以通过以下方式下载 tokenizer# 从huggingface下载 DeepSeek V3.2 tokenizer https://huggingface.co/settings/tokens python scripts/download_hf_assets.py --repo_id deepseek-ai/DeepSeek-V3.2 --assets tokenizer下载数据集 (以 enwiki 数据集 为例)。通过 huggingface 下载 enwiki 的 parquet 数据 到./tests/assets。cd ./tests/assets hf download lsb/enwiki20230101 --repo-typedataset --local-dir . cd ../..配置 CANN 环境变量source /usr/local/Ascend/cann/set_env.sh启动训练任务启动 torchtitan-npu 训练任务时推荐使用以下脚本单机环境使用scripts/run_train.sh多机环境使用scripts/run_train_multinodes.sh。以下展示了一些常见任务的启动方式。单机训练任务默认配置以 8 NPU 启动 DeepSeek-V3.2 debug 模型训练任务bash scripts/run_train.sh自定义配置以 16 NPU 启动 DeepSeek-V3.2 4 层模型训练任务NGPU16 CONFIG_FILE./torchtitan_npu/models/deepseek_v32/train_configs/deepseek_v32_671b_4layers_debug.toml \ bash scripts/run_train.sh \ --training.steps100 \ --training.global_batch_size32[!NOTE]CONFIG_FILE: 指定模型 TOML 配置文件路径需在该文件中预先配置好相关特性的使能。NGPU: 指定参与训练的 NPU 数量默认为 8。--training.steps与--training.global_batch_size动态覆盖 toml 配置中[training]部分的steps与global_batch_size。多机训练任务在执行启动命令前按照集群的实际情况编辑scripts/run_train_multinodes.sh文件中的网络与节点配置# TODO change to your network interface Network_Interfaceenp23s0f3 # 填入 ifconfig 的驱动名 ... # TODO change to your device ips IPs(192.168.xxx.xxx 192.168.xxx.xxx) # 填入集群的所有IP # TODO change 192.168 to your local IP LOCAL_HOSTifconfig|grep inet 192.168| awk {print $2} # 将 192.168 替换为当前 IP在所有参与训练的节点上同时执行run_train_multinodes.sh以启动多机预训练任务。以 DeepSeek-V3.2 完整模型为例CONFIG_FILE./torchtitan_npu/models/deepseek_v32/train_configs/deepseek_v32_671b_61layers_4k_128die.toml \ bash scripts/run_train_multinodes.sh \ --training.steps500[!NOTE]脚本会自动通过LOCAL_HOST匹配IPs数组以推导当前机器的NODE_RANK。若提取规则错误导致未匹配成功脚本将报错退出。多机通信依赖相应的端口开放请确保MASTER_PORT(默认 6300) 以及 HCCL 通信基础端口 (默认 30000) 不被防火墙拦截。torchtitan 仓库内置训练任务除了 torchtitan-npu 已经适配的模型外还可以直接下载 torchtitan 代码使用原生配置启动训练任务拉取 torchtitan 代码。cd .. git clone -b v0.2.2 https://github.com/pytorch/torchtitan.git将 torchtitan 源代码移动至 torchtitan-npu 项目中。cp ./torchtitan/torchtitan ./torchtitan-npu/ -r在 torchtitan-npu 项目中使用 torchtitan 原生 toml 配置文件启动训练。以 llama3 的 debug_model 配置为例:cd torchtitan-npu CONFIG_FILE../torchtitan/models/llama3/train_configs/debug_model.toml \ bash scripts/run_train.sh【免费下载链接】torchtitan-npuAscend Extension for torchtitan项目地址: https://gitcode.com/cann/torchtitan-npu创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考