MindSpore Transformers 训练在线监控日志效果

MindSpore TransformersMindFormers内置全链路训练在线监控体系通过实时日志输出、可视化监控、指标采集、异常告警、分布式追踪五大能力让开发者在大模型训练过程中实时掌握 loss、学习率、吞吐量、NPU 利用率、显存占用等核心指标快速定位不收敛、爆显存、训练慢、卡死等问题。日志支持控制台彩色输出 文件持久化 MindInsight 可视化开箱即用、零代码侵入是 LLM 微调、预训练必备的训练保障工具。本文完整说明监控内容、日志效果、核心代码、可视化配置。一、训练在线监控核心内容能看到什么1. 实时训练指标控制台实时滚动迭代步数step/ 总步数total_steps损失值loss判断是否收敛学习率lrwarmup / 衰减状态吞吐量samples/sec速度快慢耗时time/ 剩余时间etaNPU 利用率npu_usage显存占用memory2. 关键状态监控模型加载、权重初始化数据集加载进度检查点保存ckpt分布式并行状态TP/PP/DP混合精度FP16/BF16状态梯度 norm、溢出检测3. 异常自动监控Loss 异常波动梯度爆炸 / 消失NPU 显存 OOM通信中断HCCL卡死、长时间无响应4. 可视化监控MindInsight 网页Loss 曲线学习率曲线吞吐量曲线硬件资源曲线计算图、数据图二、真实日志效果展示控制台[2025-12-29 10:20:30] INFO: Starting training on Ascend NPU 0-7 [2025-12-29 10:20:35] INFO: Model Qwen-7B loaded, total params: 7.2B [2025-12-29 10:20:40] INFO: Train dataset loaded: 120000 samples Step: 10/10000 | Loss: 2.3456 | LR: 5.2e-5 | Speed: 1280 tokens/sec Step: 20/10000 | Loss: 1.9876 | LR: 5.5e-5 | Speed: 1302 tokens/sec Step: 30/10000 | Loss: 1.7234 | LR: 5.8e-5 | Speed: 1298 tokens/sec ... [2025-12-29 10:25:10] INFO: Checkpoint saved at ./ckpt/rank_0/step_500.ckpt [2025-12-29 10:25:12] INFO: NPU Memory Used: 26.8GB / 32GB [2025-12-29 10:30:00] INFO: ETA: 1h 20m 30s效果价值实时看 loss 是否下降 → 判断训练是否有效实时看速度 → 硬件是否跑满实时看显存 → 避免 OOM实时看学习率 → 避免不收敛三、核心配置代码开启完整监控1. 训练代码自动开启日志import mindspore as ms from mindformers import Trainer, TrainingArguments from mindformers.models import QwenForCausalLM, AutoTokenizer # 1. 设置运行环境 ms.set_context( device_targetAscend, modems.GRAPH_MODE, max_device_memory32GB ) # 2. 训练配置内置日志监控 training_args TrainingArguments( run_modefinetune, epochs3, batch_size4, learning_rate5e-5, warmup_steps100, # 在线监控核心配置 logging_steps10, # 每10步输出日志 logging_levelINFO, # 日志级别 log_level_regex.*, # 输出全部组件日志 save_steps500, # 保存ckpt save_total_limit3, # 可视化监控MindInsight sink_modeTrue, profileFalse, # 性能分析 summary_dir./train_summary, # 可视化输出目录 enable_monitorTrue, # 开启硬件监控 ) # 3. 加载模型 model QwenForCausalLM.from_pretrained(qwen-7b) tokenizer AutoTokenizer.from_pretrained(qwen-7b) # 4. 启动训练自动开启在线监控 trainer Trainer( modelmodel, argstraining_args, tokenizertokenizer, train_dataset./train.mindrecord ) trainer.train() # 运行后自动输出实时日志四、MindInsight 可视化在线监控网页端启动命令mindinsight start --port 8080 --summary-base-dir ./train_summary打开浏览器访问http://服务器IP:8080可监控内容Loss 实时曲线学习率变化曲线吞吐量曲线NPU 显存 / 利用率曲线训练流程追踪图五、高级功能自定义监控日志from mindformers import LogCallback # 自定义日志回调实时打印自定义指标 class CustomMonitor(LogCallback): def on_step_end(self, run_context): super().on_step_end(run_context) loss run_context.loss step run_context.step_num print(f[自定义监控] Step{step}, Loss{loss:.4f}) # 加入 Trainer trainer Trainer( modelmodel, argstraining_args, callbacks[CustomMonitor()] # 启用自定义监控 )六、监控日志价值总结实时掌握训练状态不用猜、不用等快速定位问题loss 不下降、NPU 未跑满、显存爆、学习率异常可视化直观展示曲线趋势分布式多卡统一监控支持 8/16/32 卡集群零代码侵入只需配置logging_steps即可开启MindSpore Transformers 提供开箱即用的训练在线监控日志系统支持控制台实时输出、文件持久化记录、MindInsight 网页可视化覆盖 loss、学习率、速度、吞吐量、NPU 利用率、显存占用、检查点保存、异常诊断等全维度指标。开发者只需通过简单配置logging_steps10、enable_monitorTrue、summary_dir./train_summary即可在训练过程中实时观测训练效果快速判断模型是否收敛、硬件是否充分利用、训练是否存在异常大幅提升大模型微调与预训练的稳定性与效率。日志系统具备轻量、高效、低侵入、分布式兼容等特点是昇腾 NPU 大模型训练必备工具可显著降低调试成本、提升训练成功率助力企业快速落地 LLM 任务。