训练指标体系

摘要

训练指标体系需要同时服务于 Infra 运行治理和训练数值质量保障。除了吞吐、MFU、显存、通信、稳定性、资源利用率和成本等 Infra 关注的运行指标外，也需要建设数值正确性相关指标的采集、建设和分析能力，用于持续观测训练结果可信度，并支撑异常诊断、回归定位和质量验收。

指标范围

• Infra 运行指标：吞吐、MFU、step time、显存、通信、I/O、资源利用率、稳定性、故障恢复和成本。
• 数值正确性指标：loss、logits、activation、gradient、optimizer state、weight update、checkpoint restore 等关键张量与训练状态的对齐、漂移、异常值、NaN/Inf、梯度范数和分布变化。
• 指标建设能力：统一指标 schema、采样策略、聚合口径、任务维度标签、版本关联和存储查询能力，确保不同模型、并行策略、硬件环境和代码版本下的指标可比较、可追溯。
• 分析与诊断能力：支持 baseline 对比、趋势分析、阈值告警、分层归因和回归定位，能够从数值异常反查到模型代码、算子实现、并行切分、混合精度策略、checkpoint 和底层硬件环境。

验收口径

关键训练任务应具备 Infra 指标与数值正确性指标的统一看板，能够定位一次训练异常是性能退化、资源问题、系统故障，还是数值漂移或正确性回归。