Skip to content

Infra 月度规划路线图

Infra 项目用于沉淀团队训练基础设施的软件栈规划、设计与复盘。它关注从训练框架到硬件验证、从正确性保障到故障恢复、从性能评估到分层问题定位的完整基础能力,目标是自顶向下构建一套可演进、可验证、可观测、可恢复的训练软件栈。

项目定位

Infra 的核心职责是自顶向下构建全套训练软件栈,为大规模模型训练提供从开发、验证、运行到诊断的系统化基础能力:

  • 训练框架:统一训练入口、执行抽象、分布式策略、配置体系与任务生命周期管理。
  • 任务调度与管理体系:建设训练任务提交、排队、调度、状态流转、资源绑定、优先级和生命周期管理能力。
  • 训练指标体系:建设覆盖吞吐、MFU、显存、通信、稳定性、资源利用率、成本和数值正确性的指标口径,不只关注 Infra 运行状态,也要支持对训练结果可信度的持续观测。
  • 数学正确性机制:保障模型结构、算子语义、并行切分、重计算与优化器逻辑的数学等价性。
  • 数值正确性机制:建设 forward、backward、loss、梯度、权重更新和 checkpoint 的数值对齐与漂移检测能力。
  • 性能评估体系与工具链:形成 benchmark、profiling、trace 分析、瓶颈归因和优化效果评估的闭环。
  • 硬件 MicroBenchmark 体系:沉淀面向计算、通信、存储、内存层级和互联拓扑的硬件能力画像。
  • 故障恢复与检查体系:建设 checkpoint、断点恢复、健康检查、数据一致性检查和恢复演练机制。
  • 分布式计算模拟仿真体系:支持对并行策略、通信模式、资源拓扑和故障场景进行离线建模与推演。
  • 故障注入体系:通过可控注入节点、网络、存储、进程和数据异常,验证系统韧性与恢复路径。
  • 软硬件分层问题定位体系:建立从模型、框架、编译器、runtime、驱动到硬件的分层诊断方法与工具链。

规划原则

原则含义
可交付每月规划必须对应明确交付物,避免只描述方向。
可验收每个目标需要定义验收标准,包括功能、稳定性、文档或指标。
可观测基础设施变更需要具备日志、指标或可追踪的运行状态。
依赖显式化提前列出对人、资源、权限、外部系统和其他项目的依赖。
可复盘月末记录完成情况、偏差原因、遗留风险和后续动作。

月度路线图

月份主题目标交付物依赖 / 风险验收标准
YYYY-MM待补充待补充待补充待补充待补充
YYYY-MM待补充待补充待补充待补充待补充
YYYY-MM待补充待补充待补充待补充待补充

当前重点

本节用于维护最近 1-2 个月的执行重点。建议只保留正在推进或即将推进的事项,历史内容移动到月度复盘。

优先级事项负责人状态下一步
P0待补充待补充待补充待补充
P1待补充待补充待补充待补充
P2待补充待补充待补充待补充

跟踪模板

每个月建议按以下格式补充执行记录:

md
### YYYY-MM

- 主题:
- 目标:
- 交付物:
- 关键依赖:
- 风险与阻塞:
- 验收标准:
- 月末复盘:

文档目录

  • 月度规划路线图:当前页面
  • 训练框架:training-framework
  • 训练指标体系:training-metrics
  • 设计文档:待补充
  • 运行手册:待补充
  • 月度复盘:待补充