Infra 月度规划路线图
Infra 项目用于沉淀团队训练基础设施的软件栈规划、设计与复盘。它关注从训练框架到硬件验证、从正确性保障到故障恢复、从性能评估到分层问题定位的完整基础能力,目标是自顶向下构建一套可演进、可验证、可观测、可恢复的训练软件栈。
项目定位
Infra 的核心职责是自顶向下构建全套训练软件栈,为大规模模型训练提供从开发、验证、运行到诊断的系统化基础能力:
- 训练框架:统一训练入口、执行抽象、分布式策略、配置体系与任务生命周期管理。
- 任务调度与管理体系:建设训练任务提交、排队、调度、状态流转、资源绑定、优先级和生命周期管理能力。
- 训练指标体系:建设覆盖吞吐、MFU、显存、通信、稳定性、资源利用率、成本和数值正确性的指标口径,不只关注 Infra 运行状态,也要支持对训练结果可信度的持续观测。
- 数学正确性机制:保障模型结构、算子语义、并行切分、重计算与优化器逻辑的数学等价性。
- 数值正确性机制:建设 forward、backward、loss、梯度、权重更新和 checkpoint 的数值对齐与漂移检测能力。
- 性能评估体系与工具链:形成 benchmark、profiling、trace 分析、瓶颈归因和优化效果评估的闭环。
- 硬件 MicroBenchmark 体系:沉淀面向计算、通信、存储、内存层级和互联拓扑的硬件能力画像。
- 故障恢复与检查体系:建设 checkpoint、断点恢复、健康检查、数据一致性检查和恢复演练机制。
- 分布式计算模拟仿真体系:支持对并行策略、通信模式、资源拓扑和故障场景进行离线建模与推演。
- 故障注入体系:通过可控注入节点、网络、存储、进程和数据异常,验证系统韧性与恢复路径。
- 软硬件分层问题定位体系:建立从模型、框架、编译器、runtime、驱动到硬件的分层诊断方法与工具链。
规划原则
| 原则 | 含义 |
|---|---|
| 可交付 | 每月规划必须对应明确交付物,避免只描述方向。 |
| 可验收 | 每个目标需要定义验收标准,包括功能、稳定性、文档或指标。 |
| 可观测 | 基础设施变更需要具备日志、指标或可追踪的运行状态。 |
| 依赖显式化 | 提前列出对人、资源、权限、外部系统和其他项目的依赖。 |
| 可复盘 | 月末记录完成情况、偏差原因、遗留风险和后续动作。 |
月度路线图
| 月份 | 主题 | 目标 | 交付物 | 依赖 / 风险 | 验收标准 |
|---|---|---|---|---|---|
| YYYY-MM | 待补充 | 待补充 | 待补充 | 待补充 | 待补充 |
| YYYY-MM | 待补充 | 待补充 | 待补充 | 待补充 | 待补充 |
| YYYY-MM | 待补充 | 待补充 | 待补充 | 待补充 | 待补充 |
当前重点
本节用于维护最近 1-2 个月的执行重点。建议只保留正在推进或即将推进的事项,历史内容移动到月度复盘。
| 优先级 | 事项 | 负责人 | 状态 | 下一步 |
|---|---|---|---|---|
| P0 | 待补充 | 待补充 | 待补充 | 待补充 |
| P1 | 待补充 | 待补充 | 待补充 | 待补充 |
| P2 | 待补充 | 待补充 | 待补充 | 待补充 |
跟踪模板
每个月建议按以下格式补充执行记录:
md
### YYYY-MM
- 主题:
- 目标:
- 交付物:
- 关键依赖:
- 风险与阻塞:
- 验收标准:
- 月末复盘:文档目录
- 月度规划路线图:当前页面
- 训练框架:training-framework
- 训练指标体系:training-metrics
- 设计文档:待补充
- 运行手册:待补充
- 月度复盘:待补充