Skip to content

分区:逻辑轴 → 物理 mesh

占位页,内容待补充(逐场景单独编写)。

场景定位:MaxText 用 Flax 逻辑轴名标注激活,再由 logical_axis_rules 映射到 mesh 物理轴,把模型代码与并行策略解耦;理解 GSPMD 如何据此传播 sharding 并插入通信。

入口文件utils/sharding.pylogical_to_mesh_axes 等)、configs/types.pylogical_axis_rules)、configs/pyconfig.py

本场景原语nn.with_logical_constraint + logical_axis_rules / with_sharding_constraint / PartitionSpec·NamedSharding / pjit

逐原语分析

HLO / sharding 要点

坑与权衡