Skip to content

流水线并行 ​

占位页,内容待补充(逐场景单独编写)。

场景定位:流水线 stage 间用 ppermute 做 ring 轮转传递激活,microbatch 用 scan 驱动,权重用 all_gather 收集;理解 bubble 与调度如何落到 HLO。

入口文件:layers/pipeline.py

本场景原语:ppermute(ring shift)/ scan(microbatch)/ all_gather(权重)/ fori_loop·while_loop

逐原语分析 ​

HLO / sharding 要点 ​

坑与权衡 ​