Skip to content

流水线并行

占位页,内容待补充(逐场景单独编写)。

场景定位:流水线 stage 间用 ppermute 做 ring 轮转传递激活,microbatch 用 scan 驱动,权重用 all_gather 收集;理解 bubble 与调度如何落到 HLO。

入口文件layers/pipeline.py

本场景原语ppermute(ring shift)/ scan(microbatch)/ all_gather(权重)/ fori_loop·while_loop

逐原语分析

HLO / sharding 要点

坑与权衡