Skip to content

MoE / 专家并行

占位页,内容待补充(逐场景单独编写)。

场景定位:专家路由与 dispatch 在 shard_map 内用显式集合通信完成,megablox GMM 以 Pallas kernel 实现分组矩阵乘,token 排序用 custom_vjp 接管反向。

入口文件layers/moe.pykernels/megablox/{ops.py,backend.py}kernels/sort_activations.py

本场景原语shard_map / all_gather·psum·psum_scatter·axis_index / custom_vjp(token 排序)/ megablox GMM pallas_call / dot_general

逐原语分析

HLO / sharding 要点

坑与权衡