MoE / 专家并行
占位页,内容待补充(逐场景单独编写)。
场景定位:专家路由与 dispatch 在 shard_map 内用显式集合通信完成,megablox GMM 以 Pallas kernel 实现分组矩阵乘,token 排序用 custom_vjp 接管反向。
入口文件:layers/moe.py、kernels/megablox/{ops.py,backend.py}、kernels/sort_activations.py
本场景原语:shard_map / all_gather·psum·psum_scatter·axis_index / custom_vjp(token 排序)/ megablox GMM pallas_call / dot_general