Skip to content

上下文并行 / KDA 线性注意力

占位页,内容待补充(逐场景单独编写)。

场景定位:上下文并行下序列维切分,用 ring all_gather/ppermute 在设备间环形传递 KV;KDA / GLA 线性注意力以 scan-style Pallas kernel + custom_vjp 实现。

入口文件layers/attention_kda.pylayers/attention_gla.pykernels/kda/kernels/gla/

本场景原语:ring all_gather·ppermute / GLA-style scan kernel(pallas_call)/ custom_vjp

逐原语分析

HLO / sharding 要点

坑与权衡