上下文并行 / KDA 线性注意力
占位页,内容待补充(逐场景单独编写)。
场景定位:上下文并行下序列维切分,用 ring all_gather/ppermute 在设备间环形传递 KV;KDA / GLA 线性注意力以 scan-style Pallas kernel + custom_vjp 实现。
入口文件:layers/attention_kda.py、layers/attention_gla.py、kernels/kda/、kernels/gla/
本场景原语:ring all_gather·ppermute / GLA-style scan kernel(pallas_call)/ custom_vjp