Skip to content

注意力 ​

占位页,内容待补充(逐场景单独编写)。

场景定位:注意力计算如何用 shard_map 切到 per-shard 视角、用 Pallas splash attention 替换 XLA 默认 codegen,并以 custom_vjp 接管反向。

入口文件:layers/attention_op.py、layers/attentions.py、kernels/attention/splash_attention_kernel.py

本场景原语:shard_map / pallas_call(splash attention)/ custom_vjp / cond·select

逐原语分析 ​

HLO / sharding 要点 ​

坑与权衡 ​