注意力
占位页,内容待补充(逐场景单独编写)。
场景定位:注意力计算如何用 shard_map 切到 per-shard 视角、用 Pallas splash attention 替换 XLA 默认 codegen,并以 custom_vjp 接管反向。
入口文件:layers/attention_op.py、layers/attentions.py、kernels/attention/splash_attention_kernel.py
本场景原语:shard_map / pallas_call(splash attention)/ custom_vjp / cond·select