Skip to content

注意力

占位页,内容待补充(逐场景单独编写)。

场景定位:注意力计算如何用 shard_map 切到 per-shard 视角、用 Pallas splash attention 替换 XLA 默认 codegen,并以 custom_vjp 接管反向。

入口文件layers/attention_op.pylayers/attentions.pykernels/attention/splash_attention_kernel.py

本场景原语shard_map / pallas_call(splash attention)/ custom_vjp / cond·select

逐原语分析

HLO / sharding 要点

坑与权衡