sglang-jax
SGLang 推理引擎的 JAX/TPU 移植版,支持 Dense、MoE、多模态模型在 TPU 上的高效推理。
快速链接
- 项目文档设计 — 16 篇文档的整体规划
- 参考:tpu-inference Q2 对照 — tpu-inference 对 Q2 规划的支持情况分析
- SGLang PD 分离实现速览(分享) — 团队内分享文档,建立 sglang PD 实现的整体心智模型
- Fused MoE V2 优化速览(分享) — 从 EPMoE baseline 到 Fused MoE V1/V2 的数据流和 TPU MXU 流水分析