SageAttention thu-ml/SageAttention

能干什么

量化注意力内核（SageAttention 系列，ICLR 2025 / ICML 2025 / NeurIPS 2025 Spotlight）：对注意力矩阵计算做量化，相比 FlashAttention 宣称 2–5 倍加速（项目自述区间），端到端指标无损（项目自述）。它优化的是「算得快不快」（prefill 与 attention 部分），不改显存占用——和 KV 量化（省显存）是两条正交的线。需要特定 GPU 架构与 CUDA 版本，有官方兼容表。

怎么干

• pip install sageattention
• 按项目文档核对 GPU 架构与 CUDA 版本兼容表
• 在模型推理 / 训练里替换 attention 实现
• 用项目自带的基准脚本对比 FlashAttention 加速比

本站怎么用

本站长尾页覆盖「跑得快」的链：显存装不下 → 容量表；速度慢 → 框架选择 / KV 量化 / 投机解码。量化 attention 属于「算子级提速」，本站 FAQ 已有投机解码条目，它补的是 kernel 层这一格。加速倍数属项目自述，若读者实测后投稿，按本站口径入库。

显存口径

主要提速、不改显存口径；KV 侧省显存见 /faq/what-is-kv/。