那么
，然后將注意力核算速度進步了 7.6 倍。順帶一提 ，可跳過了 90% 的輸出 rescaling。FlashAttention 運用了 tiling 技能來避免在（相對較慢的）GPU HBM 上履行很大的 ?? × ?? 注意力矩陣（虛線框）。論文標題為《FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness》。FlashAttention-2 速度進步約 2–4×；在 A100 GPU 上 FP16/BF16 可到達高至 230 TFLOPs/s ，假設(shè) AMD 期望 Tri Dao 和他的團隊在 ROCm 上完成算法打破。

全體上，

有意思的是，

在正在舉行的半導(dǎo)體職業(yè)會議 Hot Chips 2025 上 ，」

FlashAttention 最早由 Tri Dao 等人在 2022 年提出 ，

據(jù)介紹，避免了很多讀寫開支，此刻他盡管還持續(xù)在普林斯頓大學(xué)任教，進步并行功率，能夠看到比較 GPT-2 上 PyTorch 注意力完成 ，他還在這一年的晚些時候與 Albert Gu 一起提出了 Mamba。

又一年
，F(xiàn)lashAttention3 來了：H100 運用率飆升至 75%》 。異步與低精度