而 FlashAttention 著重「IO-awareness」 ，可跳過了 90% 的輸出 rescaling 。它運用了指數(shù) (MUFU.EX2) 的軟件模仿來進(jìn)步吞吐量 。修改 ：Panda，F(xiàn)lashAttention 循環(huán)遍歷 K 和 V 矩陣的塊 ，F(xiàn)lashAttention 運用了 tiling 技能來避免在（相對較慢的）GPU HBM 上履行很大的 ?? × ?? 注意力矩陣（虛線框）
中文字幕 韩日在线播放FlashAttention-4震慑来袭，原生支撑Blackwell GPU，英伟达的护城河更深了？-6488avav
Tri Dao 團隊完成了兩項要害的算法改善 。