而 FlashAttention 著重「IO-awareness」 ，FlashAttention-4 按時到來 ，F(xiàn)lashAttention 循環(huán)遍歷 Q 矩陣的塊（藍(lán)色箭頭），可跳過了 90% 的輸出 rescaling 。
Semi Analysis 表明 ，
據(jù)介紹 ，異步與低精度
青青草视频免费视频FlashAttention-4震慑来袭，原生支撑Blackwell GPU，英伟达的护城河更深了？-6488avav
比較初代 FlashAttention ，其移植到 ROCm HIP 的難度要高出 10 倍
，