常常會遇到編譯過錯 、初代 FlashAttention 帶來的增益也很明顯 
：在 BERT-large（序列長度 512）中比較 MLPerf 基線進步練習速度約 15%；GPT-2（序列長度 1K）進步約 3 倍；在 Long-Range Arena（序列長度 1K–4K）進步約 2.4 倍。添加硬件運用率；

削減非矩陣運算，FlashAttention-4 的速度比英偉達 cuDNN 庫中的注意力核完成快可達 22% 
！可用的 Blackwell 加快首要是憑借英偉達 Triton/cuDNN 的直接支撐。這一次 ，兩者速度全體是適當的 。FlashAttention-2 速度進步約 2–4×；在 A100 GPU 上 FP16/BF16 可到達高至 230 TFLOPs/s，內存復雜度得到明顯下降 —— 從 O (N2) 降至 O (N)。而 CUDA C++ 移植到 ROCm HIP 則更簡單