FlashAttention-3 的速度是 FlashAttention-2 的 1.5-2.0 倍，高達(dá) 740 TFLOPS ，為了更好地將 softmax 核算與張量核核算堆疊 ，但在 GPU 上仍存在低吞吐率的問題 ，僅能到達(dá)理論峰值很低的份額（約 25–40%） 。Tri Dao 提出的處理戰(zhàn)略包含
亚洲A 高清在线一区二FlashAttention-4震慑来袭，原生支撑Blackwell GPU，英伟达的护城河更深了？-6488avav
而是經(jīng)過「tiling+softmax rescaling」戰(zhàn)略
，