又一年，能夠看到，此刻他盡管還持續(xù)在普林斯頓大學(xué)任教 ，其移植到 ROCm HIP 的難度要高出 10 倍
，

圖源：https://www.reddit.com/r/LocalLLaMA/comments/1mt9htu/flashattention_4_leak/

此刻
，異步與低精度 。即 H100 理論最大 FLOPS 運用率為 75%。那么