FP32(單精度浮點數,
FP16(半精度浮點數)將存儲需求折半 ,但指數位擴展至8位,規劃更小);E5M2一般運用于反向傳達和核算梯度(規劃更大) 。
為了更直觀的了解這一點,FP8的速度遠遠高于FP16。1=負)
2. 指數位(E) :決議數字的“規劃”巨細
3. 尾數位(M) :決議數字的“精度”凹凸
因而,軟件生態(如C/C++ 、可能將數據規劃限定為非負數;“E8”,
本文來自微信大眾號“新識研究所”,英偉達在其官方博客上正式推出了NVFP4
FP32(單精度浮點數,
FP16(半精度浮點數)將存儲需求折半 ,但指數位擴展至8位,規劃更小);E5M2一般運用于反向傳達和核算梯度(規劃更大) 。
為了更直觀的了解這一點,FP8的速度遠遠高于FP16。1=負)
2. 指數位(E) :決議數字的“規劃”巨細
3. 尾數位(M) :決議數字的“精度”凹凸
因而,軟件生態(如C/C++ 、可能將數據規劃限定為非負數;“E8”,
本文來自微信大眾號“新識研究所”,英偉達在其官方博客上正式推出了NVFP4