這簡直等同于FP8的作業方式。
OpenAI在最新的開源模型gpt-oss上選用的MXFP4數據類型,
為此 ,又保持了數值間巨細聯系的精度。
(注:OCP是Facebook于2011年建議的超大規劃數據中心協作安排,MXFP4并不是新概念。1.5 、咱們前面那4個BF16數值就會變成 1、MXFP4經過將一組高精度數值(默許32個)乘以一個公共縮放因子(這個縮放因子是一個8位二進制指數)。然后在數值之間完成更細的粒度。這種低精度的數據類型通常被以為是對性價比的退讓 ,
事實上,
那么,OpenAI只運用了MXFP4。部分原因是其縮放塊巨細(Scaling Block Size)為32,盡管MXFP4比規范FP4好得多,丟失的程度取決于詳細的量化辦法