MXFP4
MXFP4的全稱是微縮放4位浮點數(shù)（Micro-scaling Floating Point 4-bit） ，
為此 ，
數(shù)據(jù)類型的改動將直接影響權(quán)重存儲和內(nèi)存帶寬的占用 。
那么
鸭王1何浩文在线播放推理本钱骤降75%。gpt-oss用新数据类型完成4倍推理速度，80GB显卡能跑1200亿参数大模型-6488avav
MXFP4是怎樣完成這一點的 ？
MXFP4的全稱是微縮放4位浮點數(shù)（Micro-scaling Floating Point 4-bit） ，
為此 ，
數(shù)據(jù)類型的改動將直接影響權(quán)重存儲和內(nèi)存帶寬的占用 。
那么