MXFP4
MXFP4的全稱是微縮放4位浮點數(Micro-scaling Floating Point 4-bit),
值得注意的是 ,只不過MXFP4是在張量內部的小塊上使用縮放因子,模型運轉所需的硬件資源僅為之前的四分之一。
數據類型的改動將直接影響權重存儲和內存帶寬的占用。是由Open Compute Project (OCP) 界說的4位浮點數據類型 。
這種標明辦法盡管緊縮了數據量
MXFP4的全稱是微縮放4位浮點數(Micro-scaling Floating Point 4-bit),
值得注意的是 ,只不過MXFP4是在張量內部的小塊上使用縮放因子,模型運轉所需的硬件資源僅為之前的四分之一。
數據類型的改動將直接影響權重存儲和內存帶寬的占用。是由Open Compute Project (OCP) 界說的4位浮點數據類型 。
這種標明辦法盡管緊縮了數據量