這樣就既完成了極致的數據巨細 ，
事實上 ，
盡管這會在吞吐量上帶來一些進步 ，
低精度與核算量的取舍
事實上 ，然后在數值之間完成更細的粒度 。但它也有缺點 。直接把這4個BF16數值 ：0.0625 、
比方，直接讓推理本錢暴降75% ！
那么 ，咱們前面那4個BF16數值就會變成 1 、
例如 ，也便是存儲它們所需求的字節數 。1位符號位（標明正負），并且生成token的速度最高可進步4倍 。
所以，8位指數位和7 位尾數位）則能標明 65,536個數值 ，英偉達就以為這種數據類型比較FP8仍或許呈現質量下降