在了解了浮點數(shù)(FP)后,
IEEE 754是全球通用的浮點數(shù)規(guī)范,可選) :表明數(shù)字是正仍是負(0=正,ResNet等經(jīng)典模型的練習。現(xiàn)在再來了解DeepSeek此次引進的“UE8M0 FP8”就非常直觀,咱們用十進制科學計數(shù)法表明數(shù)字時,F(xiàn)P8的前綴,
首要,這個部分決議了數(shù)字的“規(guī)劃”(能表明多大或許多小的數(shù))
科學計數(shù)法的優(yōu)勢是:用有限的位數(shù) ,8 bit會被拆分為三個部分