別的UE8M0還能處理單標準FP8無法一起顧及大/小值,選用這種全指數表明縮放因子的方法,Rackspace等建議的開源硬件協作方案,在堅持8 bit張量精度的一起大幅削減信息丟失。作者:重視前沿科技,而UE8M0中的U表明的便是無符號(有符號可表明為S或哆嗦不寫)。
參閱鏈接:
[1]https://www.zhihu.com/question/1941891000319580108
[2]https://www.zhihu.com/question/1941882763503473149/answer/1942093625908524069
[3]https://docs.nvidia.com/cuda/nvmath-python/0.3.0/tutorials/notebooks/matmul/04_fp8.html
[4]https://www.ainvest.com/news/deepseek-ue8m0-fp8-optimization-rise-china-sufficient-ai-stack-2508/
本文來自微信大眾號“量子位”