Token 接連性假說(shuō) :以為 FP8 量化或許混合精度練習(xí)導(dǎo)致“極”的 Token ID 2577 和省略號(hào)的 ID 2576 混雜
數(shù)據(jù)污染假說(shuō) :以為預(yù)練習(xí)或 SFT 遭受了數(shù)據(jù)污染
MTP(Multi Token Prediction)問(wèn)題
Token 接連性假說(shuō) :以為 FP8 量化或許混合精度練習(xí)導(dǎo)致“極”的 Token ID 2577 和省略號(hào)的 ID 2576 混雜
數(shù)據(jù)污染假說(shuō) :以為預(yù)練習(xí)或 SFT 遭受了數(shù)據(jù)污染
MTP(Multi Token Prediction)問(wèn)題