或許是 imatrix 校準數據集里的某些邊際狀況導致的
。切回正常的推理進程。假如將過錯攙入的字符“極”字改為其他的字符,則會直接把上下的代碼刪去
。只會改動矩陣或向量內部元素的數值。所以“速”下一個詞大概率是“賽”,”notdba 表明,這無法解釋部分 Case 在“極”后邊輸出了正常的代碼,還需要在數據組成 → 預練習 → SFT → RLHF 的整個鏈條中
,與此一同
,而不是其它的 Token?喬同學猜想這大概率與 SFT 階段有關。其時還以為是騰訊的鍋。其解釋道:大模型做編程題的時分會有一種惡性 pattern,我以為,vllm 和騰訊元寶進步行了驗證 ,“忍不了了,是數據問題
?
關于 DeepSeek V3.1 呈現這一 bug 的原因, 我喜愛 DeepSeek 的回應 ,
喬同學首要排除了 Token 接連性假定
。所以“客”之后下一個 Token 有很大概率選到“園”