比較其他范疇自習(xí)慣技能 ，經(jīng)過練習(xí)后，經(jīng)過僅從頭初始化根據(jù) Qwen2.5 練習(xí)的 Memory Decoder 的嵌入層和言語模型頭 ，證明 Memory Decoder 在堅(jiān)持推理才能的一起也可以增強(qiáng)現(xiàn)實(shí)回想功用——這是傳統(tǒng)檢索辦法的要害限制；
圖｜Memory Decoder 架構(gòu)概覽 ，
5.常識密集型推理使命
表｜常識密集型問答使命的功用體現(xiàn)
雖然 RAG 辦法在提高現(xiàn)實(shí)回想方面體現(xiàn)出色 ，這種高效的搬遷才能使一切 Llama 變體都完成了功用提高 。Memory Decoder 在堅(jiān)持處理雜亂多跳問題所需組合推理才能的一起 ，在推理階段無縫集成任何兼容的言語模型 ，
圖｜跨范疇習(xí)慣辦法的推理推遲比較
經(jīng)過預(yù)練習(xí)的 Memory Decoder 可以經(jīng)過簡略的插值操作