推理推遲大大添加。在推理階段無縫集成任何兼容的言語模型 ，可以繼續逾越其他一切參數優化辦法 。Memory Decoder 在堅持處理雜亂多跳問題所需組合推理才能的一起，小參數解碼器既能有用發揮非參數檢索的優勢，

功用評價

研討團隊評價了 Memory Decoder 在 6 種互補場景下的功用
：

• 在 WikiText-103 數據集上的言語建模，來自上海交通大學和上海AI Lab 的研討團隊提出了一個“即插即用”的預練習回想模塊——“回想解碼器”（Memory Decoder） ，且在不修正任何原始參數的情況下，Memory Decoder 在兩項基準測驗中成功增強了模型獲取現實性常識的才能 ，雖然 DAPT 因為選用全模型更新而具有固有優勢 ，他們的辦法在生物醫學和金融范疇一直優于 LoRA ，Memory Decoder 保存了檢索辦法的回想才能 ，

  這一辦法在悉數 9 項使命中均獲得最高均勻分。且僅需求少數額定練習。而 kNN 查找則會隨數據量線性增加。且僅需原練習預算的 10%。即可適配不同尺度模型，Memory Decoder 需求經過 KV 數據存儲進行查找