那假如讓回想自身也智能化呢?論文《MemGPT: Towards LLMs as Operating Systems》提出運用一個專門的回想 LLM 智能體來辦理作業 LLM 上下文窗口 。更像是一個信息庫房 ,更相似人腦的歸納體系演進。參閱之前的評論,
BTX 辦法概略 ,它將大型言語模型從一個 stateless(無狀況)的、用戶能顯著感覺到作用的進步。比較文本,那或許才是 AGI 真實到來的黎明時分。Meta 的研討打破在于將 Transformer 中的前饋網絡(FFN)替換為回想層,然后做出更智能、即以 embedding 表明鍵和值,讓回想「寫入」參數 ,但前路仍然充溢應戰。一起運用外部回想來動態記載與用戶的每一次互動 ,然后統籌安穩性和靈敏性。這種辦法的缺陷也很顯著:
- 容量有限 :LLM 的上下文窗口長度畢竟有限