如何讓LLM在規(guī)劃能力上變得更聰明，想象一下，如果我們的AI助手能夠記住過去的經(jīng)歷，并且在需要的時候能夠回憶起來，那會是多么方便的事情啊！

首先，我們要明白，對于AI來說，記憶是提升規(guī)劃能力的關(guān)鍵。目前，有兩種主要的方法可以通過記憶來增強LLM-Agents的規(guī)劃能力：基于RAG的記憶和參數(shù)記憶。

RAG，也就是檢索增強生成，它能夠用檢索到的信息來增強LLM的最新知識。想象一下，如果AI能夠把過去的經(jīng)驗存儲在記憶中，并在需要的時候檢索出來，那會是多么棒的事情！這些記憶通常以文本、表格形式或知識圖譜等形式存儲。例如，有的系統(tǒng)會把每天的人類行為經(jīng)驗以文本形式存儲起來，然后基于當(dāng)前情況的相關(guān)性和新鮮度來檢索記憶。還有的系統(tǒng)會使用向量編碼模型將每個記憶編碼成向量，并建立索引結(jié)構(gòu)，以便在檢索時快速找到相關(guān)信息。下面這些工作都歸屬于這個范疇，后面我們可能會詳細去分享具體內(nèi)容。

• Generative Agents：這項工作存儲了類似于人類的日常經(jīng)驗，并根據(jù)當(dāng)前情況的相關(guān)性和新鮮度來檢索記憶。這些記憶以文本形式存儲，并且可以根據(jù)與當(dāng)前任務(wù)的相關(guān)性進行檢索。
• MemoryBank、TiM 和 RecMind：這些方法將每個記憶編碼成向量，并使用索引結(jié)構(gòu)（如FAISS庫）來組織這些向量。在檢索時，使用當(dāng)前狀態(tài)的描述作為查詢來檢索記憶池中的記憶。這些方法的區(qū)別在于它們更新記憶的方式不同。
• MemGPT：這項工作借鑒了計算機架構(gòu)中的多級存儲概念，將LLM的上下文視為RAM，并將額外的存儲結(jié)構(gòu)視為磁盤。LLM可以自主決定是檢索歷史記憶還是將當(dāng)前上下文保存到存儲中。
• REMEMBER：這個方法將歷史記憶以Q值表的形式存儲，每個記錄是一個包含環(huán)境、任務(wù)、動作和Q值的元組。在檢索時，會同時檢索正面和負面記憶，以便LLM根據(jù)環(huán)境和任務(wù)的相似性生成計劃。

另一方面，參數(shù)記憶可以通過微調(diào)LLM，將Agent的歷史經(jīng)驗樣本嵌入到模型參數(shù)中。這些經(jīng)驗樣本通常來自Agent與環(huán)境的交互，可能包括關(guān)于環(huán)境的常識知識、與任務(wù)相關(guān)的先驗知識，以及成功或失敗的經(jīng)驗。雖然微調(diào)一個大參數(shù)的模型成本很高，但通過PEFT，可以通過只訓(xùn)練一小部分參數(shù)來降低成本并加快速度。

但是，這兩種方法都有各自的優(yōu)勢和局限性?；赗AG的方法提供了實時、低成本的外部記憶更新，主要在自然語言文本中，但依賴于檢索算法的準確性。而微調(diào)則通過參數(shù)修改提供了更大的記憶容量，但記憶更新成本高，并且在保留細節(jié)方面存在挑戰(zhàn)。

最后，我們還需要考慮如何生成記憶。記憶增強的LLM-Agents在規(guī)劃中表現(xiàn)出更強的生長潛力和容錯能力，但記憶的生成嚴重依賴于LLM的生成能力。如何通過自生成的記憶來提升較弱的LLM-Agents，仍然是一個值得探索的挑戰(zhàn)領(lǐng)域。

本文轉(zhuǎn)載自 ??探索AGI??，作者： 獼猴桃