無論是ChatGPT還是Deepseek，隨著大模型性能的提升，其能夠處理的上下文也越來越長。但是，一旦超出上下文窗口的限制，大模型就需要重新開一個對話，如同「失憶」一般忘記之前交流的內(nèi)容。

然而，站在用戶的角度，智能體應(yīng)該能夠記住之前的所有對話，因此如何有效地管理和利用對話歷史，就成為了提升AI智能體用戶體驗的關(guān)鍵。擁有長期記憶后，智能體能夠回憶過去的對話，減少幻覺、延遲和成本。

將聊天記錄作為文本導(dǎo)入，然后使用RAG來「恢復(fù)記憶」，是一種讓大模型具有長期記憶的常用方式，但這往往需要額外的工程，構(gòu)建RAG也存在無法忽視的時間差。

最近，一家名為Zep AI的初創(chuàng)公司推出了為智能體打造的記憶層，通過回憶聊天歷史，可以自動生成摘要和其他相關(guān)信息，使AI助手能夠在不影響用戶聊天體驗的情況下，異步地從過去的對話中提取相關(guān)上下文。

傳送門：https://www.getzep.com/

Zep AI成立于2023年，是一家位于灣區(qū)的YC系初創(chuàng)，主要愿景就是為AI構(gòu)筑長期記憶。他們開發(fā)的核心插件已經(jīng)在GitHub上開源，獲得了3k+標星，同時也發(fā)表了詳解技術(shù)原理的預(yù)印版論文。

倉庫地址：https://github.com/getzep/zep

Zep：更適合工業(yè)界的MemGPT

論文鏈接：https://arxiv.org/pdf/2501.13956

當前使用RAG的方法主要集中在領(lǐng)域知識和靜態(tài)語料庫上，即添加到語料庫的文檔很少發(fā)生變化。

要使智能體的落地場景更加普遍，解決各種各樣瑣碎或高度復(fù)雜的問題，就需要訪問大量的動態(tài)數(shù)據(jù)，比如與用戶的交互、相關(guān)的業(yè)務(wù)數(shù)據(jù)以及世界知識。

Zep的開發(fā)者們認為，當前的RAG方法并不適合實現(xiàn)這一愿景；要想賦予智能體以動態(tài)、廣泛的「記憶力」，需要讓LLM驅(qū)動的智能體真正擁有存儲部件。

事實上，這個想法并非Zep AI團隊的原創(chuàng)。2023年，UC伯克利的研究者們發(fā)表的MemGPT就提出了這一點。

論文鏈接：https://arxiv.org/pdf/2310.08560

具體來看，Zep可視為AI智能體的基本內(nèi)存，由具有時間感知能力的知識圖譜引擎Graphiti所驅(qū)動，可以攝入并綜合結(jié)構(gòu)化業(yè)務(wù)數(shù)據(jù)和非結(jié)構(gòu)化的消息數(shù)據(jù)，并動態(tài)更新知識圖，從而表征一個復(fù)雜、不斷發(fā)展的世界。

與其他知識圖引擎相比，Graphiti的一個關(guān)鍵不同是具有時間提取和邊失效過程，從而具備了管理動態(tài)信息更新的能力。

相比MemGPT，Zep更適用于工業(yè)界的生產(chǎn)場景，在內(nèi)存檢索機制的各方面性能上都有所提升，包括準確性、延遲和可擴展性。

構(gòu)建知識圖譜

Zep的「記憶」由一個具有時間感知能力的動態(tài)知識圖譜（temporally-aware dynamic knowledge graph）所驅(qū)動，可以表示為??=(??,?,?)，其中??為節(jié)點，?表示邊，而?則是一個形式關(guān)聯(lián)函數(shù)（formal incidence function），可表示為?→??×??。

整個知識圖譜共包含3層子圖，從底層到頂層分別為：情節(jié)（episode）子圖??_e，語義（semantic）子圖??_s以及社區(qū)（community）子圖??_c。

• 情節(jié)子圖：以消息、文本或JSON的形式保留原始輸入數(shù)據(jù)，其中的每個邊將情節(jié)鏈接至下一層的相應(yīng)語義實體
• 語義子圖：基于情節(jié)子圖提取實體及其關(guān)系
• 社區(qū)子圖：每個節(jié)點表示一簇具有較強關(guān)聯(lián)的實體，每個邊將上一層的語義實體和社區(qū)相連接

這種分層表示與之前的AirGraph和GraphRAG有相近之處，更接近人類心智中的記憶模式，從而讓使用Zep的LLM智能體發(fā)展出更加復(fù)雜和細微的存儲結(jié)構(gòu)。

內(nèi)存檢索

Zep的一大亮點就是功能強大、高效且高度可配置的的內(nèi)存檢索系統(tǒng)，包括3個核心步驟：

• 搜索（φ）：根據(jù)輸入文本S，識別出可能包含相關(guān)信息的候選節(jié)點和邊，可以表示為φ:S→?_sⁿ×??_sⁿ×??_cⁿ
• 重排（ρ）：對上一步的搜索結(jié)果重新排序，即ρ:φ?(α),…→?_sⁿ×??_sⁿ×??_cⁿ
• 構(gòu)造器（constructor χ）：將相關(guān)的節(jié)點和邊轉(zhuǎn)換為文本形式的上下文，即χ:?_sⁿ×??_sⁿ×???_cⁿ→S

第一步驟的搜索中，除了RAG常用的余弦相似度搜索和全文搜索，Zep還加入了廣度優(yōu)先搜索，分別針對相似性的不同方面：全文搜索識別詞語相似性，余弦搜索捕獲語義相似性，而廣度優(yōu)先搜索揭示了上下文相似性，從而最大程度地從圖譜中挖掘最佳語境。

實驗評估

論文采用了兩種針對LLM內(nèi)存的基準測試，分別是DMR任務(wù)（Deep Memory Retrieval）和LongMemEval基準，相關(guān)的實驗代碼已經(jīng)公布在GitHub倉庫中。

DMR的基線除了MemGPT外，還有兩種常見的LLM內(nèi)存方法：完整對話上下文（full-conversation context）和會話摘要（session summary）。

從下圖和表格中可以看出，無論使用GPT-4-Turbo還是GPT-4o-mini模型，Zep都可以超過基線方法，但DMR基準的設(shè)計存在一個顯著缺陷：無法評估對復(fù)雜記憶內(nèi)容的理解，完整上下文搜索所得到的高分就能從側(cè)面證明這一點。

LongMemEval基準的彌補了DMR的這一缺陷，加入了更長、更連貫的對話內(nèi)容以及更多樣化的評估問題，從而更好地反映真實場景的需求，實驗結(jié)果如下表所示。

可以看到，相比基線方法，Zep不僅提升了結(jié)果的精度，而且將響應(yīng)時間減少了約90%，相比其他LLM供應(yīng)商也有約80%的提升。