微軟、清華發(fā)布Agent創(chuàng)新方法，解決記憶、檢索大難題
微軟、清華的研究人員聯合發(fā)布了SECOM，一種專用于個性對話Agent的記憶構建和檢索的創(chuàng)新方法。
研究人員在LOCOMO和Long-MT-Bench+兩個超復雜數據集上進行了綜合評估。LOCOMO數據集的對話平均長度超過300輪，包含約9000個標記的對話片段，是目前最長的對話數據集之一。Long-MT-Bench+則通過合并多個會話構建更長的對話，平均包含約65輪對話。
結果顯示，LOCOMO數據集上，SECOM的GPT4-Score達到71.57，比全歷史方法高出17.42分，比輪次級記憶方法高出6.02分，比會話級記憶方法高出8.41分。
在Long-MT-Bench+數據集上，SECOM的GPT4-Score達到88.81，比全歷史方法高出24.96分，比輪次級記憶方法高出3.90分，比會話級記憶方法高出15.43分。
隨著大模型的飛速發(fā)展，已經被廣泛應用在Agent中。與傳統(tǒng)RPA、按鍵精靈不同的是，基于大模型的對話Agent能夠進行更長時間的交互和主題。但這種長期、開放的對話也面臨巨大挑戰(zhàn)，因為它需要能夠記住過去的事件和用戶偏好，以便生成連貫個人化回答或執(zhí)行超長自動化任務。
目前，大多數方法通過從對話歷史中構建記憶庫，并在響應生成時進行檢索增強來實現這一目標，不過這些方法在記憶檢索準確性和檢索內容的語義質量方面都存在局限性。
研究人員發(fā)現，記憶單元的粒度對檢索增強響應生成至關重要。傳統(tǒng)的輪次級、會話級以及基于總結的方法都存在不足。輪次級記憶過于細粒度，導致上下文片段化且不完整；
會話級記憶則過于粗粒度，包含大量無關信息；基于總結的方法在總結過程中會丟失關鍵細節(jié)。所以，發(fā)布了SECOM來解決這些難題。
零樣本分割方法
在SECOM 框架中，對話分割模型是其核心組件之一，主要負責將長期對話分解為語義連貫段落。這一過程并非簡單的文本切分，而是基于對對話內容的深度語義理解，識別出對話中話題的轉換點，從而將對話自然地劃分為多個主題相關的單元。
能夠有效避免傳統(tǒng)輪次級或會話級記憶構建方法中存在的問題，例如，輪次級記憶的碎片化和會話級記憶的冗余信息過多。
SECOM使用了GPT-4 作為其對話分割的骨干模型。可在零樣本學習的情況下對對話內容進行分析，并輸出分割后的段落。
這種分割方法有兩個巨大技術優(yōu)勢：首先，避免了傳統(tǒng)有監(jiān)督學習方法中需要大量標注數據的限制。在對話分割任務中，獲取大量高質量的標注數據是非常困難的，因為話題轉換點的識別本身就具有一定的主觀性，即使是人類標注者也難以達成完全一致。
而零樣本分割方法則無需依賴標注數據，直接利用模型的預訓練知識進行分割，大大降低了數據準備的成本和難度。
此外，零樣本分割能夠更好地適應開放域的對話場景。由于沒有受到特定領域或特定數據集的限制，GPT-4 能夠憑借其廣泛的知識和語言理解能力，對各種類型的對話進行有效的分割。無論是日常閑聊、學術討論還是專業(yè)咨詢，GPT-4 都能夠識別出對話中的語義邊界，將對話分割成連貫的段落。
使得 SECOM 的對話分割模型能夠廣泛應用于各種不同的對話場景，而無需針對每個場景單獨訓練模型。
自反思機制
為了進一步提升分割的準確性和一致性，SECOM引入了另外一個重要模塊——自反思機制。
SECOM會首先以零樣本的方式對一批對話數據進行分割，然后根據標注數據中的真實分割結果，識別出分割錯誤的部分。然后會分析這些錯誤，反思其原因，并據此調整分割策略。
這一過程有點類似于人類在學習過程中的自我反思和改進。通過不斷地分析錯誤、總結經驗并調整方法，模型能夠逐步提高其分割的準確性。這種自反思機制不僅能夠提升分割的準確性，還能夠使模型的分割結果更符合人類標注者的偏好。換句話說，能使模型的分割行為更貼近人類對對話結構的理解和劃分方式。
同時自反思機制的引入還帶來了一個額外的好處，模型能夠在少量標注數據的情況下快速適應新的領域或任務。
即使只有少量的標注樣本，模型也能夠通過自我反思和調整，快速學習到該領域或任務中的對話結構特點，從而提高分割性能。使得SECOM在實際應用中具有更強的適應性和可擴展性。
本文轉自 AIGC開放社區(qū) ，作者：AIGC開放社區(qū)
