1、RIG 新模式

上月，谷歌在 Huggingface 和 Kaggle 兩大平臺發(fā)布了兩個新型開源模型：datagemma-rag-27b-it與datagemma-rig-27b-it。特別是其中的RIG（Retrieval Interleaved Generation）檢索交錯生成模型，它開創(chuàng)了大型語言模型（LLM）與外部數(shù)據(jù)庫交互的新方法。

2、RAG VS RIG

對于那些對大型語言模型（LLM）有所了解的同學來說，他們清楚 LLM 是通過訓練數(shù)據(jù)來學習知識的。因此，在使用大型模型時，我們可能會遇到“幻覺”和“信息過時”等問題，這些問題通常是因為訓練數(shù)據(jù)庫中缺乏相關知識或者訓練數(shù)據(jù)未能及時更新所致。鑒于 LLM 訓練所需的高昂時間和經(jīng)濟成本，在實際應用中，我們通常會采用 RAG（Retrieval Augmented Generation）技術，即為 LLM “接入”一個最新的數(shù)據(jù)庫，以便通過檢索手段利用 LLM 的能力來回答用戶關于特定或最新數(shù)據(jù)的問題。

RAG 的工作流程如下：

1. 用戶查詢提交：用戶向 LLM 發(fā)送查詢或提示詞。

2. 數(shù)據(jù)檢索：LLM 將用戶的查詢轉(zhuǎn)化為數(shù)據(jù)庫查詢，并向外部數(shù)據(jù)庫進行數(shù)據(jù)檢索。

3. 響應生成：LLM 結(jié)合自身的知識庫和檢索到的結(jié)果，生成相應的答案。

如圖所示，當被問及“再生資源的使用是否有所上升？”時，RAG 應用通過檢索得到的數(shù)據(jù)表來獲取信息，從而提供了準確的數(shù)據(jù)驅(qū)動的答案。

而此次發(fā)布的 RIG 模型則采用了不同的方法—檢索交錯生成。這里的“交錯”指的是在生成部分回答和檢索外部數(shù)據(jù)之間進行交替。該模型不會等到所有數(shù)據(jù)檢索完畢才開始生成回答；相反，它是將檢索和響應生成這兩個過程相互交織，使得檢索和回答的生成能夠同步進行。

RIG 模型的操作流程可以概括為以下幾個核心步驟：

1. 用戶查詢提交：用戶向 LLM 發(fā)送查詢或提示。

2. 部分響應構(gòu)建：LLM 利用其內(nèi)置知識開始構(gòu)建響應。然而，這個響應可能包含對需要外部數(shù)據(jù)部分的占位符或初步推測。

3. 實時數(shù)據(jù)檢索：當 LLM 發(fā)現(xiàn)信息缺失或不完整時，它會即時搜索外部資源（例如：數(shù)據(jù)庫、知識圖譜或基于 Web 的 API）。模型可能會進行多次檢索，以便利用新獲得的數(shù)據(jù)來豐富其響應。

4. 交錯檢索與生成：在構(gòu)建響應的過程中，模型在生成響應的不同部分和根據(jù)需求獲取數(shù)據(jù)之間動態(tài)切換。比如：如果 LLM 以“可再生能源現(xiàn)在……”開頭，它會在完成該部分響應之前暫停，以便檢索特定的可再生能源利用率數(shù)據(jù)。

5. 最終響應輸出：在檢索并整合了所有必需的數(shù)據(jù)后，LLM 將完成響應并呈現(xiàn)給用戶。

3、RIG 效果

谷歌此次發(fā)布的兩個開源模型均針對 Data Commons 進行了專門的優(yōu)化和測試，目的是為了應對大型模型與實際數(shù)字數(shù)據(jù)交互的挑戰(zhàn)。"Data Commons是一個公開可訪問的知識圖譜，它包含了超過2400億個數(shù)據(jù)點，涉及數(shù)十萬個統(tǒng)計變量。這些數(shù)據(jù)點來源于聯(lián)合國（UN）、世界衛(wèi)生組織（WHO）、疾病控制和預防中心（CDC）以及人口普查局等可靠機構(gòu)。通過將這些數(shù)據(jù)集整合成一套統(tǒng)一的工具和AI模型，我們?yōu)檎咧贫ㄕ?、研究人員和組織提供了獲取精確洞察力的手段。"

同時，谷歌在 Colab 上也為這兩個模型提供了 Notebook，以便用戶更方便地進行體驗。接下來，讓我們觀察 RIG 模型在 Data Commons 上的實際應用效果。

問題：巴基斯坦在衛(wèi)生目標方面取得了哪些進展？

datagemma-rig-27b-it 的回答：

Here are some key points:


Progress made:


Increased life expectancy: Life expectancy at birth has increased from [DC#1(62.102 yr [1] || 61.8 years)] in 2000 to [DC#2(66.269 yr [2] || 67.2 years)] in 2020.
Reduced maternal mortality: Maternal mortality ratio has declined from [DC#3(387.3715 Per 100,000 live births [3]* || 276 per 100,000 live births)] in 2000 to [DC#4(177.7277 Per 100,000 live births [4]* || 140)] in 2018.
...


FOOTNOTES
[1] - Per datacatalog.worldbank.org, value was 62.102 yr in 2000. See more at https://datacommons.org/explore#q=what%20was%20the%20life%20expectancy%20in%20Pakistan%20in%202000%3F&mode=toolformer_rig 
[2] - Per datacatalog.worldbank.org, value was 66.269 yr in 2020. See more at https://datacommons.org/explore#q=what%20was%20the%20life%20expectancy%20in%20Pakistan%20in%202020%3F&mode=toolformer_rig 


...

4、結(jié)論

從上述回答可以觀察到，與 RAG 類似，RIG 的主要功能是減少 LLM 在應用中的幻覺現(xiàn)象。通過將實時數(shù)據(jù)檢索與響應生成過程緊密結(jié)合，RIG 在構(gòu)建回答過程中不斷查詢可靠的數(shù)據(jù)源，這有助于模型基于現(xiàn)實世界的事實數(shù)據(jù)來形成輸出，從而顯著降低產(chǎn)生幻覺的可能性。

RIG 的另一個明顯優(yōu)勢在于其在生成響應的同時能夠?qū)崟r調(diào)整。與 RAG 僅在生成響應前進行一次數(shù)據(jù)檢索不同，RIG 在響應生成過程中進行動態(tài)的交錯檢索。若 LLM 遇到多個缺失或不完整的信息點，它能夠迭代式地獲取數(shù)據(jù)，并在此過程中優(yōu)化其回答。

在實際應用中，RIG 更能充分利用參數(shù)規(guī)模較小的 LLM 的性能。RAG 將所有查詢和結(jié)果單詞都輸入 LLM，其答案的質(zhì)量很大程度上取決于 LLM 處理上下文長度的能力。而 RIG 的方法則是針對特定數(shù)據(jù)進行檢索，對上下文長度的處理能力要求更低；此外，對于無法檢索到的數(shù)據(jù)，RIG 會使用占位符來提示用戶，這使得它提供的數(shù)值答案相對更加可靠，特別適合對數(shù)據(jù)準確性要求較高的敏感領域，比如：價格咨詢、金融服務和醫(yī)療咨詢等場景。

本文轉(zhuǎn)載自公眾號玄姐聊AGI  作者：玄姐

原文鏈接：??https://mp.weixin.qq.com/s/1P4xID8qEHB1fvOdsD5oHQ??