撰稿 | 言征

出品 | 51CTO技術(shù)棧（微信號：blog51cto）

谷歌最近發(fā)布的Gemini 1.5具有1M的上下文長度窗口，引發(fā)了一場關(guān)于“RAG（檢索增強(qiáng)生成）是否仍然重要”的新辯論。

眾所周知，LLM面臨的最大問題之一就是幻覺。為了應(yīng)對這一挑戰(zhàn)，市面上有兩種解決方案，一種涉及增加上下文窗口，另一種就是使用RAG。

最近，一些開發(fā)人員一直在試驗(yàn)Gemini 1.5。沃頓商學(xué)院教授Ethan Mollick在X上寫道：“我上傳了《了不起的蓋茨比》，其中有兩處改動(dòng)（提到了一部‘盒子里的iPhone’和一架‘激光割草機(jī)’）。Gemini發(fā)現(xiàn)了這兩處問題（又找到了一件東西）。Claude也做到了，但產(chǎn)生了幻覺。而帶有RAG的GPT4卻失靈了。”

Gemini的測試結(jié)果

Claude的測試結(jié)果

RAG + GPT4

另一位X用戶Mckay Wrigley將一整本生物學(xué)教科書輸入Gemini 1.5 Pro，其中包括491002個(gè)令牌。他問了三個(gè)非常具體的問題，每個(gè)問題的答案都是100%正確的。 

Cognosys聯(lián)合創(chuàng)始人兼首席執(zhí)行官Sully Omar寫道：“Gemini 1.5 Pro是一款被嚴(yán)重低估的軟件。我直接從GitHub上傳了整個(gè)代碼庫，以及所有問題，包括Vercel AI SDK。它不僅能夠理解代碼庫，還發(fā)現(xiàn)了最緊迫的問題并實(shí)施了修復(fù)。它幾乎革新改變一切。”

上面的三個(gè)例子證明，Gemini 1.5憑借其廣泛的上下文窗口，成功地檢索了文檔中的關(guān)鍵信息。

1、Gemini1.5性能超越了于ChatGPT和Claud, 上下文窗口遙遙領(lǐng)先

具體來講，之所以谷歌的Gemini 1.5這個(gè)新模型的性能優(yōu)于ChatGPT和Claude，一個(gè)顯著的原因是擁有100萬個(gè)令牌上下文窗口，這是自然處理模型中有史以來最大的。相比之下，GPT-4 Turbo具有128K上下文窗口，而Claude 2.1具有200K上下文窗口。 

部分受邀的開發(fā)者和企業(yè)客戶可以通過AI Studio和Vertex AI在私人預(yù)覽中，在多達(dá)100萬個(gè)令牌的上下文窗口中進(jìn)行嘗試。 它可以一次性處理大量信息，包括1小時(shí)的視頻、11小時(shí)的音頻、超過30000行代碼或超過700000字的代碼庫。在他們的研究中，谷歌還成功測試了多達(dá)1000萬個(gè)令牌。

圖片

該博客由谷歌首席執(zhí)行官桑達(dá)爾·皮查伊和谷歌DeepMind首席執(zhí)行官德米斯·哈薩比斯共同撰寫，并將其與ChatGPT和Claude等現(xiàn)有模型進(jìn)行了比較。 

2、蘋果和橙子的比較

然而，上面的這三個(gè)例子并不能說明RAG的局限性。

RAG和上下文窗口之間的方案有哪些區(qū)別？上下文窗口將模型限制為給定文本范圍內(nèi)的信息，而RAG將模型的功能擴(kuò)展到外部來源，極大地拓寬了可訪問信息的范圍。

對于互聯(lián)網(wǎng)上相關(guān)的炒作報(bào)道，谷歌DeepMind研究和深度學(xué)習(xí)團(tuán)隊(duì)負(fù)責(zé)人Oriol Vinyals表達(dá)了他的觀點(diǎn)，他說：“RAG（檢索增強(qiáng)生成）還沒有完成，盡管我們現(xiàn)在可以在上下文中處理100萬或更多的令牌。事實(shí)上，RAG有一些很好的特性，可以增強(qiáng)（并通過）長上下文來增強(qiáng)。

他補(bǔ)充道：“RAG允許您查找相關(guān)信息，但由于壓縮，模型訪問信息的方式可能過于受限。長上下文可能有助于彌合這一差距，類似于現(xiàn)代CPU中L1/L2緩存和主存儲(chǔ)器的協(xié)同工作方式?！?/p>

圖片

更大的上下文窗口允許LLM考慮更多的文本，從而生成更準(zhǔn)確、連貫的響應(yīng)，尤其是對于復(fù)雜和長句。然而，這并不意味著模型不會(huì)產(chǎn)生幻覺。 

根據(jù)斯坦福大學(xué)、加州大學(xué)伯克利分校和Samaya AI的研究人員發(fā)表的一篇題為《中部低谷：語言模型如何使用長上下文》的論文，LLM在文檔的開頭和結(jié)尾都表現(xiàn)出很高的信息檢索準(zhǔn)確性。然而，這種精度在中間會(huì)下降，尤其是隨著輸入處理的增加。

圖片

3、超長上下文窗口殺不死RAG

“過去幾天里，我看到的最糟糕的論調(diào)是，像Gemini 1.5這樣的長上下文模型將取代RAG，”DAIR.AI的聯(lián)合創(chuàng)始人Elvis Saravia寫道。他解釋說，長上下文LLM在處理靜態(tài)信息（如書籍、視頻錄制、PDF等）方面表現(xiàn)出色，但它們尚未在高度演化的信息和知識上進(jìn)行實(shí)戰(zhàn)測試。

他進(jìn)一步補(bǔ)充說，為了解決這類問題，人們可能會(huì)將RAG和長上下文LLM結(jié)合起來，構(gòu)建一個(gè)健壯的系統(tǒng)，該系統(tǒng)可以有效、高效地檢索和執(zhí)行大規(guī)模的關(guān)鍵歷史信息分析。

“我們將在解決一些挑戰(zhàn)方面取得進(jìn)展，例如‘中部低谷’和處理更復(fù)雜的結(jié)構(gòu)化和動(dòng)態(tài)數(shù)據(jù)，但我們?nèi)匀贿€有很長的路要走，”他說。Saravia補(bǔ)充說，不同的LLM家族將有助于解決不同類型的問題。“我們需要摒棄這種想法，即將有一種LLM能夠統(tǒng)治一切。”

毫無疑問，Gemini 1.5的性能優(yōu)于Claude 2.1和GPT-4 Turbo，因?yàn)樗梢晕照麄€(gè)代碼庫，處理100多篇論文和各種文檔，但它肯定沒有殺死RAG。

參考鏈接：

https://analyticsindiamag.com/did-google-gemini-1-5-really-kill-rag/