大模型技術(shù)論文不斷，每個(gè)月總會(huì)新增上千篇。本專欄精選論文?重點(diǎn)解讀，主題還是圍繞著行業(yè)實(shí)踐和工程量產(chǎn)。若在某個(gè)環(huán)節(jié)出現(xiàn)卡點(diǎn)，可以回到大模型必備腔調(diào)?或者LLM背后的基礎(chǔ)模型?新閱讀。而最新科技（Mamba,xLSTM,KAN）?則提供了大模型領(lǐng)域最新技術(shù)跟蹤。若對(duì)于具身智能感興趣的請(qǐng)移步具身智能專欄?。技術(shù)宅麻煩死磕AI架構(gòu)設(shè)計(jì)。當(dāng)然最重要的是訂閱“魯班模錘”。

1.RAG

檢索增強(qiáng)生成 （RAG） 是一種通過集成文檔檢索系統(tǒng)來增強(qiáng)大型語(yǔ)言模型 （LLMs） 功能的方法。這種集成允許LLMs從外部來源獲取相關(guān)信息，從而提高生成的響應(yīng)的準(zhǔn)確性和相關(guān)性。這種方法解決了傳統(tǒng)LLMs方法的局限性，例如需要廣泛的培訓(xùn)以及提供過時(shí)或不正確信息的風(fēng)險(xiǎn)。RAG的主要優(yōu)勢(shì)在于它能夠?qū)⒛Ｐ偷妮敵鼋⒃诳煽康膩碓粗?，從而減少幻覺并確保最新的知識(shí)，而無需昂貴的持續(xù)培訓(xùn)。

RAG 面臨的一個(gè)重大挑戰(zhàn)是處理需要具有不同內(nèi)容的多個(gè)文檔的查詢。此類查詢?cè)诟鱾€(gè)行業(yè)中都很常見，但會(huì)帶來困難，因?yàn)樗璧奈臋n可能具有截然不同的嵌入，因此很難準(zhǔn)確檢索所有相關(guān)信息。這個(gè)問題需要一個(gè)能夠有效地從多個(gè)來源獲取和組合信息的解決方案。在復(fù)雜的場(chǎng)景中，如化工廠事故，從與設(shè)備維護(hù)、天氣狀況和工人管理等各個(gè)方面相關(guān)的文檔中檢索數(shù)據(jù)對(duì)于提供全面的答案至關(guān)重要。

現(xiàn)有的 RAG 解決方案通常使用 Transformer 模型的最后一層解碼器模塊的嵌入來檢索文檔。但是，此方法需要充分處理多方面查詢，因?yàn)樗y以檢索涵蓋明顯不同內(nèi)容方面的文檔。當(dāng)前的一些技術(shù)包括 RAPTOR、Self-RAG 和 Chain-of-Note，它們專注于提高檢索準(zhǔn)確性，但無法有效處理復(fù)雜的多方面查詢。這些方法旨在優(yōu)化檢索數(shù)據(jù)的相關(guān)性，但需要幫助來處理多方面查詢所需的文檔內(nèi)容的多樣性。

2.MRAG

來自蘇黎世聯(lián)邦理工學(xué)院、Cledar、巴斯夫歐洲公司和華沙理工大學(xué)的研究人員推出了多頭 RAG （MRAG） 來解決多方面查詢問題。這種新穎的方案利用了 Transformer 模型的多頭注意力層的激活，而不是最后一層解碼器的激活。研究團(tuán)隊(duì)設(shè)計(jì)了MRAG，利用不同的注意力頭來捕獲各種數(shù)據(jù)方面，從而提高復(fù)雜查詢的檢索準(zhǔn)確性。<若讀者對(duì)于多頭注意力機(jī)制有所忘記的話，可以移步“深入注意力機(jī)制”。> 通過利用多頭注意力機(jī)制，MRAG創(chuàng)建了代表數(shù)據(jù)在各個(gè)維度的嵌入，增強(qiáng)系統(tǒng)跨不同內(nèi)容區(qū)域獲取相關(guān)信息的能力。

MRAG的關(guān)鍵創(chuàng)新是使用來自多個(gè)注意力頭的激活來創(chuàng)建嵌入。Transformer 模型中的每個(gè)注意力頭都可以學(xué)習(xí)捕獲不同的數(shù)據(jù)方面，從而產(chǎn)生表示數(shù)據(jù)項(xiàng)和查詢各個(gè)方面的嵌入。與標(biāo)準(zhǔn)RAG相比，此方法使 MRAG能夠更有效地處理多方面查詢，而不會(huì)增加空間要求。MRAG在數(shù)據(jù)準(zhǔn)備階段使用來自多頭注意力層的激活來構(gòu)建嵌入。在查詢執(zhí)行期間，這些多方面嵌入允許從不同的嵌入空間中檢索相關(guān)的文本塊，從而解決多方面查詢的復(fù)雜性。

MRAG背后的關(guān)鍵思想很簡(jiǎn)單，利用最后一個(gè)注意層為最后的Token生成的H個(gè)獨(dú)立激活向量，而不是利用最后一個(gè)解碼器的前饋層為最后的Token生成的單個(gè)激活向量。

對(duì)于輸入的最后一個(gè)Token(????)，在還沒有傳送到前饋層前，利用多個(gè)注意力頭的激活向量構(gòu)造嵌入：S={ek?k}，其中ek = headk(????)，S是輸入的最后一個(gè)Token(????)上注意頭的所有輸出集合。

由于使用多個(gè)頭進(jìn)行處理不會(huì)改變輸出向量的大小，因此S具有與標(biāo)準(zhǔn) RAG 相同的空間要求。但是，由于在將單獨(dú)的嵌入與Wo混合之前捕獲它們，推測(cè)這些向量可以提供有關(guān)輸入不同部分的關(guān)注內(nèi)容信息，從而有助于捕獲更多維的信息。如下圖所示，傳統(tǒng)的RAG將每個(gè)文檔塊放在一個(gè)空間，而MRAG則是將原來的空間切分為更小的子空間。

既然將文本的索引切分到多個(gè)子空間，而檢索策略需要升級(jí)，進(jìn)而在給定用戶查詢下從數(shù)據(jù)庫(kù)中選擇最接近的文本塊。通常，MRAG檢索策略包括三個(gè)步驟。第一，在數(shù)據(jù)準(zhǔn)備期間，為所有h個(gè)嵌入空間分配重要性分?jǐn)?shù)。直觀地說，這些分?jǐn)?shù)反映了不同空間可能與所用數(shù)據(jù)的重要性。

頭部h的得分 si 由兩部分組成，ai 和 bi。向量空間i指的是被剛才算法切分形成的h個(gè)子空間的某一個(gè)。ai 是向量空間i中所有嵌入的 L2 范數(shù)的平均值；它表示給定頭部的重要性：范數(shù)越大，對(duì)該注意力頭部的關(guān)注就越多。bi 是向量空間i中所有嵌入之間的余弦距離的平均值。直觀地講，bi 是測(cè)量向量空間 i 的“分散”。將 si導(dǎo)出為 ai · bi 的乘積可確保獎(jiǎng)勵(lì)具有高平均注意力和高平均分散率的子空間，但同時(shí)懲罰相反的子空間。

第二，在查詢執(zhí)行期間，MRAG 對(duì)每個(gè)嵌入空間分別應(yīng)用傳統(tǒng)的RAG檢索。這將返回每個(gè)嵌入空間的c個(gè)最接近的文本塊列表（總共h*C塊）。這里需要使用投票策略，使用預(yù)先計(jì)算的重要性分?jǐn)?shù)從所有 h*c個(gè)塊中挑選出總體排名前k個(gè)。

本次的實(shí)驗(yàn)將MTEB排行榜上的兩個(gè)嵌入模型視為候選模型。SFR-embedding-Model和e5-mistral-7b-instruct均基于Mistral 7B架構(gòu)，每個(gè)多頭注意力有32 個(gè)解碼器塊和32個(gè)注意力頭。

上面是一個(gè)示例，最上面為查詢的Prompt模板。第二行左一為知識(shí)庫(kù)，左二和左三分別為傳統(tǒng)的RAG和MRAG。針對(duì)兩種算法，實(shí)驗(yàn)的結(jié)果標(biāo)記在PROMPT中。

對(duì)比結(jié)果會(huì)發(fā)現(xiàn)，MRAG 顯著提高了檢索相關(guān)性，在獲取多方面文檔方面，其性能比標(biāo)準(zhǔn) RAG 基線高出 20%。該評(píng)估使用了合成數(shù)據(jù)集和真實(shí)世界的用例，證明了 MRAG 在不同場(chǎng)景中的有效性。例如，在涉及多方面維基百科條目的測(cè)試中，MRAG 的相關(guān)性比標(biāo)準(zhǔn) RAG 基線提高了 20%。此外，MRAG在法律文件合成和化工廠事故分析等實(shí)際任務(wù)中的表現(xiàn)也展示了其實(shí)際優(yōu)勢(shì)。在法律文件綜合任務(wù)中，MRAG從各種法律框架中檢索上下文相關(guān)文件的能力尤其值得稱贊。

此外，MRAG的優(yōu)勢(shì)不僅限于檢索精度。該方法經(jīng)濟(jì)高效且節(jié)能，不需要額外的LLM查詢、多個(gè)模型實(shí)例、增加的存儲(chǔ)或?qū)η度肽Ｐ瓦M(jìn)行多次推理傳遞。這種效率與增強(qiáng)的檢索準(zhǔn)確性相結(jié)合，使MRAG 成為RAG系統(tǒng)領(lǐng)域的寶貴進(jìn)步LLMs。MRAG 可以與現(xiàn)有的RAG框架和基準(zhǔn)測(cè)試工具無縫集成，為復(fù)雜的文檔檢索需求提供多功能且可擴(kuò)展的解決方案。

本文轉(zhuǎn)載自 ??魯班模錘??，作者： 龐德公