LLM和RAG技術(shù)的比較探索 原創(chuàng)
作者 | Ashok Gorantla
整理 | 言征
出品 | 51CTO技術(shù)棧（微信號：blog51cto）
在人工智能（AI）的動態(tài)環(huán)境中，兩種開創(chuàng)性的技術(shù)——大型語言模型（LLM）和檢索增強生成（RAG）——在理解和生成類人文本方面脫穎而出。本文開始了LLM和RAG之間的比較之旅，揭示了它們的機制、應(yīng)用以及它們?yōu)槿斯ぶ悄茴I(lǐng)域提供的獨特優(yōu)勢。
一、大型語言模型（LLM）：基礎(chǔ)與應(yīng)用
LLM，如GPT（Generative Pre-trained Transformer），憑借其在廣泛的主題中生成連貫和上下文相關(guān)文本的能力，已經(jīng)徹底改變了人工智能場景。LLM的核心是依靠大量的文本數(shù)據(jù)和復(fù)雜的神經(jīng)網(wǎng)絡(luò)架構(gòu)，從他們接受過訓(xùn)練的文本內(nèi)容中學(xué)習(xí)語言模式、語法和知識。
LLM的優(yōu)勢在于它們的泛化能力：它們可以在沒有特定任務(wù)訓(xùn)練的情況下執(zhí)行各種與語言相關(guān)的任務(wù)。這包括翻譯語言、回答問題，甚至寫文章。然而，LLM并非沒有挑戰(zhàn)。他們有時會產(chǎn)生聽起來合理但不正確或無意義的答案，這種現(xiàn)象被稱為“幻覺”。此外，他們的輸出質(zhì)量在很大程度上取決于他們訓(xùn)練數(shù)據(jù)的質(zhì)量和廣度。
核心方面規(guī)模：LLM的標(biāo)志是其龐大的參數(shù)數(shù)量，達到數(shù)十億，涵蓋了廣泛的語言范圍。訓(xùn)練制度：他們對不同的文本數(shù)據(jù)進行預(yù)培訓(xùn)，隨后針對量身定制的任務(wù)進行微調(diào)，深入理解語言的細微差別。實用范圍：LLM可以在各個方面使用，從幫助內(nèi)容創(chuàng)建到促進語言翻譯。
示例：使用LLM生成文本
為了進行說明，請考慮以下使用LLM生成文本示例的Python代碼片段：
from transformers import GPT2Tokenizer, GPT2LMHeadModel
# Input
prompt = "How long have Australia held on to the Ashes?"
# Encode the inputs with GPT2 Tokenizer
tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
inputs = tokenizer.encode(prompt, return_tensors='pt') ## using pyTorch ('tf' to use TensorFlow)
# Generate outputs with gpt2 Model
model = GPT2LMHeadModel.from_pretrained('gpt2')
outputs = model.generate(inputs, max_length=25)
# Decode and print the result
result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print("Generated text:", result)這段代碼使用GPT-2（一種流行的LLM）初始化文本生成管道，并根據(jù)給定的提示生成文本。
二、檢索增強生成（RAG）：綜述和使用案例
RAG通過將GPT等模型的生成能力與檢索機制相結(jié)合，引入了一種新的方法。該機制實時搜索文本數(shù)據(jù)庫（如維基百科），以找到可用于通知模型響應(yīng)的相關(guān)信息。這種檢索和生成的結(jié)合使RAG能夠產(chǎn)生不僅與上下文相關(guān)，而且基于事實信息的答案。
與傳統(tǒng)LLM相比，RAG的主要優(yōu)勢之一是能夠通過參考最新來源提供更準(zhǔn)確和具體的信息。這使得RAG對于信息的準(zhǔn)確性和及時性至關(guān)重要的應(yīng)用程序特別有用，例如在新聞報道或?qū)W術(shù)研究援助中。
然而，對外部數(shù)據(jù)庫的依賴意味著，如果數(shù)據(jù)庫不全面或檢索過程效率低下，RAG的性能可能會受到影響。此外，將檢索機制集成到生成過程中會增加模型的復(fù)雜性，可能會增加所需的計算資源。
Core Aspects核心方面混合性質(zhì)：RAG模型首先檢索相關(guān)文檔，然后利用此上下文進行知情生成。動態(tài)知識訪問：與LLM不同，RAG模型可以利用最新或特定領(lǐng)域的數(shù)據(jù)，提供更強的通用性。應(yīng)用領(lǐng)域：RAG在需要外部知識的場景中大放異彩，如深度問答和事實內(nèi)容生成。
示例：為信息檢索實現(xiàn)RAG
以下是如何實現(xiàn)用于檢索和生成文本的基本RAG系統(tǒng)的簡化示例：
from transformers import RagTokenizer, RagRetriever, RagSequenceForGeneration
# A sample query to ask the model
query = "How long have Australia held on to the Ashes?"
tokenizer = RagTokenizer.from_pretrained("facebook/rag-sequence-nq") ## Get the tokenizer from the pretrained model
tokenized_text = tokenizer(query, return_tensors='pt', max_length=100, truncatinotallow=True) ## Encode/Tokenize the query
# Find results with RAG-Sequence model (uncased model) using wiki_dpr dataset
retriever = RagRetriever.from_pretrained("facebook/rag-sequence-nq", index_name="exact", use_dummy_dataset=True) ## Uses a pretrained DPR dataset (wiki_dpr) https://huggingface.co/datasets/wiki_dpr
model = RagSequenceForGeneration.from_pretrained("facebook/rag-sequence-nq", retriever=retriever)
model_generated_tokens = model.generate(input_ids=tokenized_text["input_ids"], max_new_tokens=1000) ## Find the relavant information from the dataset (tokens)
print(tokenizer.batch_decode(model_generated_tokens, skip_special_tokens=True)[0]) ## Decode the data to find the answer該代碼利用Facebook的RAG模型來回答查詢，首先對輸入進行標(biāo)記，然后根據(jù)實時檢索到的信息生成響應(yīng)。
三、LLM vs RAG
LLM和RAG之間的選擇取決于特定的任務(wù)要求。以下是它們的組合方式：
1.知識可訪問性
LLM依賴于其預(yù)訓(xùn)練語料庫，可能導(dǎo)致信息過時。RAG具有檢索功能，可確保訪問最新的數(shù)據(jù)。
2.實施復(fù)雜性
RAG模型由于其雙步驟性質(zhì)，呈現(xiàn)出比LLM更高的復(fù)雜性和需要更多的資源。
3.靈活性和應(yīng)用
這兩種型號都具有廣泛的應(yīng)用潛力。LLM是各種NLP任務(wù)的堅實基礎(chǔ)，而RAG模型在即時訪問外部詳細數(shù)據(jù)至關(guān)重要的情況下表現(xiàn)出色。
四、結(jié)論：駕馭LLM和RAG的取舍
LLM和RAG都代表著人工智能理解和生成類人文本能力的重大進步。在LLM和RAG模型之間進行選擇需要權(quán)衡NLP項目的獨特需求。LLM提供了多功能性和通用性，使其適用于廣泛的應(yīng)用程序和各種語言任務(wù)。相比之下，RAG的優(yōu)勢在于其提供準(zhǔn)確、信息豐富的響應(yīng)的能力，在知識密集型任務(wù)中尤其有價值，非常適合于最新或特定詳細信息的整合至關(guān)重要的情況。
隨著人工智能的不斷發(fā)展，LLM和RAG的比較分析強調(diào)了為正確的任務(wù)選擇正確工具的重要性。鼓勵開發(fā)人員和研究人員在其特定需求的背景下權(quán)衡這些技術(shù)的優(yōu)勢和局限性，旨在充分利用人工智能在創(chuàng)建智能響應(yīng)和上下文感知應(yīng)用程序方面的潛力。
參考鏈接：??https://dzone.com/articles/a-comparative-exploration-of-llm-and-rag??
本文轉(zhuǎn)載自??51CTO技術(shù)棧??，作者：言征
?
