通過(guò)我們的指南了解如何為您的企業(yè)釋放人工智能的力量。了解 RAG 和 CRAG 集成、矢量嵌入、LLM 和提示工程。非常適合負(fù)責(zé)任地?fù)肀斯ぶ悄艿钠髽I(yè)。
為企業(yè)打造AI-Ready平臺(tái)
企業(yè)在引入生成式人工智能時(shí)，會(huì)遇到許多需要戰(zhàn)略管理的業(yè)務(wù)風(fēng)險(xiǎn)。這些風(fēng)險(xiǎn)通常是相互關(guān)聯(lián)的，范圍從導(dǎo)致合規(guī)問(wèn)題的潛在偏見(jiàn)到缺乏領(lǐng)域知識(shí)。主要問(wèn)題包括聲譽(yù)損害、遵守法律和監(jiān)管標(biāo)準(zhǔn)（尤其是與客戶(hù)互動(dòng)有關(guān)）、知識(shí)產(chǎn)權(quán)侵權(quán)、道德問(wèn)題和隱私問(wèn)題（尤其是在處理個(gè)人或可識(shí)別數(shù)據(jù)時(shí)）。
建議采用檢索增強(qiáng)生成（RAG）等混合策略來(lái)應(yīng)對(duì)這些挑戰(zhàn)。RAG提高了人工智能生成內(nèi)容的準(zhǔn)確性和相關(guān)性，為企業(yè)人工智能計(jì)劃提供了更安全、更可靠的框架。該策略不僅解決了缺乏知識(shí)和錯(cuò)誤信息等緊迫問(wèn)題，而且遵守法律和道德規(guī)范，防止聲譽(yù)受損和合規(guī)違規(guī)行為。
了解檢索增強(qiáng)生成 (RAG)
檢索增強(qiáng)生成（RAG）是一種先進(jìn)方法，通過(guò)集成企業(yè)知識(shí)庫(kù)中的信息來(lái)提高人工智能內(nèi)容創(chuàng)建的準(zhǔn)確性和可靠性。將 RAG 視為一位大廚，他依靠與生俱來(lái)的天賦、全面的培訓(xùn)和創(chuàng)意天賦，所有這些都得到了對(duì)烹飪基礎(chǔ)知識(shí)的透徹理解的支持。當(dāng)需要使用不尋常的香料或滿(mǎn)足對(duì)新穎菜肴的要求時(shí)，廚師會(huì)查閱可靠的烹飪參考資料，以確保成分得到最佳利用。
正如大廚可以烹制出各種菜肴一樣，GPT和 LLaMA-2 等人工智能系統(tǒng)也可以創(chuàng)建各種主題的內(nèi)容。然而，當(dāng)他們需要提供具體和準(zhǔn)確的細(xì)節(jié)時(shí)，特別是在新奇美食等復(fù)雜主題或?yàn)g覽大量企業(yè)數(shù)據(jù)時(shí)，他們會(huì)使用特殊的工具來(lái)實(shí)現(xiàn)精度和深度。
如果 RAG 的檢索階段不充分怎么辦？
Corrective-RAG(CRAG)介入以增強(qiáng) RAG 設(shè)置的穩(wěn)健性。CRAG 使用 T5 來(lái)評(píng)估檢索到的文檔的相關(guān)性。如果來(lái)自企業(yè)來(lái)源的文檔被認(rèn)為不相關(guān)，則可能會(huì)默認(rèn)通過(guò)網(wǎng)絡(luò)搜索來(lái)填補(bǔ)空白。
企業(yè)級(jí)生成人工智能解決方案的架構(gòu)注意事項(xiàng)
架構(gòu)從根本上是圍繞三個(gè)核心支柱構(gòu)建的：數(shù)據(jù)攝入、查詢(xún)和智能檢索、生成提示工程和大語(yǔ)言模型。
數(shù)據(jù)攝入：第一步是將公司文檔的內(nèi)容轉(zhuǎn)換為易于查詢(xún)的格式。此轉(zhuǎn)換是使用嵌入模型完成的，遵循以下操作序列
- 數(shù)據(jù)分段：來(lái)自企業(yè)知識(shí)源（例如 Confluence、Jira 和 PDF）的各種文檔被提取到系統(tǒng)中。此步驟涉及將文檔分解為可管理的部分，通常稱(chēng)為“塊”。
- 嵌入模型：然后將這些文檔塊傳遞給嵌入模型。嵌入模型是一種神經(jīng)網(wǎng)絡(luò)，它將文本轉(zhuǎn)換為表示文本語(yǔ)義的數(shù)字形式（向量），使其能夠被機(jī)器理解。
- 索引塊：然后對(duì)嵌入模型產(chǎn)生的向量進(jìn)行索引。索引是以有利于高效檢索的方式組織數(shù)據(jù)的過(guò)程。
- 矢量數(shù)據(jù)庫(kù)：將所有矢量嵌入保存在矢量數(shù)據(jù)庫(kù)中。并將每個(gè)嵌入表示的文本保存在不同的文件中，確保包含對(duì)相應(yīng)嵌入的引用。
查詢(xún)和智能檢索：推理服務(wù)器收到用戶(hù)的問(wèn)題后，就會(huì)通過(guò)嵌入過(guò)程將其轉(zhuǎn)換為向量，該過(guò)程使用相同的模型在知識(shí)庫(kù)中嵌入文檔。然后，向量數(shù)據(jù)庫(kù)進(jìn)行搜索，以識(shí)別與用戶(hù)意圖密切相關(guān)的向量，并將其提供給大型語(yǔ)言模型 (LLM) 以豐富上下文。
5.查詢(xún)：從應(yīng)用程序和API層進(jìn)行查詢(xún)。該查詢(xún)是用戶(hù)或其他應(yīng)用程序在搜索信息時(shí)輸入的內(nèi)容。
6.嵌入查詢(xún)檢索：利用生成的 Vector.Embedding 在矢量數(shù)據(jù)庫(kù)的索引中開(kāi)始搜索。選擇您想要從矢量數(shù)據(jù)庫(kù)中檢索的矢量數(shù)量；這個(gè)數(shù)字將與您計(jì)劃編譯和用于解決問(wèn)題的上下文數(shù)量成正比。
7.向量（相似向量）：該過(guò)程識(shí)別相似向量，這些向量表示與查詢(xún)上下文相關(guān)的文檔塊。
8.檢索相關(guān)向量：
從向量數(shù)據(jù)庫(kù)中檢索相關(guān)向量。例如，在廚師的背景下，它可能相當(dāng)于兩個(gè)相關(guān)向量：食譜和準(zhǔn)備步驟。相應(yīng)的片段將被收集并隨提示一起提供。
9.檢索相關(guān)塊：系統(tǒng)獲取與被識(shí)別為與查詢(xún)相關(guān)的向量相匹配的文檔部分。一旦評(píng)估了信息的相關(guān)性，系統(tǒng)就會(huì)確定后續(xù)步驟。如果信息完全一致，它會(huì)根據(jù)重要性進(jìn)行排列。如果信息不正確，系統(tǒng)會(huì)將其丟棄并在線查找更好的信息。
生成提示工程和LLMs：生成提示工程對(duì)于指導(dǎo)大型語(yǔ)言模型給出正確答案至關(guān)重要。它涉及創(chuàng)建考慮到任何數(shù)據(jù)差距的清晰而精確的問(wèn)題。這個(gè)過(guò)程是持續(xù)進(jìn)行的，需要定期調(diào)整以獲得更好的響應(yīng)。確保這些問(wèn)題合乎道德、沒(méi)有偏見(jiàn)并避免敏感話(huà)題也很重要。
10. 提示工程：然后將檢索到的塊與原始查詢(xún)一起使用以創(chuàng)建提示。該提示旨在有效地將查詢(xún)上下文傳達(dá)給語(yǔ)言模型。
11. LLM（大型語(yǔ)言模型）：工程提示由大型語(yǔ)言模型處理。這些模型可以根據(jù)收到的輸入生成類(lèi)似人類(lèi)的文本。
12. 答案：最后，語(yǔ)言模型使用提示提供的上下文和檢索到的塊來(lái)生成查詢(xún)的答案。然后，該答案通過(guò)應(yīng)用程序和 API 層發(fā)送回用戶(hù)。
結(jié)論
本博客探討了將人工智能集成到軟件開(kāi)發(fā)中的復(fù)雜過(guò)程，強(qiáng)調(diào)了受 CRAG 啟發(fā)建立企業(yè)生成人工智能平臺(tái)的變革潛力。通過(guò)解決即時(shí)工程、數(shù)據(jù)管理和創(chuàng)新檢索增強(qiáng)生成 (RAG) 方法的復(fù)雜性，我們概述了將人工智能技術(shù)納入業(yè)務(wù)運(yùn)營(yíng)核心的方法。未來(lái)的討論將進(jìn)一步深入探討智能開(kāi)發(fā)的生成式人工智能框架，研究最大限度地利用人工智能的具體工具、技術(shù)和策略，確保更智能、更高效的開(kāi)發(fā)環(huán)境。
作者 ｜ Venkat Rangasamy
