0、背景

我們要把 AI 大模型當(dāng)做人的大腦，因此調(diào)用 AI 大模型，相當(dāng)于調(diào)用一個(gè)人，把 AI 大模型當(dāng)人看，TA 懂人話、TA 說(shuō)人話、TA 會(huì)直接給出結(jié)果，但結(jié)果不一定正確。

因此在 AI 大模型的推理基礎(chǔ)上，通過(guò) RAG、Agent、知識(shí)庫(kù)、向量數(shù)據(jù)庫(kù)、知識(shí)圖譜等技術(shù)手段實(shí)現(xiàn)了真正的 AGI（通用人工智能）。這些技術(shù)到底有哪些區(qū)別和聯(lián)系，下圖作了橫向?qū)Ρ?，接下?lái)我們?cè)敿?xì)剖析下。

1、大語(yǔ)言模型（LLM）

大語(yǔ)言模型（LLM）是通過(guò)深度學(xué)習(xí)方法，利用龐大的文本數(shù)據(jù)集進(jìn)行訓(xùn)練的機(jī)器學(xué)習(xí)模型，它具備生成自然流暢的語(yǔ)言文本以及準(zhǔn)確理解語(yǔ)言文本深層語(yǔ)義的能力。大語(yǔ)言模型廣泛應(yīng)用于各種自然語(yǔ)言處理任務(wù)，包括但不限于文本分類、智能問(wèn)答以及人機(jī)交互對(duì)話等，是 AI 領(lǐng)域的重要支柱之一。

過(guò)去的一年中，大語(yǔ)言模型及其在 AI 領(lǐng)域的應(yīng)用受到了全球科技界的廣泛關(guān)注。特別值得注意的是，這些大語(yǔ)言模型在規(guī)模上取得了顯著的增長(zhǎng)，參數(shù)量從最初的數(shù)十億激增到如今驚人的萬(wàn)億級(jí)別。這一飛躍性的增長(zhǎng)不僅使得大語(yǔ)言模型在捕捉人類語(yǔ)言的微妙差異上更為精準(zhǔn)，更讓它能夠深入洞察人類語(yǔ)言的復(fù)雜本質(zhì)。

隨著 OpenAI GPT-4o 的發(fā)布，回顧過(guò)去的一年，大語(yǔ)言模型在多個(gè)方面取得了顯著的進(jìn)步，包括高效吸納新知識(shí)、有效分解復(fù)雜任務(wù)以及圖文精準(zhǔn)對(duì)齊等。隨著技術(shù)的不斷演進(jìn)和完善，大語(yǔ)言模型將繼續(xù)拓展其應(yīng)用邊界，為人們帶來(lái)更加智能化、個(gè)性化的服務(wù)體驗(yàn)，從而深刻改變我們的生活方式和生產(chǎn)模式。

大語(yǔ)言模型擁有推理能力，TA 是一切應(yīng)用的基石。

2、檢索增強(qiáng)生成（RAG）

RAG（Retrieval-Augmented Generation）技術(shù)是一種集成檢索與生成雙重能力的知識(shí)增強(qiáng)方案，旨在應(yīng)對(duì)復(fù)雜多變的信息查詢和生成挑戰(zhàn)。在如今的大模型時(shí)代背景下，RAG 巧妙地引入外部數(shù)據(jù)源，比如：本地知識(shí)庫(kù)或企業(yè)信息庫(kù)，為 AI 大模型賦予了更強(qiáng)大的檢索和生成實(shí)力，從而顯著提升了信息查詢和生成的品質(zhì)。

RAG 技術(shù)的核心在于它將先進(jìn)的向量數(shù)據(jù)庫(kù)與大模型的智能問(wèn)答能力進(jìn)行了完美結(jié)合。知識(shí)庫(kù)中的信息被精心存儲(chǔ)在向量數(shù)據(jù)庫(kù)中，當(dāng)接收到用戶的問(wèn)題時(shí)，系統(tǒng)能夠迅速?gòu)闹R(shí)庫(kù)中檢索出相關(guān)的知識(shí)片段。隨后，這些片段會(huì)與大模型的智慧相結(jié)合，共同孕育出精確而全面的回答。這種技術(shù)的運(yùn)用極大地提高了 AI 系統(tǒng)在處理復(fù)雜問(wèn)題時(shí)的準(zhǔn)確性和響應(yīng)速度，為用戶帶來(lái)了更加優(yōu)質(zhì)和高效的體驗(yàn)。

總之，RAG 技術(shù)就是給大語(yǔ)言模型新知識(shí)。

3、Fuction Calling（函數(shù)調(diào)用）

大模型要實(shí)現(xiàn)精確的函數(shù)調(diào)用（Function Calling）需要理解能力和邏輯能力，理解能力就是對(duì)用戶的 Prompt 提示詞能夠識(shí)別意圖，然后通過(guò)邏輯能力給出需要調(diào)用執(zhí)行的函數(shù)，具體流程如下：

1.大模型何時(shí)會(huì)調(diào)用函數(shù) API？

調(diào)用函數(shù) API 在交互形式上有兩種方式：第一是讓用戶直接選擇調(diào)用函數(shù)，第二是大模型會(huì)推理判斷要調(diào)用的函數(shù) API。

2.大模型怎么 Function Calling 調(diào)用函數(shù) API ？

首先把函數(shù) API 的元信息（函數(shù)名稱、函數(shù)描述、函數(shù)參數(shù)等）注冊(cè)給大模型，讓大模型學(xué)習(xí)函數(shù)集合，當(dāng)用戶查詢時(shí)，大模型根據(jù)用戶的 Prompt 提示詞選擇對(duì)應(yīng)的函數(shù) API。

3.函數(shù) API 誰(shuí)來(lái)具體執(zhí)行？

大模型根據(jù)用戶的 Prompt 請(qǐng)求確定具體的函數(shù) API 后，由 Agent 負(fù)責(zé)具體的執(zhí)行。

4.函數(shù) API 返回的內(nèi)容咋處理？

Agent 把 Function Calling 函數(shù) API 調(diào)用返回的結(jié)果返回給大模型，大模型進(jìn)一步加工處理后返回給用戶最終結(jié)果。

4、智能體（Agent）

在 AI 大模型時(shí)代，任何具備獨(dú)立思考能力并能與環(huán)境進(jìn)行交互的實(shí)體，都可以被抽象地描述為智能體（Agent）。這個(gè)英文詞匯在 AI 領(lǐng)域被普遍采納，用以指代那些能夠自主活動(dòng)的軟件或硬件實(shí)體。在國(guó)內(nèi)，我們習(xí)慣將其譯為“智能體”，盡管過(guò)去也曾出現(xiàn)過(guò)“代理”、“代理者”或“智能主體”等譯法。

智能體構(gòu)建在大語(yǔ)言模型的推理能力基礎(chǔ)上，對(duì)大語(yǔ)言模型的 Planning 規(guī)劃的方案使用工具執(zhí)行（Action） ，并對(duì)執(zhí)行的過(guò)程進(jìn)行觀測(cè)（Observation），保證任務(wù)的落地執(zhí)行。

總之，Agent 智能體 = 大語(yǔ)言模型的推理能力 + 使用工具行動(dòng)的能力。

5、知識(shí)庫(kù)

對(duì)于企業(yè)而言，構(gòu)建一個(gè)符合自身業(yè)務(wù)需求的知識(shí)庫(kù)是至關(guān)重要的。通過(guò)RAG、微調(diào)等技術(shù)手段，我們可以將通用的大模型轉(zhuǎn)變?yōu)閷?duì)特定行業(yè)有著深度理解的“行業(yè)專家”，從而更好地服務(wù)于企業(yè)的具體業(yè)務(wù)需求。這樣的知識(shí)庫(kù)基本上適用于每個(gè)公司各行各業(yè)，包括：市場(chǎng)調(diào)研知識(shí)庫(kù)、人力資源知識(shí)庫(kù)、項(xiàng)目管理知識(shí)庫(kù)、技術(shù)文檔知識(shí)庫(kù)、項(xiàng)目流程知識(shí)庫(kù)、招標(biāo)投標(biāo)知識(shí)庫(kù)等等。

知識(shí)庫(kù)的技術(shù)架構(gòu)分為兩部分：

第一、離線的知識(shí)數(shù)據(jù)向量化

• 加載：通過(guò)文檔加載器（Document Loaders）加載數(shù)據(jù)/知識(shí)庫(kù)。
• 拆分：文本拆分器將大型文檔拆分為較小的塊。便于向量或和后續(xù)檢索。
• 向量：對(duì)拆分的數(shù)據(jù)塊，進(jìn)行 Embedding 向量化處理。
• 存儲(chǔ)：將向量化的數(shù)據(jù)塊存儲(chǔ)到向量數(shù)據(jù)庫(kù) VectorDB 中，方便進(jìn)行搜索。?

第二、在線的知識(shí)檢索返回

• 檢索：根據(jù)用戶輸入，使用檢索器從存儲(chǔ)中檢索相關(guān)的 Chunk。
• 生成：使用包含問(wèn)題和檢索到的知識(shí)提示詞，交給大語(yǔ)言模型生成答案。

總之，知識(shí)庫(kù)是 AI 大模型應(yīng)用的知識(shí)基礎(chǔ)。

6、向量數(shù)據(jù)庫(kù)

向量數(shù)據(jù)庫(kù)是專注于存儲(chǔ)和查詢向量的系統(tǒng)，其向量源于文本、語(yǔ)音、圖像等數(shù)據(jù)的向量化表示。

相較于傳統(tǒng)數(shù)據(jù)庫(kù)，向量數(shù)據(jù)庫(kù)更擅長(zhǎng)處理非結(jié)構(gòu)化數(shù)據(jù)，比如：文本、圖像和音頻。在機(jī)器學(xué)習(xí)和深度學(xué)習(xí)中，數(shù)據(jù)通常以向量形式存在。

向量數(shù)據(jù)庫(kù)憑借高效存儲(chǔ)、索引和搜索高維數(shù)據(jù)點(diǎn)的能力，在處理比如：數(shù)值特征、文本或圖像嵌入等復(fù)雜數(shù)據(jù)時(shí)表現(xiàn)出色。

總之，知識(shí)庫(kù)的存儲(chǔ)載體往往是向量數(shù)據(jù)庫(kù)，另外在數(shù)據(jù)存儲(chǔ)和檢索上，向量數(shù)據(jù)庫(kù)以向量空間模型高效存儲(chǔ)和檢索高維數(shù)據(jù)，為 AI 大模型和 Agent 智能體提供強(qiáng)有力的數(shù)據(jù)支持。

7、知識(shí)圖譜

知識(shí)圖譜是一種基于實(shí)體和關(guān)系的圖結(jié)構(gòu)數(shù)據(jù)庫(kù)，旨在表示和管理知識(shí)。它采用結(jié)構(gòu)化數(shù)據(jù)模型來(lái)存儲(chǔ)、管理和顯示人類語(yǔ)言知識(shí)。

知識(shí)圖譜通過(guò)語(yǔ)義抽取建立人類語(yǔ)言知識(shí)間的關(guān)系，形成樹狀結(jié)構(gòu)。實(shí)體如人、地點(diǎn)、組織等，具有特定屬性和關(guān)系，這些關(guān)系連接著不同的實(shí)體。通過(guò)數(shù)據(jù)挖掘、信息處理和圖形繪制，知識(shí)圖譜揭示了知識(shí)領(lǐng)域的動(dòng)態(tài)發(fā)展規(guī)律，為學(xué)科研究提供了有價(jià)值的參考。

醫(yī)療領(lǐng)域是知識(shí)圖譜技術(shù)的一個(gè)廣泛應(yīng)用場(chǎng)景，它可以幫助臨床診療、醫(yī)療數(shù)據(jù)的整合與利用，并通過(guò)實(shí)體識(shí)別、關(guān)系抽取和數(shù)據(jù)集訓(xùn)練，以圖譜形式展示關(guān)鍵節(jié)點(diǎn)和它們之間的聯(lián)系，從而支持更精準(zhǔn)的醫(yī)療決策。

與此同時(shí)，在智能推薦、自然語(yǔ)言處理、機(jī)器學(xué)習(xí)等領(lǐng)域也具有廣泛的應(yīng)用。尤其在搜索引擎領(lǐng)域，它能夠提高搜索的準(zhǔn)確性，為用戶提供更加精準(zhǔn)的搜索結(jié)果。

總之，知識(shí)圖譜本質(zhì)上是一種叫作語(yǔ)義網(wǎng)絡(luò)的知識(shí)庫(kù)，即一個(gè)具有有向圖結(jié)構(gòu)的知識(shí)庫(kù)，其中圖的結(jié)點(diǎn)代表實(shí)體或者概念，而圖的邊代表實(shí)體/概念之間的各種語(yǔ)義關(guān)系。

8、AGI

AGI（通用人工智能）作為 AI 發(fā)展的終極愿景，追求的是讓智能系統(tǒng)具備像人類一樣理解和處理各種復(fù)雜情況與任務(wù)的能力。在實(shí)現(xiàn)這一宏偉目標(biāo)的過(guò)程中，AI 大模型、Prompt Engineering、Agent 智能體、知識(shí)庫(kù)、向量數(shù)據(jù)庫(kù)、RAG 以及知識(shí)圖譜等技術(shù)扮演著至關(guān)重要的角色。這些技術(shù)元素在多樣化的形態(tài)中相互協(xié)作，共同推動(dòng) AI 技術(shù)持續(xù)向前發(fā)展，為實(shí)現(xiàn) AGI 的最終目標(biāo)奠定堅(jiān)實(shí)基礎(chǔ)。

本文轉(zhuǎn)載自公眾號(hào)玄姐聊AGI  作者：玄姐

原文鏈接：??https://mp.weixin.qq.com/s/2BV4KT1ofqhCMdppi37j2A??