隨著 ChatGPT 驚艷的首年即將落幕，生成式人工智能（genAI）與大型語言模型（LLM）無疑已成為引人矚目的技術(shù)焦點(diǎn)。然而，在企業(yè)的黃金時(shí)期，它們是否已具備投入使用的能力呢？ChatGPT 所遭遇的挑戰(zhàn)眾所周知，其在回答問題時(shí)的準(zhǔn)確性尚待提高。盡管 ChatGPT 基于如 GPT-4 般復(fù)雜的人類知識計(jì)算機(jī)模型，但它卻鮮少坦誠自己的不足，此現(xiàn)象被譽(yù)為人工智能幻覺。此外，在邏輯推理方面，ChatGPT 也常常顯得力不從心。當(dāng)然，這源于 ChatGPT 并不具備推理能力——它僅如同一款高級文本自動補(bǔ)全工具。

用戶或許難以接受這一事實(shí)。然而，GPT-4 這一智能系統(tǒng)令人印象深刻：它能夠參與模擬律師資格考試，并以排名前 10% 的成績脫穎而出。利用這樣一個強(qiáng)大的工具來探尋企業(yè)知識庫，無疑充滿著誘惑。然而，我們既需避免它過于自信，也需防止它過于愚蠢。 為了解決這些問題，三種有力的新方法應(yīng)運(yùn)而生，它們?yōu)樘嵘煽啃蕴峁┝丝赡?。雖然這些方法的關(guān)注點(diǎn)或許各有側(cè)重，但它們皆圍繞一個基本理念：將 LLM 視為一個 "封閉的盒子"。換言之，關(guān)鍵不在于精益求精地完善 LLM 本身（盡管人工智能工程師仍在不斷優(yōu)化其模型），而在于構(gòu)建一個事實(shí)核查層以支撐 LLM。這一層旨在過濾掉錯誤答案，并為系統(tǒng)注入 "常識"。 讓我們逐一探尋它們是如何實(shí)現(xiàn)這一目標(biāo)的。

矢量搜索技術(shù)的能力

矢量搜索技術(shù)的廣泛應(yīng)用，已成為眾多數(shù)據(jù)庫的鮮明特色，其中包括部分專為矢量而生的數(shù)據(jù)庫。矢量數(shù)據(jù)庫的誕生，旨在為文本、圖像等非結(jié)構(gòu)化數(shù)據(jù)打造高效索引，將其在高維空間中進(jìn)行精確搜索、深度檢索和高效接近。比如，在搜索“蘋果”一詞時(shí)，或許能找到關(guān)于水果的資訊，而在“矢量空間”的周邊，卻可能涌現(xiàn)出科技企業(yè)或音樂公司的相關(guān)信息。

矢量，已然成為人工智能領(lǐng)域的實(shí)用黏合劑。我們得以利用它們，將數(shù)據(jù)庫與LLM等組件中的數(shù)據(jù)點(diǎn)緊密關(guān)聯(lián)，而不僅僅是將它們視為訓(xùn)練機(jī)器學(xué)習(xí)模型的數(shù)據(jù)庫關(guān)鍵字。在這個探索與發(fā)現(xiàn)的旅程中，矢量搜索能力拓寬了我們的視野，讓數(shù)據(jù)間的聯(lián)系更加豐富多彩，為人工智能的發(fā)展注入無限生機(jī)。

檢索增強(qiáng)生成

檢索增強(qiáng)生成（Retrieval-augmented generation，簡稱 RAG）作為一種精湛方法，在與大型語言模型（LLM）的交互中融入上下文，日益受到業(yè)界矚目。本質(zhì)上，RAG 通過對數(shù)據(jù)庫系統(tǒng)進(jìn)行深度檢索，使得本地語言機(jī)制的回應(yīng)緊貼上下文，從而讓回應(yīng)更加貼切。上下文數(shù)據(jù)可以包括諸如時(shí)間戳、地理位置、參考資料和產(chǎn)品 ID 等元數(shù)據(jù)，理論上甚至可以實(shí)現(xiàn)任意復(fù)雜的數(shù)據(jù)庫查詢結(jié)果。

這一系列背景信息有助于整個系統(tǒng)輸出更為精確且相關(guān)的回應(yīng)。RAG 之精髓在于從數(shù)據(jù)庫中獲取特定主題的最精確、最新信息，進(jìn)而優(yōu)化模型回應(yīng)。相較于 GPT-4 神秘的內(nèi)部運(yùn)作，若 RAG 成為業(yè)務(wù) LLM 的基石，業(yè)務(wù)用戶將可更為透明地了解系統(tǒng)是如何推導(dǎo)出所提供的答案。 倘若底層數(shù)據(jù)庫具備矢量功能，LLM 的回應(yīng)（包括嵌入式矢量）便可應(yīng)用于數(shù)據(jù)庫中相關(guān)數(shù)據(jù)的檢索，從而提升回應(yīng)的準(zhǔn)確性。

知識圖譜的力量

然而，即便在最先進(jìn)的矢量和 RAG 增強(qiáng)搜索功能的助力下，ChatGPT 在關(guān)鍵任務(wù)領(lǐng)域的可靠性仍待提升。矢量作為一種數(shù)據(jù)編目方式，并非最豐富的數(shù)據(jù)模型，而知識圖譜卻以其獨(dú)特魅力，成為 RAG 首選數(shù)據(jù)庫。

知識圖譜，一個由相互關(guān)聯(lián)的信息編織而成的語義豐富網(wǎng)絡(luò)，將多元維度融匯于單一數(shù)據(jù)結(jié)構(gòu)，如同網(wǎng)絡(luò)為人類所做的那樣，展現(xiàn)出強(qiáng)大的整合能力。得益于知識圖譜透明、編輯過的內(nèi)容，其質(zhì)量得以保障，成為信息時(shí)代的堅(jiān)實(shí)基石。

我們還可借助向量將 LLM 與知識圖譜緊密相連。當(dāng)向量解析為知識圖譜中的一個節(jié)點(diǎn)時(shí)，圖譜的拓?fù)浣Y(jié)構(gòu)便能發(fā)揮作用，進(jìn)行事實(shí)核查、近似搜索和一般模式匹配，確保傳遞給用戶的信息準(zhǔn)確無誤。

知識圖譜的應(yīng)用遠(yuǎn)不止此。華盛頓大學(xué)的人工智能研究員 Yejin Choi 教授正積極探索一新概念，備受比爾·蓋茨贊譽(yù)。崔教授及其團(tuán)隊(duì)構(gòu)建了一個由機(jī)器編寫的知識庫，通過提問與一致通過的答案篩選，助 LLM 優(yōu)選知識。

Choi 教授的研究采用了一種名為“批判者”的人工智能，它擅長探測 LLM 的邏輯推理，構(gòu)建一個僅包含優(yōu)質(zhì)推理和事實(shí)的知識圖譜。假如你問 ChatGPT（3.5），在太陽下曬干五件襯衫需要多長時(shí)間，這是一個明顯的推理不足例子。常識告訴我們，無論衣物數(shù)量，晾干時(shí)間都應(yīng)為一小時(shí)，但人工智能卻試圖用復(fù)雜數(shù)學(xué)解決，甚至展示其錯誤的工作原理以證明方法正確！

盡管人工智能工程師們不斷努力改進(jìn)（ChatGPT 4 也不例外），Choi 教授的方法仍為通用解決方案提供了可能。尤其值得一提的是，該知識圖譜進(jìn)一步助力 LLM 訓(xùn)練，盡管體積較小，但準(zhǔn)確率卻大幅提升。

重構(gòu)語境

我們見證了知識圖譜憑借 RAG 賦予的更為豐富的上下文與結(jié)構(gòu)，進(jìn)而強(qiáng)化了 GPT 系統(tǒng)的卓越性能。此外，證據(jù)表明，企業(yè)通過結(jié)合基于向量和圖的語義搜索（知識圖譜的近義詞）的應(yīng)用，能夠持續(xù)獲得高精度成果。

借助向量、RAG 和知識圖譜的支持，大型語言模型的架構(gòu)得以煥發(fā)活力，為企業(yè)帶來豐厚價(jià)值，而無需專業(yè)知識去構(gòu)建、訓(xùn)練和微調(diào) LLM。這是一套綜合策略，使我們得以借助計(jì)算機(jī)（LLM）更為基礎(chǔ)的“理解”，深化對概念豐富、上下文的把握。顯然，企業(yè)因此受益匪淺。圖表的魅力在于解答了核心問題：數(shù)據(jù)中的關(guān)鍵要素是什么？哪些是非同尋常的？更重要的是，根據(jù)數(shù)據(jù)模式，圖表能夠預(yù)測未來走向。

這一事實(shí)能力與 LLMs 的生成元素相輔相成，令人信服地展現(xiàn)廣泛適用性。展望邁向 2024 年的征程，我預(yù)言這種將 LLM 轉(zhuǎn)變?yōu)殛P(guān)鍵業(yè)務(wù)工具的強(qiáng)力策略必將得到廣泛認(rèn)可。

作者 | Jim Webber

來源 | 3 technologies coming to generative AI’s aid in 2024 | InfoWorld