今天我們繼續(xù)來聊一下人工智能（AI）生態(tài)領(lǐng)域相關(guān)的技術(shù) - LLM Hallucinations ，本文將繼續(xù)聚焦在針對 LLM Hallucinations 技術(shù)進行剖析，使得大家能夠了解 LLM Hallucinations 出現(xiàn)緣由以便更好地對利用其進行應(yīng)用及市場開發(fā)。

眾所周知，LLM(大型語言模型)的迅猛崛起無疑為人工智能領(lǐng)域帶來了革命性的變革。這種先進的技術(shù)以其驚人的文本生成能力，在諸多領(lǐng)域展現(xiàn)出廣闊的應(yīng)用前景，為提升用戶體驗帶來全新契機。

不可否認，諸如 ChatGPT 等杰出代表所體現(xiàn)的卓越語言理解和生成能力，令人印象深刻。然而，就在這股浪潮持續(xù)推進的同時，一個令人憂慮的問題也逐漸浮出水面——Hallucinations 現(xiàn)象。

一、什么是 LLM Hallucinations (幻覺) ？

近年來，LLM （大型語言模型）在自然語言處理領(lǐng)域取得了令人矚目的進展，展現(xiàn)出與人類對話交互的驚人能力。這種新型人工智能模型通過學(xué)習(xí)海量文本數(shù)據(jù)，掌握了極為豐富的語言知識和語義理解能力，使得人機交互更加自然流暢，給人一種"人工智能已經(jīng)擁有人類般的思維"的錯覺。然而，現(xiàn)實情況并非如此簡單，LLM在實現(xiàn)"類人"對話的同時，也暴露出了一些令人憂慮的缺陷和局限性。

其中，最為人們所關(guān)注的一個問題便是：“Hallucinations (幻覺) ”現(xiàn)象。所謂幻覺？通常是指 LLM 在生成文本輸出時，產(chǎn)生一些不準確、無意義或者與上下文嚴重脫節(jié)的內(nèi)容。由于這種現(xiàn)象的存在，使得 LLM 雖然表面上看似能流利地進行對話交互，但其生成的部分內(nèi)容卻可能嚴重違背事實常識，缺乏邏輯連貫性。這無疑給那些希望利用 LLM 技術(shù)的企業(yè)和組織帶來了潛在的風(fēng)險和挑戰(zhàn)。

一些專家研究人員對流行的 ChatGPT 等 LLM 模型進行了評估和統(tǒng)計，結(jié)果顯示其中約 15% 到 20% 的回復(fù)存在不同程度的幻覺現(xiàn)象。這一數(shù)據(jù)令人咋舌，也凸顯了幻覺問題在 LLM 中的普遍性和嚴重程度。如果不能得到有效控制，幻覺現(xiàn)象極有可能會對企業(yè)聲譽、AI 系統(tǒng)的可靠性和用戶信任造成極為嚴重的沖擊和損害。

亦或是：

二、LLM Hallucinations 產(chǎn)生的原因及分析 ？

在實際的場景中，LLM (大型語言模型)中出現(xiàn)幻覺現(xiàn)象的原因是多方面的，跟其開發(fā)和部署的各個環(huán)節(jié)都有關(guān)系。

因此，我們需要從多個角度來深入探究導(dǎo)致幻覺的關(guān)鍵因素，通常涉及訓(xùn)練數(shù)據(jù)、模型架構(gòu)和推理策略等方面的問題。

1. 訓(xùn)練數(shù)據(jù)

導(dǎo)致 LLM 出現(xiàn)幻覺的一個重要根源在于“訓(xùn)練數(shù)據(jù)”的性質(zhì)問題。像 GPT、Falcon 和 LlaMa 等大型語言模型，都是通過從多個來源收集的大規(guī)模且多樣化的數(shù)據(jù)集進行廣泛的無監(jiān)督預(yù)訓(xùn)練。

然而，驗證這些海量訓(xùn)練數(shù)據(jù)的公平性、客觀性和事實準確性是一個巨大的挑戰(zhàn)。當這些模型從這些數(shù)據(jù)中學(xué)習(xí)生成文本時，它們很可能也復(fù)制并繼承了訓(xùn)練數(shù)據(jù)中存在的事實錯誤和不準確之處，從而導(dǎo)致了模型難以區(qū)分虛構(gòu)和現(xiàn)實，并可能產(chǎn)生偏離事實或違背邏輯推理的輸出。

打個比方，即使是接受過法律培訓(xùn)的語言模型，如果訓(xùn)練數(shù)據(jù)源于互聯(lián)網(wǎng)上的各類材料，那其中也不可避免地包含了帶有偏見或錯誤信息的部分。由于模型無法很好地將準確和不準確的知識加以區(qū)分，這些錯誤信息就可能被復(fù)制并傳遞到模型的生成內(nèi)容中。

因此，訓(xùn)練數(shù)據(jù)質(zhì)量的把控對于避免 LLM 產(chǎn)生幻覺現(xiàn)象至關(guān)重要。我們需要從源頭上通過人工審核、自動檢測、事實驗證等多種手段，努力提高訓(xùn)練數(shù)據(jù)的整體質(zhì)量和可信度，消除其中的偏差、錯誤和噪音，為模型提供更加干凈、公正和一致的學(xué)習(xí)材料，從而有效降低其產(chǎn)生幻覺的風(fēng)險。

此外，也需要在模型架構(gòu)和推理策略層面采取相應(yīng)的優(yōu)化措施，增強模型對事實和邏輯的理解和把握能力，確保其生成的內(nèi)容保持高度的客觀性和合理性。只有訓(xùn)練數(shù)據(jù)、模型架構(gòu)和推理策略三位一體，才能最大程度避免 LLM 產(chǎn)生幻覺，賦予其更高的可靠性和應(yīng)用價值。

2. 模型架構(gòu)

除了上述的訓(xùn)練數(shù)據(jù)外，模型架構(gòu)也是導(dǎo)致的 LLM 幻覺問題的罪魁禍首之一，通常而言，模型架構(gòu)缺陷主要源自以下幾個方面，具體如下：

（1）局部視角和上下文缺失

截至目前，主流的絕大多數(shù) LLM 采用的 Transformer 等序列到序列架構(gòu)，雖然在捕捉長程依賴方面有優(yōu)勢，但其注意力機制卻過于關(guān)注局部信息。這種片段式、局部化的視角很容易導(dǎo)致模型忽視上下文和全局信息，影響對語義的完整把握，從而產(chǎn)生偏離語境的不合理輸出。

（2）缺乏外部記憶與常識知識庫

在我們所了解的模型中，許多 LLM 缺乏永久的外部記憶和常識知識庫作為參考依據(jù)，僅依賴有限的內(nèi)部記憶，往往難以很好地捕捉和維系上下文歷史信息，也無法有效糾正錯誤的推理和生成過程，從而導(dǎo)致不連貫、不合理的幻覺輸出。

（3）弱監(jiān)督和無監(jiān)督訓(xùn)練存在缺陷

我們都知道，大部分 LLM 采用的是弱監(jiān)督或無監(jiān)督的預(yù)訓(xùn)練方式，缺乏足夠的人工標注數(shù)據(jù)指導(dǎo)，使得模型很難從訓(xùn)練過程中獲得強有力的語義理解和推理能力，從而更容易產(chǎn)生缺乏事實根據(jù)的幻覺。

（4）缺乏魯棒性和可解釋性

現(xiàn)有架構(gòu)也缺乏足夠的魯棒性和可解釋性，難以探查模型內(nèi)部狀態(tài)和決策過程，無法從根源上剖析和規(guī)避導(dǎo)致幻覺的深層次原因。

因此，解決 LLM 架構(gòu)導(dǎo)致的幻覺問題，我們需要從更加層級化、可解釋、常識化和魯棒化的架構(gòu)設(shè)計出發(fā)，引入外部知識庫和記憶模塊，強化上下文理解和推理能力，并結(jié)合更有針對性的訓(xùn)練范式，才能從根本上降低 LLM 產(chǎn)生幻覺的風(fēng)險。

3. 推理策略

在 LLM 的推理階段，通常存在幾個潛在因素可能引發(fā)各種形式的幻覺輸出。具體如下。

（1）缺陷的解碼策略:

在推理階段，LLM 使用的解碼策略可能存在局限性和缺陷。例如,貪心式解碼可能會陷入局部最優(yōu)解,無法全面考慮上下文語義。

另一些復(fù)雜的解碼策略，如 beam search，也可能在某些情況下產(chǎn)生不連貫或違背常理的輸出。這可能是由于解碼算法本身的設(shè)計局限性造成的。

（2）采樣方法中的隨機性:

LLM 在推理過程中通常會采用一些隨機采樣方法,如核采樣或溫度采樣,以增加輸出的多樣性。

但是，這些隨機采樣方法內(nèi)在的不確定性也可能導(dǎo)致一些不合理或違背常識的輸出結(jié)果。在某些邊緣情況下，這種隨機性可能產(chǎn)生極端結(jié)果，從而造成幻覺。

（3）上下文注意力不足

LLM 在解碼過程中可能無法充分捕捉和利用提供的上下文信息。這可能導(dǎo)致輸出缺乏針對性和相關(guān)性，從而產(chǎn)生違背現(xiàn)實的結(jié)果。

因此，改善上下文建模能力，增強 LLM 對相關(guān)語境的理解和利用,有助于緩解這一問題。

（4）Softmax 瓶頸

Softmax 輸出層可能會導(dǎo)致 LLM 在某些情況下產(chǎn)生過于集中的概率分布，忽略了一些潛在的合理輸出。

這種 Softmax 瓶頸效應(yīng)可能會阻礙 LLM 在推理過程中探索更廣泛的可能性，從而導(dǎo)致偏離現(xiàn)實的幻覺輸出。

三、減輕或避免 LLM Hallucinations 的常見策略 

眾所周知，針對 LLM 而言，其內(nèi)在的復(fù)雜性以及”黑箱"特征，使得在消除無關(guān)緊要或隨機幻覺輸出成為一個艱巨的挑戰(zhàn)?；谄涮卣魉鶐淼牟淮_定性和不可解釋性，注定了 Hallucinations（幻覺）現(xiàn)象的存在具有一定的不可避免性。

盡管如此，在實際的業(yè)務(wù)場景中，我們?nèi)匀豢梢圆扇∫恍﹦?wù)實的策略和方法，以規(guī)避或減輕 Hallucinations（幻覺）問題帶來的不利影響。

1. 上下文注入及數(shù)據(jù)增強

鑒于 LLM 在實際應(yīng)用中存在幻覺現(xiàn)象等缺陷，業(yè)內(nèi)人士提出了多種有效的上下文和數(shù)據(jù)增強策略，旨在提升模型的理解和生成能力，產(chǎn)生更準確、更貼合語境的高質(zhì)量響應(yīng)。

其中，一種被廣泛探討和采用的方法是合并外部數(shù)據(jù)庫知識。傳統(tǒng)的語言模型訓(xùn)練過程中，模型所學(xué)習(xí)的知識完全來自于文本語料庫數(shù)據(jù)。但由于訓(xùn)練數(shù)據(jù)的有限性，模型在特定領(lǐng)域或話題的知識覆蓋面往往存在不足。因此，在模型預(yù)測和生成過程中，賦予其訪問相關(guān)外部數(shù)據(jù)源的能力就顯得尤為重要。通過與結(jié)構(gòu)化知識庫、行業(yè)數(shù)據(jù)集等進行交互式查詢，語言模型可以獲取所需的補充知識，從而使生成的響應(yīng)更加準確、專業(yè)和富有見地，同時也有助于降低幻覺輸出的發(fā)生率。

另一種行之有效的優(yōu)化手段是使用上下文 Prompt Engineering (提示工程)技術(shù)。所謂提示工程，是指為語言模型精心設(shè)計包含顯式指令、上下文提示或特定框架的輸入提示，以指導(dǎo)和約束模型的生成過程。通過提供清晰的語境信息和任務(wù)要求，提示工程可以大幅減少生成過程中的歧義，引導(dǎo)模型更好地捕捉輸入的語義，并生成更加可靠、連貫、符合預(yù)期的高質(zhì)量輸出。

2. 預(yù)處理及輸入控制

除了上下文與數(shù)據(jù)增強外，預(yù)處理和輸入控制策略同樣是降低大型語言模型幻覺輸出風(fēng)險的行之有效手段。通過對模型的輸入和生成過程進行適當?shù)南拗坪鸵龑?dǎo)，我們可以進一步提升其輸出質(zhì)量和可控性。

限制響應(yīng)長度就是一種常見的預(yù)處理方法。由于語言模型生成過程本身存在一定的不確定性，響應(yīng)內(nèi)容往往會隨著長度的增加而產(chǎn)生越來越多的離譜乃至矛盾之處。因此，通過為生成的響應(yīng)設(shè)置合理的最大長度，將無關(guān)無謬或前后不一的幻覺內(nèi)容風(fēng)險降至最低，從而有助于確保生成文本的連貫性和一致性。同時，適當?shù)拈L度限制也可為用戶帶來更加個性化和吸引人的體驗，避免冗長拖沓的輸出影響用戶體驗。

另一種輸入控制手段是受控輸入(Constrained Input)，即不為用戶提供自由格式的文本框，而是設(shè)計特定的樣式選擇或結(jié)構(gòu)化提示，來約束和指導(dǎo)模型的生成過程。這種方式一方面可以有效縮小可能的輸出范圍，降低幻覺產(chǎn)生的概率;另一方面，通過為模型提供更加明確的語義指示，同樣有助于提高生成內(nèi)容的針對性和合理性。

3. 模型架構(gòu)行為調(diào)整

除了輸入層面的優(yōu)化策略，我們還可以通過調(diào)整語言模型自身的一些關(guān)鍵參數(shù)，對其生成輸出的質(zhì)量和特性加以精細調(diào)控，在多樣性與可控性之間尋求合理平衡。

LLM 在生成過程中,輸出響應(yīng)的性質(zhì)會受到諸如 Temperature、Frequency Penalty、Presence Penalty 和 Top-P/Top-K Sampling等多個參數(shù)的綜合影響。通過對這些參數(shù)進行審慎的調(diào)整，我們可以在生成的多樣性與可控性之間尋求到最佳平衡點，既避免輸出過于呆板乏味，也不會失控導(dǎo)致過多無關(guān)幻覺內(nèi)容的出現(xiàn)，真正發(fā)揮出語言模型的巨大潛能。

除了直接優(yōu)化語言模型本身外，我們還可以在其生成輸出的基礎(chǔ)上，引入獨立的審核層(Auditing Layer)進行二次過濾和把關(guān)。通過部署先進的審核系統(tǒng)，我們能夠有效識別和過濾掉模型生成的不當、不安全或無關(guān)內(nèi)容，從而進一步降低幻覺、謠言等風(fēng)險，確保最終輸出符合預(yù)定義的質(zhì)量標準和準則。

4. 學(xué)習(xí)及改進

為了持續(xù)優(yōu)化語言模型的性能表現(xiàn)，確保其輸出的可靠性和準確性，并最大限度降低幻覺等問題的發(fā)生，建立高效的學(xué)習(xí)、反饋與改進機制是關(guān)鍵所在。這需要組織層面對模型進行持續(xù)不斷的監(jiān)控、評估和調(diào)優(yōu)，形成一個良性的質(zhì)量優(yōu)化閉環(huán)。

首先，有必要建立完善的用戶反饋與人工審核體系。通過收集和分析來自實際應(yīng)用場景中用戶的反饋意見，包括對模型輸出質(zhì)量的打分評價、具體問題和改進建議等，我們就能夠更精確地洞察模型存在的缺陷和不足，了解幻覺等問題的具體表現(xiàn)形式。同時，組織亦需部署專業(yè)的人工審核團隊，通過人工驗證和審查流程進一步識別和過濾模型輸出中的不當內(nèi)容。

除了不斷優(yōu)化現(xiàn)有模型外，我們還需注重語言模型在特定領(lǐng)域場景中的適應(yīng)性增強。由于 LLM 通常以通用預(yù)訓(xùn)練模型為基礎(chǔ)，這使得其在某些垂直領(lǐng)域的應(yīng)用效果并不理想，答復(fù)中往往存在明顯的領(lǐng)域知識缺失或幻覺輸出。因此，我們需要針對目標領(lǐng)域的數(shù)據(jù)和知識庫，對基礎(chǔ)模型進行進一步的微調(diào)或知識增強，使其充分理解和掌握目標領(lǐng)域的語言模式、術(shù)語表達、知識框架和現(xiàn)象規(guī)律。

四、關(guān)于 LLM Hallucinations 的一點思考 

因此，從某種意義上而言，LLM Hallucinations 問題的存在，給我們提供了反思人工智能現(xiàn)狀與前景的良機。它再次喚醒了我們對 AI "黑箱"性質(zhì)的憂慮，以及對其可解釋性和可控性的嚴重關(guān)切。

畢竟，AI 是把雙刃劍，如果缺乏有效管控，極有可能被濫用而帶來不可估量的損害。因此，Hallucinations 正敲響了行業(yè)警鐘：我們亟需建立健全的法律法規(guī)、審計標準和倫理準則，來規(guī)范和約束 LLM 及類似技術(shù)的應(yīng)用，時刻保持對其的"有識別、有控制"。

同時，Hallucinations 也折射出了 AI 本身存在的缺陷和不足：機器在模擬人類的認知過程層面尚有極大的提升空間，其缺乏因果推理、常識判斷等關(guān)鍵認知能力，難以做到真正的"理解"。但正因如此，也再度激發(fā)了人們對 AI 前景的思考。這場注定艱難曲折的探索，意味著我們必須在制度、理論和算法層面持續(xù)推陳出新，不斷拓寬人工智能的思維邊界和表達維度。