什么是大模型幻覺（LLM Hallucination）

指大語言模型在生成文本時，給出似是而非、虛構或不準確信息的現象，簡單來說就是一本正經的胡說八道。

要點：

• 大模型幻覺包括生成的文本與事實矛盾、上下文矛盾、與prompt不一致、編造事實和荒謬回復等問題
• 幻覺產生的原因有數據質量問題、多樣性缺乏、訓練過擬合、生成過程隨機性、提示工程不足和微調過程控制不當
• 幻覺會帶來嚴重后果,阻礙大模型應用

1）. 事實性幻覺 (Factuality Hallucination)
?? 事實不一致
?? 事實捏造
2）. 忠實性幻覺 (Faithfulness Hallucination)
?? 指令不一致
?? 上下文不一致
?? 邏輯不一致

產生幻覺的原因
??? 內容生成的機制
?? 訓練數據的局限
?? 上下文誤導

應對幻覺的方法
1）. ??? 依賴模型能力的增強 （什么都不用做?。?br>2）. ?? 交叉驗證信息
3）. ?? 設置明確的上下文-

大模型幻覺從哪兒來？

1??來自數據

- 將虛假的相關性(如位置接近或高度共現的關聯誤解為事實知識

- LLM偏向于肯定測試樣本，LLMs容易復制甚至放大這種幻覺行為。

- 存在一些導致幻覺的訓練數據·

2??大模型有時會高估自己的能力

3??在 SFT 階段，有問題的對齊過程可能會誤導大模型產生幻覺

4??LLM采用的生成策略，如現在常見的 top-k、top-p 等方法，其實是一種局部最優(yōu)解，不能確保全局最優(yōu)。這意味著搜索空間變小了，因此可能引發(fā)幻覺問題

大模型幻覺如何評估？

1、生成事實陳述評估

2、判別式基準評估

3、基于問答對的評估

合理解決方法

1??預訓練數據問題

2??微調新知識

3??幻覺檢測

4??基于采樣的檢測

5??未知知識的校準

本文轉載自公眾號數字化助推器  作者：天涯咫尺TGH

原文鏈接：??https://mp.weixin.qq.com/s/DBKUwNTV-gbQIKCXYQBgFw??