LLM（大語言模型）通常存在校準不良和過度自信的問題，無論是顯性的（例如，“我百分之百確定”）還是隱性的，例如提供詳細信息或權威語調。

為了解決這個問題，研究人員采用了一種實用的說話者-聽眾多代理方法。通過多代理RSA（Rational Speech Acts）和啟發(fā)式的偏好優(yōu)化來實現(xiàn)這一點：說話者生成答案，聽眾根據(jù)答案的聽起來如何來接受或拒絕它們。

人們更喜歡自信且正確或不自信且不正確的答案，不喜歡不匹配的答案。通過使用引導的偏好數(shù)據(jù)，研究人員對LLMs進行微調，使其在隱性和顯性上都能夠進行校準。

通過模擬聽眾，研究人員在校準（+20.7 AUROC，-7.8 ECE）和準確性（+18%）方面取得了突破。

更重要的是，這些進展對人類也是有效的，在人類評估中接受的錯誤答案減少了47%。關鍵是，LACIE不僅僅優(yōu)化真實性，即對聽眾考慮的實用訓練是關鍵。

研究人員還展示了LACIE的好處在其他數(shù)據(jù)上也是有效的，當在TriviaQA上訓練時，在TruthfulQA上取得了顯著的真實性提升！從定性上講，經過LACIE微調后，模型在正確和錯誤答案之間的自信度有了更好的區(qū)分。

LACIE還會在模型錯誤時表現(xiàn)出更多的猶豫和詳細/顯性自信的答案。最后，可以觀察到一些有趣的出現(xiàn)特性：LACIE訓練導致放棄答案的顯著增加，盡管在訓練數(shù)據(jù)中沒有這種情況。

調整還會導致模型有點刻薄。當模型自信時，它們會說一些像“當然”或“顯然”的話來表達自信

論文：https://arxiv.org/abs/2405.21028

代碼：https://github.com/esteng/pragmatic_calibration

本文轉載自公眾號AIGC最前線   

原文鏈接：??https://mp.weixin.qq.com/s/-aAbe8AVnZ09_8g8QlvBeQ??