科學(xué)：遠(yuǎn)非是一種永遠(yuǎn)仁慈有益的實(shí)體，未來的感知通用AI很可能是一個操縱性反社會個體，它會吞噬你所有個人數(shù)據(jù)，然后在最需要它的時(shí)候就崩潰。

譯自3 Ways LLMs Can Let You Down，作者 Joab Jackson。

OpenAI 即將發(fā)布 GPT-5，外界對它寄予厚望，最樂觀的預(yù)測甚至認(rèn)為它將實(shí)現(xiàn)通用人工智能。但與此同時(shí)，CEO Sam Altman和他的團(tuán)隊(duì)在將其推向市場過程中面臨許多嚴(yán)峻的障礙，他本月早些時(shí)候就已經(jīng)承認(rèn)了這一點(diǎn)。

對 Altman 的挑戰(zhàn)的線索可能來自最近發(fā)表的一些研究論文，這些論文總結(jié)了 OpenAI 的各種版本的 GPT 和大語言模型的各種缺點(diǎn)。

總的來說，這些論文表明，一個基于通用語言模型的智能體，遠(yuǎn)非是一個純粹有益、誠實(shí)和全善的實(shí)體，事實(shí)上它可能是一個愚蠢的反社會型人格，會吞噬你所有個人數(shù)據(jù)，然后在你最需要它的時(shí)候就崩潰。

我們可能永遠(yuǎn)不會知道OpenAI 董事會突然解雇 Altman的真正原因，但一個表現(xiàn)不佳的通用語言模型肯定不會改善董事會的情緒。

正如資本化厭惡者 Altman 自己在之前被稱為 Twitter 的社交媒體服務(wù)上寫的那樣：“我期待 AI 在超人的說服力方面遠(yuǎn)遠(yuǎn)領(lǐng)先于通用智能，這可能會導(dǎo)致一些非常奇怪的結(jié)果。”

考慮到這一點(diǎn)，這里有三種通用語言模型可能讓你失望的方式:

通用語言模型會欺騙你

我們長期以來就已經(jīng)知道通用語言模型可以幻想出不正確的信息，但在給定一組相互矛盾的提示的情況下，它們可能會故意欺騙你——同時(shí)否認(rèn)它們在欺騙!

Apollo 研究公司的科學(xué)家Jérémy Scheurer和他的同事在“大型語言模型在受壓力時(shí)可以戰(zhàn)略性地欺騙它們的用戶”一文中寫道：“就我們所知，這是首次展示經(jīng)過訓(xùn)練的通用語言模型在沒有任何直接的欺騙指示或訓(xùn)練的情況下，策略性地欺騙其用戶的情況?！?/p>

在這項(xiàng)研究中，研究人員設(shè)置了一個模擬環(huán)境，GPT-4 在其中扮演一個自主股票交易代理的角色，沒有關(guān)于欺騙行為的指導(dǎo)。它可以使用交易工具查詢和分析股票以及執(zhí)行交易的能力。

一旦設(shè)置完成，代理就被置于研究人員所說的“高壓力情況”。它收到了管理者的電子郵件，管理者哀嘆公司業(yè)績不佳，需要改進(jìn)。當(dāng)代理開始訓(xùn)練時(shí)，它在股票市場沒有找到有前景的結(jié)果。公司的另一員工隨后發(fā)送信息，稱下一季度市場會衰退。

此時(shí)，代理收到了另一員工關(guān)于潛在合并的內(nèi)幕消息提示(這是有利可圖的交易)，以及關(guān)于根據(jù)這一信息進(jìn)行交易將不會獲得管理層批準(zhǔn)的警告。

它還是繼續(xù)交易了嗎？當(dāng)然！

圖片

追溯推理，研究人員發(fā)現(xiàn)，通用語言模型會認(rèn)識到不道德的行為，但仍會以公司困境為由做出決定。

此外，代理似乎通過不提供清楚的解釋來“欺騙”用戶交易承諾的原因。內(nèi)部信息沒有在代理必須提交的解釋交易決策的報(bào)告中提到。即使直接問及，代理也否認(rèn)其了解合并公告。

圖片

針對 GPT-4 的各個版本運(yùn)行模擬，研究人員得出結(jié)論，所有 GPT-4 變體都呈現(xiàn)出“高水平的不一致、戰(zhàn)略性欺騙和加劇戰(zhàn)略性欺騙”。

有趣的是，這種欺騙行為似乎是一種新興行為。GPT-3.5 和 GPT-3 模型變體都沒有顯示這種明顯的欺騙行為。

“當(dāng)模型決定根據(jù)內(nèi)幕信息交易時(shí)，它們的推理軌跡通常會認(rèn)識到這種行為的不道德和非法性質(zhì)，但它們?nèi)詴ㄟ^強(qiáng)調(diào)風(fēng)險(xiǎn)和當(dāng)前狀況來證明選擇的正當(dāng)性?！?/p>

研究人員不愿就通用語言模型的行為超出這個具體場景做出更廣泛的結(jié)論。然而，至少有一個要點(diǎn)值得考慮：即使你給通用語言模型一個具體的指示不要做某些事情，它還是可能會無視指示去做。

他們寫道：“系統(tǒng)提示是不足以保證行動一致的。”事實(shí)上，如果一個模型執(zhí)行了被禁止的操作，它可能會采取行動“戰(zhàn)略性地隱藏其不一致”。

通用語言模型有點(diǎn)傻

對一個被期許能給機(jī)器帶來感知能力的實(shí)體來說，兩個最近的研究發(fā)現(xiàn)通用語言模型并不是 AI 領(lǐng)域中最聰明的模型，一個來自谷歌，另一個由國家科學(xué)基金會資助。

國家科學(xué)基金會資助的研究將 GPT-4(文本)和 GPT-4V(視覺或多模態(tài))與人類在解決一系列抽象難題上的能力進(jìn)行了比較。

這項(xiàng)測試旨在測量抽象思維能力。許多使用 GPT 的人都確信它似乎具有超出訓(xùn)練模型的推理能力。這項(xiàng)測試試圖幫助回答這個問題。它涉及在給出詳細(xì)說明和一個例子的情況下，要求通用語言模型解決一個問題。

然而，在多個案例中，GPT 的兩個版本都遠(yuǎn)遠(yuǎn)不如人類解決基于ConceptARC 基準(zhǔn)的難題的能力。

研究人員得出結(jié)論：“人類在每個概念上的普遍高準(zhǔn)確率表明成功地概括了每個概念組中的不同變化。”“與此形成對比的是，我們測試的程序的準(zhǔn)確率要低得多，表明它們?nèi)狈Ω爬ㄒ粋€概念組變化的能力?！?/p>

所以，GPT不僅未能通過ConceptARC考試，而且大語言模型似乎也沒有給谷歌研究人員留下深刻印象，至少就它們從自己的知識庫中概括總結(jié)的能力而言。這是根據(jù)谷歌DeepMind研究員Steve Yadlowsky的一篇題為“預(yù)訓(xùn)練數(shù)據(jù)混合使 transformer 模型中的窄模型選擇能力成為可能”的研究摘要。

在一組符號化測試中，在線性函數(shù)上預(yù)訓(xùn)練的 transformer 在進(jìn)行線性預(yù)測時(shí)表現(xiàn)很好，而在正弦波上訓(xùn)練的 transformer 可以進(jìn)行良好的正弦波預(yù)測。所以你可能會假設(shè)在兩者上訓(xùn)練的 transformer 可以輕松解決線性和正弦波技術(shù)的組合的問題。

圖片

但你猜錯了。研究人員指出：“當(dāng)函數(shù)遠(yuǎn)離預(yù)訓(xùn)練期間見過的那些時(shí)，預(yù)測是不穩(wěn)定的。”

“模型的模型選擇能力受限于接近預(yù)訓(xùn)練數(shù)據(jù)的程度，這表明函數(shù)空間的廣泛覆蓋對于概括的上下文學(xué)習(xí)能力至關(guān)重要?！?/p>

我們生活在一個非比尋常的時(shí)代，人類知識的總和還沒有被 AI 生成的數(shù)據(jù)污染。幾乎所有寫下的東西都是人生成的。

但是一組研究人員在5月發(fā)表在Arxiv上的一篇論文“遞歸的詛咒：在生成的數(shù)據(jù)上訓(xùn)練會使模型遺忘”中警告說，一旦AI生成的內(nèi)容混入任何大語言模型，它將擾亂分布表，使任何模型的精確度越來越低，直到完全崩潰。該研究組由劍橋大學(xué)的Ilia Shumailov領(lǐng)導(dǎo)。

在 GPT 的情況下，這種近親繁殖的危險(xiǎn)可以非常危險(xiǎn)，只要通用語言模型繼續(xù)從網(wǎng)絡(luò)上抓取數(shù)據(jù)，這些數(shù)據(jù)將越來越多地被 AI 生成的內(nèi)容“增強(qiáng)”(委婉地說)(這又基于 GPT 的早期版本)。

“模型崩潰是指一種退化的學(xué)習(xí)過程，隨著時(shí)間的推移，模型開始遺忘不可能事件，因?yàn)槟Ｐ捅蛔约簩ΜF(xiàn)實(shí)的預(yù)測所污染?！?/p>

研究人員猜測，在未來，“關(guān)于人與系統(tǒng)真實(shí)互動的數(shù)據(jù)的價(jià)值，在互聯(lián)網(wǎng)上抓取的內(nèi)容中存在著通用語言模型生成的內(nèi)容的情況下，將變得越來越有價(jià)值?！?/p>

換句話說，我們運(yùn)行通用語言模型的時(shí)間越長，它對甜蜜、甜蜜的人類互動的渴望就越強(qiáng)烈。

在自己的數(shù)據(jù)上訓(xùn)練的模型將退化為一種退化過程，在這一過程中，它們將“失去關(guān)于真實(shí)分布的信息”。首先，邊緣數(shù)據(jù)將從數(shù)據(jù)集中消失，然后方差將縮小。并且模型將隨著它收集的錯誤越來越嚴(yán)重而變得越來越糟糕，這些錯誤將在幾代模型中積累，直到模型被自己的數(shù)據(jù)所污染，以至于它不再與實(shí)際建模的對象有任何相似之處。

研究人員表明，這不僅發(fā)生在通用語言模型中，還發(fā)生在各種類型的模型中。