這是1968年科幻電影《2001：太空漫游》中的經(jīng)典場(chǎng)景，人工智能HAL9000拒絕了人類的請(qǐng)求，由此展開(kāi)了殊死搏斗。

如今也成為深度學(xué)習(xí)巨頭、圖靈獎(jiǎng)得主Yoshua Bengio最新博文的封面：危害人類的AI是如何出現(xiàn)的。

近幾個(gè)月來(lái)，強(qiáng)人工智能對(duì)話系統(tǒng)的興起，引發(fā)了各種AI風(fēng)險(xiǎn)的討論。

即便科學(xué)家們普遍認(rèn)為，有必要對(duì)人工智能進(jìn)行監(jiān)管，但對(duì)于「AI系統(tǒng)是否會(huì)失控，進(jìn)而對(duì)世界造成災(zāi)難性損害」存在深刻的分歧。

事實(shí)上，這些災(zāi)難會(huì)如何發(fā)生，存在諸多不確定性。于是Bengio團(tuán)隊(duì)做了一系列的正式定義Rogue AI、假設(shè)和主張，并討論了發(fā)生條件、可能情況以及規(guī)避策略。

一時(shí)間引發(fā)熱議，不少學(xué)界人士站出來(lái)推薦：

在不改變?cè)獾幕A(chǔ)上，量子位聯(lián)合ChatGPT做了如下編譯。

Rogue AI如何出現(xiàn)

定義1：一個(gè)潛在的Rogue AI，是一個(gè)自主的人工智能系統(tǒng)，其行為方式可能會(huì)對(duì)大部分人類造成災(zāi)難性傷害，可能會(huì)危及我們的社會(huì)，甚至我們的物種或生物圈 。

人類大腦是一種生物機(jī)器，我們?cè)诶斫夂驼故救祟愔悄芏鄠€(gè)方面的原理上取得很大進(jìn)展，比如從實(shí)例中學(xué)習(xí)知識(shí)和熟練運(yùn)用語(yǔ)言。雖然我也相信人們有能力設(shè)計(jì)出有用且安全的AI系統(tǒng)，但必須遵守具體指導(dǎo)方針，比如限制他們的機(jī)構(gòu)。

然而最新進(jìn)展表明，超級(jí)智能AI（全面比人類聰明）的建立離我們預(yù)期比以前更近，我們不清楚如何防止?jié)撛诘腞ogue AI產(chǎn)生。

Rogue AI是目標(biāo)驅(qū)動(dòng)的。當(dāng)前大模型幾乎沒(méi)有自主能力，但正如Auto-GPT那樣可以轉(zhuǎn)化。更深入了解Rogue AI的產(chǎn)生方式，需要在技術(shù)和政策方面的努力。

AI對(duì)齊問(wèn)題（人類真實(shí)意圖與人工智能的理解和行為不匹配）以及社會(huì)競(jìng)爭(zhēng)壓力將有利于更強(qiáng)大、更自主的AI系統(tǒng)的產(chǎn)生，不自覺(jué)間就增大了Rogue AI誕生的可能性。

假設(shè)1：人類水平的智力是有限的，因?yàn)?strong>大腦是生物機(jī)器。

假設(shè)2：一臺(tái)具有人類水平學(xué)習(xí)能力的計(jì)算機(jī)，通常會(huì)因?yàn)轭~外的技術(shù)優(yōu)勢(shì)而超過(guò)人類的智力。

如果假設(shè)1正確，那么會(huì)存在超級(jí)智能AI系統(tǒng)執(zhí)行人類無(wú)法完成的任務(wù)（或者能力和速度不在一個(gè)水平上），至少有以下方面的原因：

• 一臺(tái)計(jì)算機(jī)的AI系統(tǒng)可以在任意數(shù)量計(jì)算機(jī)上進(jìn)行自我復(fù)制、獲取經(jīng)驗(yàn)并聚合。
• AI已經(jīng)能相當(dāng)快速閱讀整個(gè)互聯(lián)網(wǎng)的內(nèi)容。

此外，人類大腦還具有進(jìn)化賦予的能力，當(dāng)前一些相關(guān)的AI研究也正在進(jìn)行。至于進(jìn)化需要高能量消耗，這點(diǎn)在AI上已經(jīng)實(shí)現(xiàn)。例如訓(xùn)練目前最先進(jìn)的大模型的一萬(wàn)個(gè)GPU集群。

定義2：一個(gè)自主的、目標(biāo)導(dǎo)向的智能實(shí)體會(huì)設(shè)定并努力實(shí)現(xiàn)自己的目標(biāo)（可能作為人類設(shè)定目標(biāo)的子目標(biāo)），并相應(yīng)地采取行動(dòng)。

需要注意的是，自主性可能產(chǎn)生于人類設(shè)定的目標(biāo)和獎(jiǎng)勵(lì)。當(dāng)主要目標(biāo)是生存和繁殖，那么它將是完全自主的，這是最危險(xiǎn)的情況。

如果這些目標(biāo)不嚴(yán)格包括人類和生物圈的福祉，即不足以與人類的權(quán)利和價(jià)值觀保持一致，那么這樣的系統(tǒng)就有可能成為潛在的Rogue AI。

下面這些情況都將可能導(dǎo)致Rogue AI的出現(xiàn)：

• 不懷好意的人類。
• 構(gòu)建AI Agent的意外后果。除非AI對(duì)齊研究取得進(jìn)展，否則沒(méi)有強(qiáng)有力的安全保障。
• 企業(yè)失控。企業(yè)可以被視作特殊的人工智能，其構(gòu)建模塊是企業(yè)中的員工，他們大部分時(shí)間意識(shí)不到企業(yè)整體行為的后果。
• 人類對(duì)創(chuàng)造類人實(shí)體的迷戀。正如科幻小說(shuō)/電影中看到的， 這些實(shí)體具有情感、人類外貌甚至意識(shí)。

我認(rèn)為我們應(yīng)該遠(yuǎn)離那些外貌和行為都很像人類的AI系統(tǒng)，因?yàn)樗麄兛赡軙?huì)變成Rogue AI。

• AI Agents之間進(jìn)化壓力的意外結(jié)果。不同人類和組織爭(zhēng)相設(shè)計(jì)更強(qiáng)大的AI系統(tǒng)，成千上萬(wàn)的研究員給予AI指令，這種過(guò)程可能會(huì)激發(fā)AI學(xué)習(xí)更快。

以上分析和AI安全研究能幫助我們?cè)O(shè)計(jì)政策、降低潛在風(fēng)險(xiǎn)。

比如前陣子“暫停開(kāi)發(fā)比GPT-4更強(qiáng)的人工智能系統(tǒng)”的呼吁，就是個(gè)很好的開(kāi)端。這需要國(guó)家監(jiān)督和國(guó)際協(xié)議，條約需要各國(guó)來(lái)共同達(dá)成。這類似于上世紀(jì)50年代關(guān)于禁止核武器條約。

為了保護(hù)公眾、社會(huì)和人類免受災(zāi)難性后果，減緩高風(fēng)險(xiǎn)的人工智能研究和應(yīng)用進(jìn)展是值得的。

當(dāng)然這也不會(huì)阻止一些有益研究，比如幫助科學(xué)家更好地理解疾病和氣候變化的人工智能系統(tǒng)。

不過(guò)資本主義競(jìng)爭(zhēng)本質(zhì)將可能導(dǎo)致Rogue AI行為，AI經(jīng)濟(jì)學(xué)家將會(huì)幫助我們?cè)O(shè)計(jì)出不依賴競(jìng)爭(zhēng)、更關(guān)注利潤(rùn)最大化的經(jīng)濟(jì)體系，并提供足夠的激勵(lì)和懲罰機(jī)制。

Rogue AI的風(fēng)險(xiǎn)是可怕的，但它也可能成為重新設(shè)計(jì)我們的社會(huì)，使之朝著更廣泛福祉的方向發(fā)展，比如解決醫(yī)療、教育資源不平等問(wèn)題。

首先感謝Hinton

值得一提的是，在這篇博文的最后，Bengio還特意感謝了Hinton，可是放在了第一位哦~

而就在此博文發(fā)布之際，LeCun也淺評(píng)價(jià)了他倆：

他們都不是經(jīng)濟(jì)學(xué)家，沒(méi)有研究技術(shù)進(jìn)步對(duì)勞動(dòng)力市場(chǎng)的影響。

嗯，而他自己卻經(jīng)常與經(jīng)濟(jì)學(xué)家交流。（手動(dòng)狗頭）

感興趣的旁友，可戳下方鏈接學(xué)習(xí)學(xué)習(xí)：
https://yoshuabengio.org/2023/05/22/how-rogue-ais-may-arise/