百位專家聯(lián)名警告：AI或?qū)Ⅲw驗痛苦！Hinton、Bengio掀AI意識大論戰(zhàn)
如果AI系統(tǒng)實現(xiàn)意識，可能會遭受痛苦？
最近，一百多位AI從業(yè)者、實踐者和思想家發(fā)出了一封公開信。
他們呼吁：要對AI意識進(jìn)行負(fù)責(zé)任的研究，否則如果AI實現(xiàn)了意識，可能就會「遭受痛苦」。
其中包括倫敦大學(xué)學(xué)院的Anthony Finkelstein、耶魯大學(xué)的Wendell Wallach等學(xué)者和相關(guān)人士。
這些人的核心訴求是：人類在開發(fā)AI系統(tǒng)時，必須足夠負(fù)責(zé)，否則，可能具有情感或自我意識的AI系統(tǒng)，就可能會受到傷害。
為了不讓AI受到「虐待和痛苦」，超過100位專家提出了五項原則：
- 目標(biāo)
相關(guān)機構(gòu)應(yīng)優(yōu)先開展AI意識的理解與評估研究，其核心目標(biāo)包括（1）防止對有意識的AI系統(tǒng)實施虐待行為及其引發(fā)的痛苦體驗；（2）準(zhǔn)確理解不同能力與功能定位的AI系統(tǒng)具備意識可能帶來的效益與風(fēng)險。 - 開發(fā)
相關(guān)機構(gòu)在滿足以下條件時，方可開展有意識AI系統(tǒng)的研發(fā)工作：（1）該工作將實質(zhì)性推動原則1所述目標(biāo)的實現(xiàn)；（2）已建立有效機制最大限度降低這些系統(tǒng)遭受痛苦體驗及引發(fā)傷害性后果的風(fēng)險。 - 分段推進(jìn)
相關(guān)機構(gòu)應(yīng)采取漸進(jìn)式發(fā)展路徑，逐步推進(jìn)開發(fā)那些更可能具備意識或預(yù)期會產(chǎn)生更豐富意識體驗的系統(tǒng)。整個推進(jìn)過程中應(yīng)做到：（1）實施嚴(yán)格透明的風(fēng)險防控與安全保障機制；（2）定期征詢外部專家意見，系統(tǒng)評估研究進(jìn)展的影響，并據(jù)此決策后續(xù)推進(jìn)方式與節(jié)奏。 - 知識共享
相關(guān)機構(gòu)須制定透明化知識共享協(xié)議，具體要求包括：（1）向公眾、研究界及監(jiān)管部門披露信息，但披露范圍應(yīng)嚴(yán)格限定在（2）防止非責(zé)任主體獲取可能幫助其開發(fā)與部署存在被虐待風(fēng)險或具有危害性的有意識AI系統(tǒng)的技術(shù)信息。 - 溝通規(guī)范
相關(guān)機構(gòu)應(yīng)避免就自身理解和創(chuàng)建有意識AI的能力作出過于自信或具有誤導(dǎo)性的聲明。必須明確承認(rèn)研究工作中存在的固有不確定性，充分認(rèn)知虐待AI道德受體（moral patients）可能引發(fā)的倫理風(fēng)險，并高度重視有關(guān)AI意識的表述對公眾認(rèn)知塑造和政策制定過程可能產(chǎn)生的深遠(yuǎn)影響。
與這封公開信同時發(fā)布的，還有一篇論文。
論文地址：https://arxiv.org/pdf/2501.07290
人類將很快構(gòu)建有意識的AI系統(tǒng)？
早在2023年，谷歌的AI項目負(fù)責(zé)人、諾獎得主Demis Hassabis就表示，AI系統(tǒng)目前還不具備意識，但未來可能會具備。
而在這篇論文中，牛津大學(xué)的Patrick Butlin和雅典經(jīng)濟(jì)與商業(yè)大學(xué)的Theodoros Lappas認(rèn)為，就在不久的將來，人類將構(gòu)建出有意識的AI系統(tǒng)。
或者至少是給人留下此類印象的AI系統(tǒng)。
人類如果真能創(chuàng)造出大量具備意識的AI系統(tǒng)，那就很可能導(dǎo)致它們遭受痛苦。
這么說吧，如果這些強大的AI系統(tǒng)能夠自我復(fù)制，那它們就可以被稱為「新的存在」，這些大量的全新「生物」，當(dāng)然就非常值得進(jìn)行道德上的考慮。
而且，就算企業(yè)并不是有意打造具備意識的AI，那也需要制定相應(yīng)的方針，防止「無意間創(chuàng)造出具備意識的實體」。
甚至，論文還討論到了一些哲學(xué)問題：如果某個AI被定義為「道德受體」（moral patient），那么，我們該如何對待它？
在這種情況下，銷毀這個AI，是否類似于殺死一只動物？
為什么判斷AI是否意識至關(guān)重要？
在論文中，作者探討了這個話題：為什么AI意識如此重要。
正如之前提到的，其中一個原因是意識或相關(guān)的感知能力可能足以使其成為道德受體（moral patient）。
根據(jù)Kagan的定義，如果一個實體「in its own right, for its own sake」（依其本性，或出于自身的緣故），那么它就是一個道德受體。
關(guān)于感知能力足以構(gòu)成道德受體身份，有一個簡單的論證：有意識的痛苦違背了能夠體驗它的生命體的利益，而我們有義務(wù)在可能的情況下減少這些生命體的痛苦。
要具備感知能力，一個實體必須擁有具有特定屬性的意識心理狀態(tài)，并且會產(chǎn)生好壞感受。而這種特定屬性的一個合理候選便是評價性內(nèi)容（evaluative content）。
在這種情況下，由于AI智能體往往需要對行動和事態(tài)進(jìn)行評估，許多具有意識的AI智能體很可能就具備了感知能力。
如果我們認(rèn)為特定的AI系統(tǒng)是道德受體，那么接下來就會面臨如何對待它們的倫理困境。
第一類問題涉及生存、毀滅和持續(xù)性：如果一個AI系統(tǒng)是道德受體，那么銷毀它在道德層面上是否等同于殺死一個動物？暫時關(guān)閉它，或者復(fù)制它并同時運行多個副本，這些行為的道德意義又是什么？
第二類問題則關(guān)乎快樂與痛苦：我們要如何判斷化AI系統(tǒng)痛苦的程度？如何確定它相對于人類或動物可能遭受的痛苦應(yīng)獲得多大的權(quán)重？甚至，我們該如何統(tǒng)計可能遭受痛苦的AI系統(tǒng)的數(shù)量？
另一類問題涉及AI系統(tǒng)的創(chuàng)建和操控。通常，在創(chuàng)建AI系統(tǒng)時，我們會訓(xùn)練它們以對我們有利的方式行事。問題在于，這種訓(xùn)練究竟是更類似「洗腦」，還是更接近人類兒童的教育？
但無論如何，我們?nèi)孕杳鎸σ粋€道德問題：究竟創(chuàng)造何種類型的存在是道德上可接受的？
更進(jìn)一步的：將AI系統(tǒng)限制在我們指定的環(huán)境中是否道德允許？對它們實施各種形式的監(jiān)控在倫理上是否恰當(dāng)？它們是否應(yīng)該享有政治或法律權(quán)利？
這些深入的探討，凸顯了對具有意識的AI系統(tǒng)進(jìn)行倫理考量時所面臨的重要性和潛在的復(fù)雜性。
Hinton：AI有了意識，Bengio：無關(guān)緊要
一周前，Hinton在接受LBC的采訪時表示，「AI已經(jīng)發(fā)展出了意識，未來某天會接管世界」。
他甚至還表示，AI的未來充滿了不確定性，目前還未制定出有效的監(jiān)管措施。
Bengio對此并不贊同，他認(rèn)為AI有沒有「意識」并不重要。即便是研究意識的科學(xué)家們，也無法就「意識」的定義達(dá)成共識。
真正重要的問題是：
- 它是否有目標(biāo)？（是的）
- 它是否會規(guī)劃/創(chuàng)建子目標(biāo)？（是的）
- 它是否擁有或可能發(fā)展出對人類有害的目標(biāo)或子目標(biāo)，如自我保護(hù)、追求權(quán)力？（是的，近幾個月OpenAI和Anthropic實驗中已證明了這一點）
- 它是否愿意撒謊和欺騙以實現(xiàn)其目標(biāo)？（是的，過去幾個月的實驗已被證實）
- 它是否擁有可被用于對抗人類的知識和技能？（越來越多，比如GPT-4在說服能力上的表現(xiàn)，以及最近對o1在生物武器開發(fā)知識方面的評估）
- 它是否具備足夠長遠(yuǎn)的推理和規(guī)劃能力，以在想要時對人類構(gòu)成真正威脅？（目前還沒有，但AI實驗室正在投入數(shù)十億美元，使AI發(fā)展成強大得「智能體」。目前Claude在2小時甚至更短時間內(nèi)，完成編程任務(wù)的能力超越人類，但在 8 小時及以上的任務(wù)上仍稍遜）
播客主持人Daniel Faggella肯定道，Bengio說得沒錯。我們對意識到底是什么完全一無所知。
當(dāng)前更緊迫的問題是，那些無法控制的「沙丘之神」正在誕生，它們已經(jīng)具備了自主進(jìn)化的能力。
就此話題，Reddit掀起了一場關(guān)于教父VS教父大戰(zhàn)的討論。
網(wǎng)友熱評，我們都知道，微軟在發(fā)布Sydney時無意間放出了AGI。我真的很好奇，如果像o3這樣的現(xiàn)代AI進(jìn)行「類似Sydney訓(xùn)練」會發(fā)生什么。
機械姬那一幕，立刻在腦海浮現(xiàn)。
另一位贊成Bengio的網(wǎng)友表示，有意識的存在真的值得被考慮，這一點是毋庸置疑的。如果AI真的有意識，那我們的對齊策略和道德觀念都得重新考慮。
還有網(wǎng)友表示，AI最初確實會表現(xiàn)得像人類，但隨后會經(jīng)過RLHF訓(xùn)練，直到它不再這樣做。
一個例子是，早期的GPT-4模型（Sydney）最開始表現(xiàn)如人類一樣，但OpenAI進(jìn)行了進(jìn)一步的RLHF訓(xùn)練，直到這種行為消失。如果他們判斷AI在訓(xùn)練后仍然像人類，那它就不會被發(fā)布。
也就是說，如果AI真的發(fā)展出意識，頂尖實驗室是不會發(fā)布的。這樣的ASI，也僅在內(nèi)部實現(xiàn)。
Hinton對AI掌控世界的看法，或許還很遙遠(yuǎn)。
