出品 | 51CTO技術(shù)棧（微信號：blog51cto）

忍無可忍！

面對AI技術(shù)發(fā)展的各種風(fēng)險(xiǎn)隱患，這些前沿AI企業(yè)的一線員工再也不堪忍受任人捂嘴的現(xiàn)狀了！

他們想要掙脫保密協(xié)議和公司報(bào)復(fù)的重重風(fēng)險(xiǎn)，獲得對公眾發(fā)出警告的權(quán)利。

昨日，13名來自O(shè)penAI和Google DeepMind的現(xiàn)任及前員工上了聯(lián)名信。內(nèi)容直指對AGI和人類對齊失敗的擔(dān)憂，他們呼吁“獲得權(quán)利，去分享OpenAI、 DeepMind及其他前沿公司正在構(gòu)建的技術(shù)可能帶來的“嚴(yán)重風(fēng)險(xiǎn)”，并且能獲得必要的保護(hù)避免因?yàn)檠哉摱馐軋?bào)復(fù)?！?/p>

圖片

公開信地址：https://righttowarn.ai/

AI圈員工苦捂嘴久矣！

這篇公開信也得到了AI大佬Jan Leike的轉(zhuǎn)發(fā)。此前他高調(diào)出走OpenAI，并開懟公司風(fēng)氣，表示這幾年早已“忽視安全準(zhǔn)則，將快速推出“吸引眼球”的產(chǎn)品作為最重要的事情”。    

圖片

員工對于企業(yè)報(bào)復(fù)的擔(dān)憂并非空穴來風(fēng)，出于良心和責(zé)任的發(fā)聲可能代價(jià)高昂！此前，Ilya的兩位親密盟友 Leopold Aschenbrenner 和 Pavel Izmailov就曾因“泄密”而被OpenAI解雇。

根據(jù)Leopold的自述，所謂的泄密只是他寫了一份有關(guān)通往AGI之路上所需的準(zhǔn)備、安全性及安全措施的頭腦風(fēng)暴文件，并與三位外部研究人員分享了這份文件以獲取反饋，并且文件在發(fā)出前已經(jīng)經(jīng)過嚴(yán)格的脫敏。

不久前，Ilya的離職，讓大眾再次關(guān)注到AI對齊團(tuán)隊(duì)和相應(yīng)的安全問題，OpenAI的“不貶低協(xié)議”也讓輿論一片嘩然。該協(xié)議規(guī)定，任何員工離職后不可以公開說OpenAI的“壞話”，否則就有丟失天價(jià)股權(quán)的風(fēng)險(xiǎn)。

但沉默可能給人類帶來更加難以預(yù)測的危險(xiǎn)。正如公開信中所說“只要沒有有效的政府監(jiān)管這些（AI）公司，現(xiàn)任和前員工就是少數(shù)能夠督促他們對公眾負(fù)責(zé)的人。”

廣泛的保密協(xié)議猶如一圈圈繩索，困住了這些想要表達(dá)擔(dān)憂的員工。在此情況下，他們可以表達(dá)觀點(diǎn)的對象似乎只剩下制造這些隱患的公司本身。    

因此，這篇聯(lián)文語氣沉重地警告大家，如果沒有適當(dāng)?shù)谋O(jiān)管，AI系統(tǒng)有足夠的能力造成嚴(yán)重的傷害。信中寫道：“這些風(fēng)險(xiǎn)包括從進(jìn)一步加深現(xiàn)有的不平等，到操縱及偽造信息，到失去對AI系統(tǒng)的控制，甚至可能導(dǎo)致人類滅絕”！

一、公開信：不簽協(xié)議、匿名發(fā)聲、支持批評、反對報(bào)復(fù)

公開信提到，OpenAI等人工智能公司有強(qiáng)烈的財(cái)務(wù)動機(jī)避免有效的監(jiān)督，僅憑這些公司的“自律”分享相關(guān)的風(fēng)險(xiǎn)信息幾乎是“天方夜譚”。

因此，爭取員工的警告權(quán)是必要的。他們在信的主體內(nèi)容中提出了“警告權(quán)”的四條原則：

公司不會簽訂或執(zhí)行任何禁止因與風(fēng)險(xiǎn)相關(guān)的擔(dān)憂而“詆毀”或批評公司的協(xié)議，也不會因與風(fēng)險(xiǎn)相關(guān)的批評而報(bào)復(fù)，阻礙任何既得經(jīng)濟(jì)利益；

• 公司將為現(xiàn)任和前員工提供一個(gè)可驗(yàn)證的匿名程序，可以向公司董事會、監(jiān)管機(jī)構(gòu)和具有相關(guān)專業(yè)知識的相關(guān)獨(dú)立組織提出與風(fēng)險(xiǎn)相關(guān)的擔(dān)憂；

• 公司將支持開放批評的文化，并允許其現(xiàn)任和前員工向公眾、公司董事會、監(jiān)管機(jī)構(gòu)或具有相關(guān)專業(yè)知識的相關(guān)獨(dú)立組織提出與其技術(shù)相關(guān)的與風(fēng)險(xiǎn)相關(guān)的擔(dān)憂，只要適當(dāng)保護(hù)公司商業(yè)機(jī)密和其他知識產(chǎn)權(quán)利益；

• 公司不會報(bào)復(fù)那些現(xiàn)任和前員工，當(dāng)其他發(fā)聲渠道失靈時(shí)，他們應(yīng)該被允許公開分享與風(fēng)險(xiǎn)相關(guān)的機(jī)密信息。我們同意，公開表達(dá)對AI風(fēng)險(xiǎn)的擔(dān)憂時(shí)應(yīng)該避免發(fā)布不必要的機(jī)密信息。因此，一旦存在一個(gè)適當(dāng)?shù)某绦?，允許匿名向公司董事會、監(jiān)管機(jī)構(gòu)和具有相關(guān)專業(yè)知識的相關(guān)獨(dú)立組織提出擔(dān)憂，我們接受應(yīng)該通過這樣的程序匿名提出擔(dān)憂。然而，只要這樣的程序不存在，現(xiàn)任和前員工應(yīng)該保留向公眾報(bào)告他們擔(dān)憂的自由。

圖片

OpenAI在給媒體的回應(yīng)中表示，公司為其“提供最有能力和最安全的AI系統(tǒng)并相信我們科學(xué)的方法來處理風(fēng)險(xiǎn)”的記錄感到自豪。發(fā)言人補(bǔ)充說：“我們同意，鑒于這項(xiàng)技術(shù)的重要性，進(jìn)行嚴(yán)格的辯論至關(guān)重要，我們將繼續(xù)與政府、民間社會和世界各地的其他社區(qū)進(jìn)行交流?！?/p>

二、13人聯(lián)名“上書”，7人實(shí)名警告

為“A Right to Warn about Advanced Artificial Intelligence”聯(lián)名寫信的13名員工中，有11位來自O(shè)penAI，其中有7位前員工和4位現(xiàn)任員工。其他兩位為谷歌DeepMind的現(xiàn)員工和前員工各一人。

在13中，共有7位勇士實(shí)名寫信，他們對AI安全的責(zé)任感和對公眾福祉的追求讓人動容。

1.Jacob Hilton,formerly OpenAI

Jacob Hilton是OpenAI的前研究員，他曾承擔(dān)了各種強(qiáng)化學(xué)習(xí)相關(guān)課題的研究，例如語言模型（ChatGPT、WebGPT 和 TruthfulQA）的真實(shí)性、RL 的縮放規(guī)律和過度優(yōu)化等項(xiàng)目。

周二簽署這封信后，他在X上分享了自己的經(jīng)歷，一年多前，當(dāng)他離開OpenAI時(shí)，他就曾簽署過那份臭名昭著的“非貶損協(xié)議”。當(dāng)時(shí)，為了自身的利益，他簽署了這一規(guī)定，并按照要求對協(xié)議本身保密。

圖片

他肯定了奧特曼將該協(xié)議取消的規(guī)定，但他提到“員工可能仍然擔(dān)心披露的其他形式的報(bào)復(fù)，例如被解雇并因損害而被起訴?！?/p>

圖片

離開OpenAI后，他加入了對齊研究中心（ARC），繼續(xù)關(guān)注AI安全工作。對齊研究中心是一家非營利性研究機(jī)構(gòu)，其使命是使未來的機(jī)器學(xué)習(xí)系統(tǒng)與人類利益相一致。

2.Daniel Kokotajlo,formerly OpenAI

Daniel Kokotajlo是 OpenAI 的前工程師。和其他人不同，Daniel是一位哲學(xué)博士，加入OpenAI之前曾在AI Impacts，以及Center on Long-Term Risk（長期風(fēng)險(xiǎn)中心）工作。這就不難理解他所持有的立場。

長期以來，Daniel對壓制研究人員的聲音以及開發(fā) AGI 的潛在風(fēng)險(xiǎn)表示擔(dān)憂。因此，他冒著在 60 天內(nèi)失去既得股權(quán)的風(fēng)險(xiǎn)，毅然決然地拒絕了在非貶損條款上簽字。

圖片

3.Ramana Kumar,formerly Google DeepMind

拉馬納-庫馬爾（Ramana Kumar）是一名高級研究員，曾在谷歌 DeepMind 工作。他因在人工智能安全、形式驗(yàn)證和交互式定理證明方面的貢獻(xiàn)而聞名。

今年3月，他剛發(fā)表了名為《評估前沿模型的危險(xiǎn)能力》的論文。

圖片

4.Neel Nanda,currently Google DeepMind, formerly Anthropic

尼爾-南達(dá)（Neel Nanda）是實(shí)名上信的唯一一位在職員工，目前是倫敦谷歌 DeepMind 的研究工程師，在機(jī)制可解釋性團(tuán)隊(duì)工作。在此之前，他擁有多段學(xué)術(shù)研究經(jīng)歷，他曾作為技術(shù)人員在克里斯-奧拉（Chris Olah）領(lǐng)導(dǎo)下研究語言模型的可解釋性。

圖片

5.William Saunders,formerly OpenAI

威廉-桑德斯（William Saunders）是 OpenAI 的前安全研究員，也是超級對齊團(tuán)隊(duì)的元老級人物，于 2024 年 2 月辭職。

他加入2021年加入Alignment 團(tuán)隊(duì)時(shí)，該團(tuán)隊(duì)還沒被命名為“超級對齊”。根據(jù)他的領(lǐng)英主頁，William主要從事可擴(kuò)展的監(jiān)督工作，是開發(fā)批評技術(shù)的團(tuán)隊(duì)成員之一，該技術(shù)用于使用語言模型發(fā)現(xiàn)其他語言模型中的錯(cuò)誤。

之后，他被提升為管理一個(gè) 4 人團(tuán)隊(duì)的負(fù)責(zé)人，該團(tuán)隊(duì)致力于理解語言模型在上下文中的特征，最終發(fā)布了開源的 "transformer 調(diào)試器 "工具。

圖片

6.Carroll Wainwright,formerly OpenAI

Carroll在OpenAI工作了近三年之久。

從領(lǐng)英主頁發(fā)現(xiàn)，他一直有份“副業(yè)”，即 Metaculus 公司的聯(lián)合創(chuàng)始人。該公司是一個(gè)以公共利益為導(dǎo)向的組織，提供一個(gè)預(yù)測技術(shù)，它能以最佳方式匯總對未來事件的定量預(yù)測，其使命是“建設(shè)認(rèn)識論基礎(chǔ)設(shè)施，使全球社會能夠模擬、理解、預(yù)測和駕馭世界上最重要、最復(fù)雜的挑戰(zhàn)。”

圖片

7.Daniel Ziegler,formerly OpenAI

丹尼爾-齊格勒（Daniel Ziegler）是 OpenAI 的前工程師，曾于 2018 年至 2021 年在 OpenAI 工作。離開OpenAI后，Daniel繼續(xù)進(jìn)行人工智能對齊的研究工作，領(lǐng)導(dǎo) Redwood Research 的對抗訓(xùn)練團(tuán)隊(duì)。

他也是一位長期關(guān)注公共利益的人，在學(xué)生期間，我參與創(chuàng)立了麻省理工學(xué)院的有效利他主義（Effective Altruism）組織，并在 2017 年畢業(yè)前運(yùn)營了一年。

圖片

三、風(fēng)險(xiǎn)重重：2027或?qū)崿F(xiàn)AGI，但人類還沒準(zhǔn)備好

在信中參與聯(lián)名的Daniel Kokotajlo表示，他擔(dān)心AI公司及整個(gè)社會是否準(zhǔn)備好了迎接AGI，這是AI的一種假設(shè)版本——即AI可以在許多任務(wù)上超越人類。Kokotajlo表示，他認(rèn)為到2027年達(dá)到AGI的可能性為50%。

Kokotajlo說：“沒有什么真正阻止公司構(gòu)建AGI并將其用于各種事情，而且透明度不高?！彼爸艞壒蓹?quán)的風(fēng)險(xiǎn)，未在不詆毀協(xié)議上簽字?！拔肄o職是因?yàn)槲矣X得我們還沒有準(zhǔn)備好。我們作為一個(gè)公司沒有準(zhǔn)備好，我們作為一個(gè)社會對這個(gè)問題沒有準(zhǔn)備好，我們需要真正投入更多的準(zhǔn)備和思考其含義。”

這封聯(lián)名信是否可以作為一個(gè)支點(diǎn)，撬動OpenAI這樣的龐然大物？

Ilya的盟友、因?yàn)椤靶姑苁录北唤夤偷腖eopold，在前日發(fā)出165頁的系列長文，以論述AGI 戰(zhàn)略圖景。

圖片

完整PDF地址：https://situational-awareness.ai/wp-content/uploads/2024/06/situationalawareness.pdf

在扉頁他非常鄭重地寫到“獻(xiàn)給Ilya”，同時(shí)無不謹(jǐn)慎地說“盡管我曾經(jīng)在OpenAI工作，但所有這些都是基于公開可獲得的信息、我自己的想法、一般領(lǐng)域的知識，或者是科幻小說的閑談?！?/p>

圖片

在長文中，Leopold提出了一種避免盲目樂觀和悲觀的“AGI現(xiàn)實(shí)主義”，其中有三個(gè)原則：

• 超級智能是國家安全問題。我們正在迅速建造比最聰明的人類還要聰明的機(jī)器……它將是人類有史以來建造的最強(qiáng)大的武器。

• 美國必須掌握AGI的領(lǐng)導(dǎo)權(quán)（編者注：本條為Leopold基于自身立場出發(fā)，僅作翻譯）。人工智能實(shí)驗(yàn)室必須把國家利益放在首位。

• 我們可以不搞砸它。認(rèn)識到超級智能的力量也意味著認(rèn)識到它的危險(xiǎn)。…… 隨著加速的加劇，我只希望討論變得更加尖銳。但我最大的希望是，那些能感受到AGI即將到來有多么重量的人，能將其視為莊嚴(yán)的職責(zé)召喚。