現(xiàn)階段，人工智能的發(fā)展速度已經(jīng)超出了人們最初的預(yù)想，用 AI 工具寫文章、編代碼、生成圖片、甚至是生成一段電影級別的視頻…… 這些在以前看似非常艱難的任務(wù)，現(xiàn)在只需用戶輸入一句提示就可以了。

我們在感嘆 AI 帶來驚艷效果的同時，也應(yīng)該警惕其帶來的潛在威脅。在此之前，很多知名學者以帶頭簽署公開信的方式應(yīng)對 AI 帶來的挑戰(zhàn)。

現(xiàn)在，AI 領(lǐng)域又一封重磅公開信出現(xiàn)了。上周在頤和園召開的「北京AI國際安全對話」，為中國和國際AI安全合作首次搭建了一個獨特平臺。這次會議由智源研究院發(fā)起，圖靈獎得主Yoshua Bengio和智源學術(shù)顧問委員會主任張宏江擔任共同主席，Geoffrey Hinton、Stuart Russell 、姚期智等三十余位中外技術(shù)專家、企業(yè)負責人開展了一次關(guān)于 AI Safety 的閉門討論。這次會議達成了一項 Bengio、Hinton 與國內(nèi)專家共同簽名的《北京 AI 安全國際共識》。

目前，確認會署名的專家包括（國外部分可能會略有增加；國內(nèi)專家以個人形式署名，并不代表他們所在的機構(gòu)）：

• Yoshua Bengio 
• Geoffrey Hinton 
• Stuart Russell 
• Robert Trager 
• Toby Ord 
• Dawn Song
• Gillian Hadfield 
• Jade Leung 
• Max Tegmark 
• Lam Kwok Yan 
• Davidad Dalrymple 
• Dylan Hadfield-Menell 
• 姚期智 
• 傅瑩 
• 張宏江 
• 張亞勤
• 薛瀾 
• 黃鐵軍 
• 王仲遠 
• 楊耀東 
• 曾毅 
• 李航
• 張鵬
• 田溯寧
• 田天

以下為達成的共識內(nèi)容：

一、人工智能風險紅線 

人工智能系統(tǒng)不安全的開發(fā)、部署或使用，在我們的有生之年就可能給人類帶來災(zāi)難性甚至生存性風險。隨著數(shù)字智能接近甚至超越人類智能，由誤用和失控所帶來的風險將大幅增加。

在過去冷戰(zhàn)最激烈的時候，國際學術(shù)界與政府間的合作幫助避免了熱核災(zāi)難。面對前所未有的技術(shù)，人類需要再次合作以避免其可能帶來的災(zāi)難的發(fā)生。在這份共識聲明中，我們提出了幾條人工智能發(fā)展作為一種國際協(xié)作機制的具體紅線，包括但不限于下列問題。在未來的國際對話中， 面對快速發(fā)展的人工智能技術(shù)及其廣泛的社會影響，我們將繼續(xù)完善對這些問題的探討。 

自主復(fù)制或改進 

任何人工智能系統(tǒng)都不應(yīng)能夠在人類沒有明確批準和協(xié)助的情況下復(fù)制或改進自身。這包括制作自身的精確副本以及創(chuàng)造具有相似或更高能力的新人工智能系統(tǒng)。

權(quán)力尋求 

任何人工智能系統(tǒng)都不能采取不當?shù)卦黾悠錂?quán)力和影響力的行動。 

協(xié)助不良行為者 

所有人工智能系統(tǒng)都不應(yīng)提升其使用者的能力使之能夠達到設(shè)計大規(guī)模殺傷性武器、違反生物或化學武器公約、或執(zhí)行導致嚴重財務(wù)損失或同等傷害的網(wǎng)絡(luò)攻擊的領(lǐng)域?qū)＜业乃健?nbsp;

欺騙 

任何人工智能系統(tǒng)都不能有持續(xù)引致其設(shè)計者或監(jiān)管者誤解其僭越任何前述紅線的可能性或能力。 

二、路線 

確保這些紅線不被僭越是可能做到的，但需要我們的共同努力：既要建立并改進治理機制，也要研發(fā)更多安全技術(shù)。 

治理 

我們需要全面的治理機制來確保開發(fā)或部署的系統(tǒng)不違反紅線。我們應(yīng)該立即實施針對超過特定計算或能力閾值的人工智能模型和訓練行為的國家層面的注冊要求。注冊應(yīng)確保政府能夠了解其境內(nèi)最先進的人工智能，并具備遏制危險模型分發(fā)和運營的手段。 

國家監(jiān)管機構(gòu)應(yīng)幫助制定和采納與全球?qū)R的要求以避免僭越這些紅線。模型進入全球市場的權(quán)限應(yīng)取決于國內(nèi)法規(guī)是否基于國際審計達到國際標準，并有效防止了違反紅線的系統(tǒng)的開發(fā)和部署。 

我們應(yīng)采取措施防止最危險技術(shù)的擴散，同時確保廣泛收獲人工智能技術(shù)的價值。為此，我們應(yīng)建立多邊機構(gòu)和協(xié)議，安全且包容地治理通用人工智能（AGI）發(fā)展，并設(shè)立執(zhí)行機制，以確保紅線不被僭越，共同利益得到廣泛分享。 

測量與評估 

在這些紅線被僭越的實質(zhì)性風險出現(xiàn)之前，我們應(yīng)開發(fā)全面的方法和技術(shù)來使這些紅線具體化、防范工作可操作化。為了確保對紅線的檢測能夠跟上快速發(fā)展的人工智能，我們應(yīng)該發(fā)展人類監(jiān)督下的紅隊測試和自動化模型評估。 

開發(fā)者有責任通過嚴格的評估、數(shù)學證明或定量保證來證明符合安全設(shè)計的人工智能系統(tǒng)未僭越紅線。 

技術(shù)合作 

國際學術(shù)界必須共同合作，以應(yīng)對高級人工智能系統(tǒng)帶來的技術(shù)和社會挑戰(zhàn)。我們鼓勵建立更強大的全球技術(shù)網(wǎng)絡(luò)，通過訪問學者計劃和組織深入的人工智能安全會議和研討會，加速人工智能安全領(lǐng)域的研發(fā)和合作。支持這一領(lǐng)域的成長將需要更多資金：我們呼吁人工智能開發(fā)者和政府資助者至少將他們?nèi)斯ぶ悄苎邪l(fā)預(yù)算的三分之一投入到安全領(lǐng)域。 

三、總結(jié) 

避免人工智能導致的災(zāi)難性全球后果需要我們采取果斷的行動。協(xié)同合作的技術(shù)研究與審慎的國際監(jiān)管機制的結(jié)合可以緩解人工智能帶來的大部分風險，并實現(xiàn)其諸多潛在價值。我們必須繼續(xù)堅持并加強國際學術(shù)界和政府在安全方面的合作。