Mark Nitzberg：今天我們很榮幸邀請到兩位人工智能的頂級專家來參與本次 SafeAI 研討會。

他們分別是：Stuart Russell，加州大學(xué)伯克利分校計算機科家，類兼容人工智能中心（CHAI）主任，人工智能研究實驗室指導(dǎo)委員會（BAIR）成員。世界經(jīng)濟論壇人工智能和機器人委員會副主席，AAAS Fellow，AAAI Fellow。

朱松純，北京通用人工智能研究院院長，北京大學(xué)講席教授，北京大學(xué)智能學(xué)院、人工智能研究院院長，清華大學(xué)基礎(chǔ)科學(xué)講席教授。

Mark Nitzberg：什么是 "通用人工智能"？是否有一個定義明確的測試可以確定我們何時創(chuàng)造了它？

Stuart Russell：通用人工智能被描述為可以完成人類能夠完成的所有任務(wù)，但這只是一個大概的說法。我們希望通用人工智能能夠做到人類無法做到的事情，例如匯總所有知識或者模擬復(fù)雜的粒子相互作用等等。

為了研究通用人工智能，我們可以從具體任務(wù)的基準 (Benchmarks) 轉(zhuǎn)向任務(wù)環(huán)境的一般屬性，比如部分可觀察性、長時程、不可預(yù)測性等等，并問自己是否有能力為這些屬性提供完整的解決方案。如果我們有這種能力，通用人工智能就應(yīng)該能夠自動地完成人類可以完成的任務(wù)，并且還有能力完成更多的任務(wù)。雖然有一些測試 (比如 BigBench) 聲稱可以測試通用性，但它們并沒有包含那些人工智能系統(tǒng)無法接近的任務(wù)，例如 “你能發(fā)明一個引力波的探測器嗎？”

朱松純：幾年前，很多人認為實現(xiàn)通用人工智能是一個遙不可及的目標，然而最近 ChatGPT 的火爆讓大家又充滿了期待，覺得通用人工智能似乎觸手可及了。我在中國組建北京通用人工智能研究院 (BIGAI) 這一新型研發(fā)機構(gòu)時，特別決定將 AGI 作為機構(gòu)名稱的一部分，以區(qū)別于專用的人工智能。通院的 “通” 字正是由 “A”“G”“I” 三個字母組成。根據(jù)“通”字發(fā)音，我們也把通用人工智能稱作TongAI。

通用人工智能是人工智能研究的初心和終極目標。目標是實現(xiàn)具有自主的感知、認知、決策、學(xué)習(xí)、執(zhí)行和社會協(xié)作能力，符合人類情感、倫理與道德觀念的通用智能體。然而，在過去的 20-30 年中，人們用海量的分門別類的數(shù)據(jù)來一個個解決人臉識別、目標檢測、文本翻譯等任務(wù)，這帶來了一個問題，那就是完成多少任務(wù)才算是通用？

我認為實現(xiàn)通用人工智能需要滿足三個關(guān)鍵要求。1）通用智能體能夠處理無限任務(wù)，包括那些在復(fù)雜動態(tài)的物理和社會環(huán)境中沒有預(yù)先定義的任務(wù)；2）通用智能體應(yīng)該是自主的，也就是說，它應(yīng)該能夠像人類一樣自己產(chǎn)生并完成任務(wù)；3）通用智能體應(yīng)該具有一個價值系統(tǒng)，因為它的目標是由價值定義的。智能系統(tǒng)是由具有價值系統(tǒng)的認知架構(gòu)所驅(qū)動的。

Mark Nitzberg：你們認為大型語言模型（LLMs）以及其他基礎(chǔ)型能夠?qū)崿F(xiàn)通用人工智能嗎？斯坦福大學(xué)教授最近撰寫的一篇論文聲稱，語言模型可能具有與 9 歲兒童相當?shù)男睦頎顟B(tài)。你們對這種說法有什么看法？

朱松純：雖然大型語言模型已經(jīng)取得了一些驚人的進展，但如果我們比較上述三個標準，就會發(fā)現(xiàn)大型語言模型還不符合通用人工智能的要求。

1） 大型語言模型在處理任務(wù)方面的能力有限，它們只能處理文本領(lǐng)域的任務(wù)，無法與物理和社會環(huán)境進行互動。這意味著像 ChatGPT 這樣的模型不能真正 “理解” 語言的含義，因為它們沒有身體來體驗物理空間。中國的哲學(xué)家早就認識到 “知行合一” 的理念，即人對世界的 “知” 是建立在 “行” 的基礎(chǔ)上的。這也是通用智能體能否真正進入物理場景和人類社會的關(guān)鍵所在。只有將人工智能體放置于真實的物理世界和人類社會中，它們才能切實了解并習(xí)得真實世界中事物之間的物理關(guān)系和不同智能體之間的社會關(guān)系，從而做到 “知行合一”。

2） 大型語言模型也不是自主的，它們需要人類來具體定義好每一個任務(wù)，就像一只 "巨鸚鵡"，只能模仿被訓(xùn)練過的話語。真正自主的智能應(yīng)該類似于 “烏鴉智能”，烏鴉能夠自主完成比現(xiàn)如今的 AI 更加智能的任務(wù)，當下的 AI 系統(tǒng)還不具備這種潛能。

3） 雖然 ChatGPT 已經(jīng)在不同的文本數(shù)據(jù)語料庫上進行了大規(guī)模訓(xùn)練，包括隱含人類價值觀的文本，但它并不具備理解人類價值或與人類價值保持一致的能力，即缺乏所謂的道德指南針。

關(guān)于論文發(fā)現(xiàn)語言模型可能具有與 9 歲兒童相當?shù)男睦頎顟B(tài)這件事，我認為這有些夸大其詞了，這篇論文通過一些實驗測試發(fā)現(xiàn)，GPT-3.5 可以正確回答 93% 的問題，相當于 9 歲兒童水平。但是，如果一些基于規(guī)則的機器也可以通過類似的測試，那我們可以說這些機器就有心智理論了嗎？即使 GPT 能夠通過這個測試，也只是體現(xiàn)了它具備通過這個心智理論測試的能力，并不能說明它具有心智理論，同時我們也要反思：用這些傳統(tǒng)測試任務(wù)來驗證機器是否發(fā)展出心智理論的做法是否嚴謹合法？為何機器可以不用心智理論就能完成這些任務(wù)？

Stuart Russell：在 1948 年的一篇論文中，圖靈提出了從一個巨大的查找表中生成智能為的問題。這并不實際，因為如果要生成 2000 個單詞，就需要一個包含約 10^10000 個條目的表來存儲所有的可能序列，就像利用 transformer 的大型語言模型的窗口大小一樣。這樣的系統(tǒng)可能看起來非常聰明，但實際上它缺乏心理狀態(tài)和推理過程（經(jīng)典人工智能系統(tǒng)的基本意義）。 

實際上，并沒有證據(jù)表明 ChatGPT 擁有任何心理狀態(tài)，更不用說類似于 9 歲孩子的心理狀態(tài)了。LLMs 缺乏學(xué)習(xí)和表達復(fù)雜概括的能力，這就是為什么它們需要大量的文本數(shù)據(jù)，遠遠超過任何 9 歲孩子所能接受的范圍，而且它們?nèi)匀粫a(chǎn)生錯誤。這就好像一個下棋程序，通過識別以前大師級比賽中的相似棋步序列（如 d4、c6、Nc3 等），然后輸出該序列中的下一步棋。盡管大多數(shù)情況下你會認為它是一個大師級的棋手，但是它會偶爾下出違規(guī)的棋步，因為它并不知道棋盤和棋子，也不知道目標是把對手將死。

在某種程度上，ChatGPT 在每個領(lǐng)域都是如此。我們不確定是否有任何領(lǐng)域是它真正理解的。一些錯誤可能會被修正，但這就像修正對數(shù)函數(shù)值表中的錯誤一樣。如果一個人只理解 "log" 是指 "第 17 頁表格中的數(shù)值"，那么修正錯別字并不能解決這個問題。這張表還沒有涵蓋 "對數(shù)" 的含義和定義，因此它根本無法推斷。用更多的數(shù)據(jù)擴大表的規(guī)模并不能解決這個問題的根本。

Mark Nitzberg：Stuart，你是最早警告我們通用人工智能給人生存帶來風(fēng)險的人之一，認為它像核能源。為什么你會這樣認為？我們怎樣才能防止這種情況？松純，你最關(guān)心的來自人工智能的風(fēng)險是什么？ 

Stuart Russell：事實上，圖靈是最早提出警告的人之一。他在 1951 年說道：“一旦機器開始思考，很快就能超越我們。因此，在某個時候，我們應(yīng)該期望機器能夠被掌控。" 因為當一個比人類更強大的智能體出現(xiàn)時，人類很難維持權(quán)力，特別是當這些智能體具有不正確或不完整的目標時。

如果有人認為現(xiàn)在考慮這些風(fēng)險是危言聳聽，你可以直接問他們：你如何在比人類更強大的智能體面前永遠保持權(quán)力？我很想聽聽他們的回答。此外，在人工智能領(lǐng)域，還有一些人試圖回避這個問題，否認 AGI 的可實現(xiàn)性，卻沒有提供任何證據(jù)。

歐盟人工智能法案中定義了一種標準的人工智能系統(tǒng)，它們能夠根據(jù)人類定義的目標，實現(xiàn)這些目標。有人告訴我，這個標準來自經(jīng)合組織，經(jīng)合組織的人告訴我這來自我的教科書早期版本。現(xiàn)在，我認為標準的人工智能系統(tǒng)這一定義從根本上是有缺陷的，因為我們無法完全準確地說明我們希望人工智能在現(xiàn)實世界中做什么，也無法準確描述我們希望未來是什么樣子。一個追求不正確目標的人工智能系統(tǒng)將會帶來我們不想要的未來。

社交媒體中的推薦系統(tǒng)提供了一個例子 —— 推薦系統(tǒng)試圖最大限度地提高點擊率或參與度，它們已經(jīng)學(xué)會了通過操縱人類來做到這一點，通過一連串的提示將人類變成更可預(yù)測的、顯然是更極端的自己的版本。讓人工智能變得 “更好” 只會讓人類的結(jié)果變得更糟。

相反，我們需要建立人工智能系統(tǒng)，1）只以人類利益為目標，2）明確它們不知道這意味著什么。由于人工智能不了解人類利益的真正含義，它必須對人類的偏好保持不確定性，以確保我們對它保持控制。當機器不確定人類的偏好時，機器應(yīng)該可以被關(guān)閉。一旦人工智能的目標不再有任何不確定性，人類就成了犯錯的人，機器將不會再被關(guān)閉。

朱松純：如果通用人工智能成為現(xiàn)實，從長遠來看，它們可能會對人類的生存成威脅。我們可以通過回顧漫長的智能進化史推測到，通用人工智能的誕生幾乎是不可避免的。

現(xiàn)代科學(xué)研究表明，地球上的生命體在不斷進化，從無機物到有機物、單細胞、多細胞生物，再到植物、動物，最后進化到人類這樣的智慧生物。這揭示了從 “物理” 到 “智能” 是一個連續(xù)的演化過程。從無生命的物體到有生命的智能，邊界在哪里？這個問題非常重要，因為它關(guān)乎如何理解與定義未來社會與我們共存的 “智能體”，我認為這個答案和 “生命度” 相關(guān)，從無生命到簡單生命體再到復(fù)雜智能體，“生命度” 越來越大，“智能” 也越來越復(fù)雜，這是一個連續(xù)的頻譜，我們沒有理由認為人類會是這個進化頻譜的終點，這也預(yù)示了未來通用智能體超過人類是有可能的。

為了預(yù)防未來的通用人工智能給人類帶來威脅，我們可以逐步放開通用智能體的能力空間和價值空間。就像我們面對機器人這樣，一開始把它關(guān)在 “籠子” 里，慢慢打開權(quán)限，現(xiàn)在特定路段已經(jīng)出現(xiàn)了無人駕駛車輛。我們可以先將人工智能系統(tǒng)的適用場合和行動空間限制在特定區(qū)域內(nèi)。隨著我們對機器的信任的增加，確認 AI 系統(tǒng)安全可控后，再逐步給予它們更大的空間。另外，我們應(yīng)該促進算法決策過程的透明度。如果我們能夠外顯地表示通用人工智能的認知架構(gòu)，從而知道它是如何工作的，就能更好地控制它。

Mark Nitzberg：Stuart，在你的研究工作中，有哪些方向可以看作是對齊研究？

Stuart Russell：我們在 CHAI 的核心目標是為了實現(xiàn)上述的愿景，即構(gòu)建一個能夠處理目標不確定性的人工智能系統(tǒng)。已有的方法，可能除了模仿學(xué)習(xí)，都向人工智能系統(tǒng)事先假定了一個固定已知的目標，所以這些方法可能會需要被重新設(shè)計。

簡言之，我們正在嘗試模擬一個多人和多機器互動的系統(tǒng)。由于每個人都有自的偏好，但機器可以影響多人，因此我們將機器的效用函數(shù)定義為人的效用函數(shù)的總和。但是，我們面臨三個問題。

第一個問題是如何將不同人的偏好聚合起來，以便機器能夠理解和滿足大多數(shù)人的需求。有人提出加法可能是一個好的聚合函數(shù)，因為每個人享有相同的權(quán)重，并且具有很好的形式感，這在經(jīng)濟學(xué)家 John Harsanyi 和其他人的工作中被很好地論證。但肯定還有別的觀點。

第二個問題是我們?nèi)绾伪碚髌媒Y(jié)構(gòu)的豐富性，即對宇宙的所有可能未來的分布的排序，這些是非常復(fù)雜的數(shù)據(jù)結(jié)構(gòu)，在人腦和機器都沒有被外顯地表征。因此，我們需要一些方法來對偏好進行有效地排序、分解和組合。

目前有一些 AI 研究試圖利用所謂的 “CP nets"來表征一些復(fù)雜的效用函數(shù)，CP Nets 對多屬性效用函數(shù)的分解方式與貝葉斯網(wǎng)對復(fù)雜的多變量概率模型的分解方式大致相同。然而，人工智能并沒有真正研究人類幸福感的內(nèi)容，鑒于該領(lǐng)域聲稱要幫助人類，這一點令人驚訝。在經(jīng)濟學(xué)、社會學(xué)、發(fā)展學(xué)等領(lǐng)域，確實有研究人類幸福感的學(xué)術(shù)社區(qū)，他們傾向于編制諸如健康、安全、住房、食物等因素的清單，這些清單主要是為了與其他人類溝通優(yōu)先事項和公共政策，可能沒有捕捉到許多" 顯而易見 " 的未說明的偏好，如 “想要腿腳健全”。據(jù)我所知，這些研究人員還沒有開發(fā)出一種科學(xué)理論來預(yù)測人類行為，但是對于人工智能來說，我們需要完整的人類偏好結(jié)構(gòu)，包括所有可能的未說明偏好；如果我們錯過了任何重要的東西，可能會導(dǎo)致問題。

第三個問題是如何從人類行為中推斷出偏好，并表征人類偏好的可塑性。如果偏好隨著時間的推移而改變，那么人工智能是為誰工作 —— 今天的你還是明天的你？我們不希望人工智能改變我們的偏好，以符合容易實現(xiàn)的世界狀態(tài)，這樣會導(dǎo)致世界失去多樣性。

除了這些基本的研究問題，我們還在思考如何在更廣泛的基礎(chǔ)上重建所有那些假定人工智能系統(tǒng)在前期被賦予完全已知目標的人工智能技術(shù)（搜索算法、規(guī)劃算法、動態(tài)編程算法、強化學(xué)習(xí)等等）。新系統(tǒng)的一個關(guān)鍵屬性是系統(tǒng)運行時從人類流向機器的偏好信息。這在現(xiàn)實世界中是非常正常的。例如，我們要求出租車司機 "帶我們?nèi)C場"。這實際上是一個比我們的真實目標更廣泛的目標。當我們在一英里之外時，司機會問我們需要哪個航站樓。當我們越來越近時，司機可能會問哪家航空公司，以便把我們送到正確的門口。(但不是確切的離門多少毫米！) 所以我們需要定義最適合于某一類算法的不確定性和偏好轉(zhuǎn)移的形式；例如，搜索算法使用一個成本函數(shù)，所以機器可以假設(shè)該函數(shù)的界限，并詢問人類兩個行動序列中哪個更合適，從而完善該界限。

一般來說，機器總是有關(guān)于人類偏好的大量不確定性；由于這個原因，我認為在這個領(lǐng)域經(jīng)常使用的術(shù)語 "對齊" 可能會產(chǎn)生誤導(dǎo)，因為人們傾向于認為它意味著 "首先完全對齊機器和人類的偏好，然后選擇做什么"?？赡苁聦嵣喜⒉皇侨绱?。

Mark Nitzberg：松純，請介紹一下你們做的價值對齊研究。

朱松純：談?wù)搩r值對齊，首先要探討一下 “價值”，我認為當下的人工智能研究應(yīng)該由數(shù)據(jù)驅(qū)動轉(zhuǎn)變?yōu)閮r值驅(qū)動。人的各種智能行為是由價值所驅(qū)動的，人能夠快速理解和學(xué)習(xí)價值。例如，當你坐在椅子上時，我們可以通過椅子和身體接觸的受力分析，觀察平衡態(tài)，從而隱含地推斷出 “舒適性” 這一價值。這一價值人可能無法用語言來準確描述，但和椅子交互卻可以表達。我們還可以通過疊衣服的方式來了解人的美學(xué)價值。

此外我認為價值系統(tǒng)有一套統(tǒng)一的表征，目前偏好的豐富性是因為統(tǒng)一的價值在不同條件上的映射。我們的價值會隨著情況的不同而改變，舉個例子，一輛公交車到站，如果你在等車，你可能希望公交車停留時間長一點，讓你上去；而如果你在車上，你可能希望門立刻關(guān)上。人工智能系統(tǒng)必須能夠快速地適應(yīng)我們偏好的改變，因此，價值驅(qū)動的認知架構(gòu)對人工智能而言是必不可少的。

為達到人類認知水平的通用智能，我們在 BIGAI 的研究中納入了價值對齊這一要素，并構(gòu)建了包含四個對齊的人機交互系統(tǒng)。第一個對齊是一個共享的表征，包括對世界的共同理解。第二個對齊是共享的核心知識，如物理常識、因果鏈和邏輯等。第三個對齊是共享的社會規(guī)范，規(guī)定了 AI 要遵循人類社會的規(guī)范，保持適當?shù)男袨?。第四個對齊是共享的價值觀，即 AI 需要與人類的道德原則保持一致。

我們發(fā)表了實時雙向人機價值對齊研究（Bidirectional human-robot value alignment）。這項研究提出了一個可解釋的人工智能系統(tǒng)。在該系統(tǒng)中，一組機器人通過與用戶的即時交互并通過用戶的反饋來推斷用戶的價值目標，同時通過 “解釋” 將其決策過程傳達給用戶，讓用戶了解機器人做出判斷的價值依據(jù)。此外，該系統(tǒng)通過推測用戶的內(nèi)在價值偏好，并預(yù)測了最佳的解釋方式，生成用戶更容易理解的解釋。

Mark Nitzberg：AI 系統(tǒng)的哪些特征讓我們判斷它們不會通向通用人工智能？

朱松純：我們?nèi)绾闻袛嘁粋€ AI 是否是通用人工智能，其中一個重要的因素就是我們對它的信任程度。信任有兩個層次：一是對 AI 能力的信任，二是對 AI 是否對人的情感和價值有益的信任。比如，現(xiàn)在的人工智能系統(tǒng)可以很好地識別圖片，但要建立信任，它們必須是可解釋和可理解的。一些技術(shù)很厲害，但是不能被解釋，也會被認為是不可信的。這在武器或航空系統(tǒng)等領(lǐng)域尤其重要，因為在這些領(lǐng)域犯錯的代價很嚴重。在這種情況下，信任的情感維度更為重要，AI 需要解釋它們是如何做出決策的，才能被人類信任。因此我們需要通過人機之間的迭代、交流、協(xié)作增進互相理解，進而達成共識，產(chǎn)生 “有依據(jù)的信任”(Justified Trust)。

進一步思考，追問什么是通用人工智能本質(zhì)上就是在追問什么是 “人”？每個人都是一個通用智能體。我們提出了一套 UV 雙系統(tǒng)驅(qū)動的理論來解釋通用人工智能體。U 系統(tǒng)是勢能函數(shù)，包含了智能體所掌握的客觀物理定律、社會規(guī)范；V 系統(tǒng)包含了智能體的價值函數(shù)的集合，參考了馬斯洛的需求層次理論和發(fā)展心理學(xué)的研究，我們將價值進行了大致分類?；?UV 雙系統(tǒng)，我們嘗試對通用人工智能的發(fā)展水平進行測評，形成 L1 到 L5 的不同標準，這套測試系統(tǒng)將于今年發(fā)布。

Stuart Russell：目前的人工智能系統(tǒng)沒有通用性，因為電路無法很好地捕捉通用性。我們已經(jīng)在大型語言模型很難學(xué)習(xí)算術(shù)的基本規(guī)則中看到了這一點。我們最新的研究發(fā)現(xiàn)，盡管有數(shù)百萬個例子，之前擊敗人類的人工智能圍棋系統(tǒng)還是無法正確理解 “大龍” 和 “死活” 的概念，我們作為業(yè)余圍棋選手的研究員開發(fā)出了一套策略，戰(zhàn)勝了圍棋程序。

如果我們有信心人工智能對人類有益，那么我們就需要知道它是如何工作的。我們需要將人工智能系統(tǒng)建立在一個語義上可組合的基質(zhì) (substrate) 上，該基質(zhì)由明確的邏輯和概率理論支持，從而作為一個良好的基礎(chǔ)，以將來實現(xiàn)通用人工智能。創(chuàng)建這種系統(tǒng)的一個可能方法是概率編程，也是我們在 CHAI 最近希望探索的?？吹剿杉円苍?BIGAI 探索相似的方向，讓我感到很受鼓舞。