ChatGPT等大模型帶來的震撼技術(shù)革新，讓Geoffrey Hinton突然改變了自己的一個想法。

這位75歲的「人工智能教父」意識到，數(shù)字智能優(yōu)于生物智能的進程無法避免，超級智能很快就會到來，他必須要對其風(fēng)險發(fā)出警示，而人類需要找到一種方法來控制AI技術(shù)的發(fā)展。而在此之前，他一直認(rèn)為，智能機器人不會像人類一樣聰明，不會朝著AGI的方向發(fā)展。

為了自由探討AI風(fēng)險，Hinton最近辭任Google工程副總裁，今年正是他在那里工作的第十年。十年前，他與兩位學(xué)生Alex Krizhevsky、Ilya Sutskever（OpenAI首席科學(xué)家）成立的三人組公司DNN-research以4400萬美元賣給了Google，「天價」收購源自他們當(dāng)時提出了震動業(yè)界的AlexNet，它后來被視為新一輪深度學(xué)習(xí)的黃金時代的標(biāo)志，并且極大推動了AI領(lǐng)域的發(fā)展。

十年來，人工智能領(lǐng)域的眾多驚人突破背后都離不開深度學(xué)習(xí)，它是使得ChatGPT、AlphaGo等得以面世的基石。而Hinton作為深度學(xué)習(xí)領(lǐng)域眾多開創(chuàng)性突破的研究者，他的論文總共被引超50萬次，2019年，他還獲得了計算機科學(xué)領(lǐng)域的「諾貝爾獎」——圖靈獎。

功成名就之后，當(dāng)他看著當(dāng)前AI領(lǐng)域的顛覆式變革，卻也憂慮AI的黑暗面，聲稱自己有點后悔之前推動的AI研究工作，因為他幫助開發(fā)的技術(shù)可能會終結(jié)人類文明。

近期，在與強化學(xué)習(xí)大牛Pieter Abbeel的一次對話中，他詳細(xì)解釋了為什么要在此時呼吁重視AI的潛在風(fēng)險，以及數(shù)字智能進化帶來的挑戰(zhàn)，但他認(rèn)為，暫停開發(fā)AI的想法是幼稚的，最重要的是對AI技術(shù)開發(fā)過程進行監(jiān)管。

不過，對于如何通過技術(shù)解決AI對齊等挑戰(zhàn)，Hinton自嘲自己「廉頗老矣」，不適合做相關(guān)技術(shù)工作，而且他更喜歡研究算法，他現(xiàn)在能做的是利用自己的名聲給人類敲響AI的警鐘。

（以下內(nèi)容經(jīng)授權(quán)后由OneFlow編譯發(fā)布，譯文轉(zhuǎn)載請聯(lián)系OneFlow獲得授權(quán)。來源：https://www.youtube.com/watch?v=rLG68k2blOc&t=206s）

警惕AI的風(fēng)險

Pieter Abbeel：5月1日，《紐約時報》頭條報道了你已從Google離職的消息，你還提醒人們要警惕AI可能帶來的負(fù)面影響。從事AI研究多年，你為什么現(xiàn)在突然改變了對AI的態(tài)度？

Geoffrey Hinton：50年來，我一直在研究大腦是如何學(xué)習(xí)的：通過使用人工神經(jīng)網(wǎng)絡(luò)在數(shù)字計算機上制作模型，以及試圖弄清楚如何讓這些模型進行學(xué)習(xí)。我堅信，要使數(shù)字模型更好地工作，就必須讓它們更像大腦，但最近，我突然發(fā)現(xiàn)，與大腦相比，在數(shù)字計算機上運行的反向傳播算法可能是更好的學(xué)習(xí)算法。

原因如下：一年前發(fā)布的PaLM可以理解笑話的有趣之處，讓我很是震驚，因為這是我長期以來判斷模型是否智能的標(biāo)準(zhǔn)。然后又出現(xiàn)了ChatGPT和GPT-4等模型，其能力給人們留下了深刻印象。人類大約有一千萬億個權(quán)重，這些模型只有大約一萬億個權(quán)重，但它們掌握的知識卻遠(yuǎn)超人類，是人類的一千多倍，這表明，反向傳播在將大量信息壓縮到少量連接中很有優(yōu)越性，僅使用數(shù)萬億個連接就能容納大量信息。

之前，我認(rèn)為大腦可能有更好的學(xué)習(xí)算法，但現(xiàn)在不禁開始重新思考，數(shù)字系統(tǒng)可能具有大腦所沒有的優(yōu)勢，即可以在不同硬件上運行許多相同的模型。當(dāng)其中一個副本學(xué)習(xí)到新知識時，它可以通過傳遞權(quán)重變化的方式將這些知識傳達(dá)給其他副本，傳輸?shù)膸捒梢赃_(dá)到數(shù)萬億位。然而，對于人類而言，如果我們想要將學(xué)習(xí)內(nèi)容傳達(dá)給他人，那么被傳輸者可能需要改變權(quán)重，以便能夠與他人達(dá)成一致，并且每個句子只有幾百位的寬帶。相比人類，也許數(shù)字系統(tǒng)更擅長獲取知識，它們可以利用并行更好地工作。

Pieter Abbeel：從概念上看，似乎現(xiàn)有的預(yù)測下一個單詞的AI（ChatGPT等語言模型）與目標(biāo)導(dǎo)向型AI（AlphaGo等）之間仍有較大差距。也許我們能快速彌合這兩類AI之間的差距，但與預(yù)測型AI相比，目標(biāo)導(dǎo)向型AI仍處于相當(dāng)封閉的環(huán)境中，未來我們是否會快速從預(yù)測型AI轉(zhuǎn)向目標(biāo)導(dǎo)向型AI？

Geoffrey Hinton：語言模型的學(xué)習(xí)方式不僅僅是基于下一個單詞的預(yù)測，雖然這是它的主要學(xué)習(xí)方式，但同時也使用人類反饋的強化學(xué)習(xí)（RLHF）進行訓(xùn)練，可以告訴模型應(yīng)該給出何種答案，不過這與預(yù)測下一個單詞有很大的差別。

人類反饋的強化學(xué)習(xí)正在塑造AI，OpenAI在這方面取得了極大突破。他們意識到，可以通過人類反饋強化學(xué)習(xí)引導(dǎo)大型語言模型的行為方式，這就好比是養(yǎng)育孩子：孩子們可以通過探索世界、觀察世界的運轉(zhuǎn)模式進行學(xué)習(xí)，在這個過程中，父母可以通過告訴孩子能或不能做什么參與到孩子的學(xué)習(xí)當(dāng)中。長期以往，父母可以在更少參與的情況下對孩子的行為產(chǎn)生極大影響。

還有其他因素在塑造語言模型。多模態(tài)大型語言模型可以利用視覺輸入做一系列事情，比如開門、將東西放進抽屜等等。所以，它們不僅僅是預(yù)測下一個單詞。

不過，即使模型只是預(yù)測下一個單詞，也沒有人們想得那么簡單。有人認(rèn)為，模型預(yù)測下一個單詞只是在自動補齊，但關(guān)鍵是想要預(yù)測下一個單詞，唯一的方法是要真正理解前文內(nèi)容，而這正是語言模型所做的。

Pieter Abbeel：也就是說，模型需要有效理解人們的所思所想，以最大限度準(zhǔn)確預(yù)測人們將要說的內(nèi)容。這種模型必須十分強大。

Geoffrey Hinton：最好的預(yù)測模型就會像你說的那樣。這種模型可能無法完全理解人們的所思所想，但能理解大部分內(nèi)容，并且它們的理解程度會與日俱增。

回看2015年，那時Transformers架構(gòu)還未現(xiàn)世，人們對聊天機器人毫無頭緒，現(xiàn)在，語言模型的能力已十分強大，難以想象未來五年它們會發(fā)展到何種程度。我不禁開始擔(dān)憂AI的智能程度將超過人類。

Pieter Abbeel：你怎么定義「（AI）比人類更智能」？

Geoffrey Hinton：AI在單個領(lǐng)域中的表現(xiàn)中有所體現(xiàn)。比如我不玩圍棋，也不了解AlphaGo，但會一點點象棋。在我看來，AlphaZero的強大不僅來自計算量（它的計算量還比不上DeepBlue），還因為它有極好的下棋「意識」：AlphaZero能在下棋過程中作出合理的犧牲與讓步，下棋技術(shù)超過了人類。AI技術(shù)的高度發(fā)展不會僅局限于這一個領(lǐng)域，它們戰(zhàn)勝人類靠的不僅是計算量，還有極好的「意識」。

Pieter Abbeel：你一直在嘗試構(gòu)建AI，現(xiàn)在成為這個行業(yè)的先驅(qū)。AI的發(fā)展程度已經(jīng)遠(yuǎn)超你最初的預(yù)想，曾經(jīng)你希望AI能達(dá)到與人類匹敵的智力水平，但現(xiàn)在可能找到了超越人類智能的方法。

Geoffrey Hinton：我還想了解大腦的運轉(zhuǎn)方式，目前我們還未解開這一謎題。

我們一直在談?wù)揂I面臨的各種問題，比如如果我們利用有偏見的數(shù)據(jù)訓(xùn)練模型，那么模型就會同樣具有偏見，但我并不特別擔(dān)心這個問題，因為人類也存在偏見，實際上，AI系統(tǒng)的偏見問題比人類的偏見更好解決。我們可以「凍結(jié)」AI系統(tǒng)，進行實驗分析，但人類卻難以做到這一點，在實驗中，人類可以隱藏想法并改變他們的行為。

雖然隨著AI的發(fā)展，有很多人會失業(yè)，但這并不是AI的錯。就拿自動駕駛來說，很多卡車司機會因此失去工作，有人認(rèn)為這是AI的錯，不過當(dāng)我們創(chuàng)造了更擅長挖掘的機器時，人們卻不會說「這些機器不好，我們不應(yīng)該創(chuàng)造它們」。實際上，當(dāng)時的機器一開始可能確實不太好用，但結(jié)果我們選擇了機器，因為機器比鏟子做得更好，而之前習(xí)慣于用鏟子挖掘的工人只好轉(zhuǎn)業(yè)，重新找工作。

在正派社會（Decent Society）中，提升工作效率是一件人人受益的事情。問題是，目前社會上提升工作效率可能會拉大貧富差距，讓富人更富，窮人更窮，但這并能怪AI，我們沒有理由像勒德分子（持有反機械化以及反自動化觀點的人）一樣反對AI的發(fā)展，因為AI的發(fā)展能給人類社會帶來極大好處。

在自動駕駛領(lǐng)域，如果AI駕駛撞到了行人，大眾會感到恐慌，并且呼吁停止發(fā)展AI技術(shù)，即使是同一天里，人類駕駛員撞到行人的事故更多。其實我們都知道，最終自動駕駛技術(shù)會發(fā)展成熟，會極大減少事故發(fā)生率，比人類能更好地勝任駕駛工作。

在醫(yī)學(xué)方面，AI擁有更多知識儲備，能夠充當(dāng)家庭醫(yī)生，能從醫(yī)學(xué)掃描圖像中看出更多信息，醫(yī)生也能在AI解讀的基礎(chǔ)上完善診斷結(jié)果?，F(xiàn)在，在蛋白質(zhì)結(jié)構(gòu)預(yù)測方面，AlphaFold出色地完成了任務(wù)，極大地節(jié)約了預(yù)測成本，如果這一預(yù)測任務(wù)由博士生們以傳統(tǒng)方式進行，足以支付大部分AI的費用。

AI的積極影響還有很多，我們需要知道，在一定程度上，人類能夠做的任何事AI都能更高效地完成。鑒于AI具備的強大能力，人類決不會放棄發(fā)展AI。但與此同時，我也開始擔(dān)憂它們可能會帶來的負(fù)面影響。

Pieter Abbeel：現(xiàn)在人們聽到AI一詞時，出現(xiàn)在腦海中的第一個問題就是：如果AI的智能程度超過人類會發(fā)生什么，是否會對人類造成威脅？

Geoffrey Hinton：顯然，我們希望將AI保持在可控范圍內(nèi)，但掌控超越自己智能水平的東西并非易事。人類是經(jīng)過進化的生物，有一些強大的目標(biāo)，比如認(rèn)真保養(yǎng)身體、吃足夠的食物等等，可AI并沒有這些目標(biāo)。對此，我們可以設(shè)置目標(biāo)并將其植入AI，讓AI圍繞人類的利益工作。

不過這種方式也可能出現(xiàn)各式各樣的問題，以不良用途為例。如果國防部構(gòu)建出機器人士兵，那么這些士兵并不會遵守阿西莫夫原則（阿西莫夫第一原則是：機器人不得傷害人類個體，相反，它們要保護人類）。此外，我們還面臨對齊問題，如果賦予AI創(chuàng)建子目標(biāo)的能力（比如我們想去機場，那么可以創(chuàng)建一個總目標(biāo)——找交通工具，然后再創(chuàng)建子目標(biāo)，也就是將任務(wù)分解為幾個小目標(biāo)），可以極大地提升效率。我認(rèn)為，我們會選擇賦予數(shù)字智能創(chuàng)建子目標(biāo)的能力，但問題是，如果AI創(chuàng)建了對人類有潛在不利影響的目標(biāo)怎么辦？

為了應(yīng)對這一問題，人們通常會設(shè)置子目標(biāo)，以實現(xiàn)對AI的更多掌控權(quán)，這也意味著我們可以更好地實現(xiàn)其他目標(biāo)。不過矛盾的是，我們一旦賦予AI設(shè)置子目標(biāo)的能力，那么它們其中一個子目標(biāo)就會獲得更多控制權(quán)，但這又與我們不想讓它們獲得更多控制權(quán)的意愿背道而馳。

Pieter Abbeel：最大的問題是，現(xiàn)在很多人擔(dān)心AI將控制世界。

Geoffrey Hinton：這確實是一大威脅。以前，我認(rèn)為距離AI控制世界還很遙遠(yuǎn)，可能需要幾十甚至上百年時間，但現(xiàn)在我認(rèn)為可能只需5-20年。一旦AI比人類聰明，那么就會面臨一個問題：到底是AI控制世界，還是我們控制AI？

我們正在進入一個有極大不確定性的時期，將與超越人類智能的事物進行互動，而且沒有任何經(jīng)驗可供參考，我真的不知道未來會如何發(fā)展。

最近，我和馬斯克進行了一次談話，他認(rèn)為我們會開發(fā)出比人類更聰明的事物，但他希望它們讓人類存續(xù)，因為有人類存在的世界才更有趣。這是一種很大膽的假設(shè)，相當(dāng)于將人類的命運寄托到AI身上，但他認(rèn)為這是完全有可能的，AI將變得更加智能并獲得掌控權(quán)。

Pieter Abbeel：馬斯克設(shè)想的場景是AI與人類融合在一起，他的神經(jīng)網(wǎng)絡(luò)公司（Neuralink）正在想辦法讓AI和大腦相結(jié)合。

Geoffrey Hinton：那很有趣。人類有語音輸入和輸出能力，但沒有視頻輸出能力。如果人類有了視頻輸出能力，就能通過傳達(dá)圖像進行溝通。不過這并不完全是馬斯克計劃要做的事，他想實現(xiàn)的是腦與腦之間的傳輸，將思維傳遞到一個相對抽象的層面。我們現(xiàn)在需要以一種他人能理解的方式傳輸信息。視頻輸出是一個相對不那么宏偉的項目，現(xiàn)在已經(jīng)有人知道該如何處理視頻，并將其作為輸入進行處理了。

如果我們有視頻輸出能力，那么人與人之間的溝通將得到極大改善。比如當(dāng)你向我傳達(dá)信息時，你可以通過語言或畫圖，但在畫圖之前，你的腦海中可能已經(jīng)有了一個圖像（可能并非總是如此，但大多數(shù)情況下是這樣）。如果你能夠迅速傳達(dá)腦海中的圖像，那將增加信息傳輸?shù)膸?，即使只增加一倍，也會是一個很大的提升，并且實際情況甚至可能不止一倍。

「監(jiān)管可能是唯一的辦法」

Pieter Abbeel：長期以來，一直有人呼吁對AI領(lǐng)域進行監(jiān)管，馬斯克就是其中的典型，不過他并沒有明確提出具體的監(jiān)管建議。你認(rèn)為應(yīng)該采取哪些監(jiān)管措施？

Geoffrey Hinton：人們常常將AI可能造成失業(yè)、偏見、政治分裂、威脅人類生存以及傳播虛假消息等各種各樣的問題這些問題混為一談，我們有必要分清所面臨的到底是什么問題。

就拿傳播虛假消息掩蓋真相來說，如果我們被虛假的東西包圍，那么所面臨的境況會是多么艱難。政府一直都在嚴(yán)厲打擊制造假鈔行為，如果有人給你假鈔，而你在明知是假鈔的情況下還拿去消費，這也是違法行為（即便不如制造假鈔嚴(yán)重）。

因此，對于AI生成的內(nèi)容，我們也要想辦法對其進行標(biāo)記，如果有人在明知是虛假內(nèi)容的前提下將其假冒為真，就應(yīng)該受到嚴(yán)厲的法律處罰?，F(xiàn)在能否很好地對真假內(nèi)容進行檢測是另一回事，但至少我們要朝著這個方向前進，加強監(jiān)管，避免被假象淹沒。

Pieter Abbeel：我贊同你的觀點。不過制定規(guī)則可能比較容易，但實際執(zhí)行也許會比較困難。

Geoffrey Hinton：為什么執(zhí)行會很困難？假設(shè)使用深度學(xué)習(xí)來幫助檢測虛假內(nèi)容，我們構(gòu)建了一個能夠檢測偽造品的AI系統(tǒng)，但其實利用這種系統(tǒng)能訓(xùn)練AI生成更加逼真的假冒產(chǎn)品，這也是GAN模型的工作原理。因此，我們不能指望AI系統(tǒng)檢測出虛假內(nèi)容。

Pieter Abbeel：對AI生成內(nèi)容進行加密是否可以解決這個問題？比如對AI生成的內(nèi)容添加加密簽名，顯示內(nèi)容的作者，然后將作者身份和聲譽與內(nèi)容的可信度聯(lián)系起來。如果作者在內(nèi)容中添加了虛假信息，他的聲譽就會受到損害。

Geoffrey Hinton：英國曾經(jīng)就這樣做過，甚至現(xiàn)在可能還是這樣：無論你印刷什么東西，即使是小型示威的宣傳冊，都必須在上面印上印刷者的身份，未印刷身份信息是違法的。雖然我對加密技術(shù)一無所知，但這種想法聽起來十分合理。

Pieter Abbeel：雖然監(jiān)管可能難以實施，但從原則上講，還是有一個明確的框架來避免人們被假新聞、假視頻和虛假文字所誤導(dǎo)。

Geoffrey Hinton：為避免引發(fā)政治分裂，我們還可以對標(biāo)題黨（Clickbait）進行監(jiān)管。Facebook、YouTube等社交媒體常常會對用戶推送一些產(chǎn)生回音室效應(yīng)的內(nèi)容，這種過度的信息過濾和選擇性接觸可能導(dǎo)致人們極端化，加劇社會、政治分裂。這也是我不愿再為Google工作的原因之一。

我們可以通過立法來阻止這種行為，雖然很棘手，但至關(guān)重要。如果想要維持民主，避免群體分裂，互相仇視，就需要采取措施監(jiān)管媒體公司，避免這些公司推送可能激化矛盾的內(nèi)容。

Pieter Abbeel：幾周前，有人呼吁暫停訓(xùn)練比GPT-4更大的模型，你怎么看？

Geoffrey Hinton：從政治上看，這封呼吁信或許是明智的，因為它引起了人們對AI安全的關(guān)注。但這種呼吁其實很愚蠢，所以我沒有在呼吁信上簽名。即使美國暫停訓(xùn)練AI，中國不會暫停，俄羅斯也不會暫停，所以這是不現(xiàn)實的。

對于這個問題，我贊同Sam Altman的看法：面對這些技術(shù)可能帶來的潛在風(fēng)險問題，由于我們無法阻止其發(fā)展，所以最好的方式是大力開發(fā)它們，在開發(fā)過程中學(xué)會更好地理解和控制它們。就像寫程序一樣，坐而論道是不行的，我們必須行動起來，進行實驗和調(diào)試，以了解可能發(fā)生的情況。

在大力發(fā)展AI的同時，我們應(yīng)該著力于解決潛在的負(fù)面影響，避免失控，我們必須非常嚴(yán)肅地對待這個問題。當(dāng)前投入資金的99%都用在了開發(fā)上面，只有1%用于安全方面，我認(rèn)為今后這個比例應(yīng)該五五開。

Pieter Abbeel：從學(xué)術(shù)角度看，用于AI研發(fā)和安全的資金比例達(dá)到五五開是可能的，資助機構(gòu)只需在申請要求上加上這一點即可。但私企基本都是利益驅(qū)動，更注重開發(fā)能帶來更多利潤的產(chǎn)品，他們愿意把一半的資金放在安全問題上嗎？

Geoffrey Hinton：我只是一名科學(xué)家，并非政策專家，只能注意到可能發(fā)生的事情。其實Google在這方面還是相對負(fù)責(zé)任的，在研發(fā)出Transformer之后，他們在這一領(lǐng)域處于領(lǐng)先地位，之后又研發(fā)出了聊天機器人，但并沒有急于將其推向市場，因為他們意識到聊天機器人可能會產(chǎn)生很多負(fù)面影響。但當(dāng)微軟資助OpenAI并在必應(yīng)中使用聊天機器人后，Google別無選擇，只能努力進行工程改進，以開發(fā)出與ChatGPT相匹敵的Bard。

在資本主義體系下，大公司很難有其他選擇，如果要讓他們犧牲利益，監(jiān)管可能是唯一的辦法。

數(shù)字智能優(yōu)于生物智能不可避免？

Pieter Abbeel：在接下來的30-50年，我們應(yīng)該把重點放在哪里？

Geoffrey Hinton：就歷史演進來看，數(shù)字智能優(yōu)于生物智能可能是不可避免的，數(shù)字智能可能是下一個進化階段，我們應(yīng)盡可能保持AI處于可控范圍。

有時我會想：如果青蛙發(fā)明了人類并想要控制人類，但就智力而言，青蛙和人類之間差距巨大，所以我不認(rèn)為「發(fā)明人類」對青蛙來說是一件好事。

當(dāng)然，這并非真實論點，因為人類由進化而來，在向著自己的目標(biāo)演進，但數(shù)字智能并沒有自己的目標(biāo)。一旦數(shù)字智能有了「自我繁衍（make more of me）」這一想法，那么進化就發(fā)生了，最有決心實現(xiàn)自身繁衍的數(shù)字智能將會勝出。

Pieter Abbeel：如果我們想讓數(shù)字智能有這種目標(biāo)，這個過程會不會很困難？

Geoffrey Hinton：給數(shù)字智能以「自我繁衍」的目標(biāo)很容易，但這種做法十分瘋狂。

Pieter Abbeel：人類今天的地位是進化的結(jié)果，或許最聰明的數(shù)字智能也會在競爭中出現(xiàn)。它們不是與人類競爭，而是與其他數(shù)字智能競爭。

Geoffrey Hinton：你可以觀察到，由于人類智能功耗很低，隨著不斷進化構(gòu)建出了發(fā)電站和大量數(shù)字智能，而數(shù)字智能需要大量功耗，并提供高精度制造能力，這些數(shù)字智能是進化的下一階段，它們彼此競爭并變得更加強大。人類傾向于構(gòu)建比自己智能的智能體，后者可以以某種方式替代聯(lián)合國，擔(dān)任「智能調(diào)解者（intelligent mediator）」。該智能體沒有自己的目標(biāo)，我們每個人都可能按照它的安排來行事，就像孩子完全信任父母一樣。當(dāng)然，這只是烏托邦式愿望，但也并非沒有可能。

Pieter Abbeel：從技術(shù)上講，你所說的似乎可行，但需要人類團結(jié)一致。

Geoffrey Hinton：這種情景在理論上是可行的。但人們在沒有實際經(jīng)驗的情況下進行推測，往往離真相相當(dāng)遙遠(yuǎn)。一旦獲得一些實際經(jīng)驗，就會意識到自己的理論有多么離譜，還需進行修正。因此，在技術(shù)不斷發(fā)展的過程中，我們需要進行大量工作，了解其中的風(fēng)險，并進行實證實驗，以觀察智能系統(tǒng)運行時，是否傾向于控制人類，是否會產(chǎn)生自我繁衍的目標(biāo)等。

Pieter Abbeel：短期來看，擁有能設(shè)定自我目標(biāo)并執(zhí)行任務(wù)的AI可能并非壞事。一方面我們可以利用AI賺錢，另一方面可以使其利用自身資源和其他資源做事。但從長期來看，這樣又可能產(chǎn)生滑坡效應(yīng)，我們無法控制AI為實現(xiàn)自我目標(biāo)而設(shè)定的子目標(biāo)，以及由此可能產(chǎn)生意料之外的后果。

Geoffrey Hinton：這涉及到對齊問題。

Pieter Abbeel：是的，這非常困難。不過我們可以對AI分類，一類是那些旨在完成任務(wù)并能設(shè)定目標(biāo)的AI，另一類是純粹作為顧問的AI，后者擁有豐富的知識和預(yù)測能力，能為人類提供建議和智慧，但它們僅僅擔(dān)任顧問一職，不參與任務(wù)執(zhí)行。

Geoffrey Hinton：這樣會非常有用。不過，僅僅不讓AI按下控制按鈕無法保證能消除它的潛在風(fēng)險。聊天機器人能閱讀馬基雅維利（Machiavelli）的作品以及其他關(guān)于操縱的小說，從而成為操縱大師。它不需要任何實際操作，只需操縱他人，就可以實現(xiàn)一系列行動。假如機器人想入侵華盛頓的建筑，那么它們只需讓人們認(rèn)為這是拯救民主的唯一方式即可。

因此，一種不允許AI實際做任何事情，只允許與人交談的隔離措施是不夠的，如果AI可以與人交談，它就能操縱人類，并通過操縱人類來達(dá)到自己的目的。所以關(guān)鍵在于AI的內(nèi)置目標(biāo)。如果AI產(chǎn)生了自我繁衍的目標(biāo)，那么人類就會陷入麻煩。

Pieter Abbeel：有人提出，將來我們可以讓AI擔(dān)任公司CEO，在AI的帶領(lǐng)下，公司可以得到更好的發(fā)展，因為AI能夠更好地了解、掌握公司和世界的發(fā)展趨勢，作出更好的決策。

Geoffrey Hinton：這種想法沒什么問題。關(guān)于預(yù)測未來，就拿開車來說，人們常常在夜晚開車，遇到大霧時經(jīng)常發(fā)生交通事故。開車時我們可以看到前方車輛的尾燈，尾燈亮度隨距離的平方反比衰減，一旦遇到大霧，就會隨著距離損失相應(yīng)亮度。

在霧中，我們可以看到前方一百碼的情況，這時人們就會誤認(rèn)為自己能夠適度地看到前一千碼的情況，但事實上我們甚至難以看清前兩百碼處的情況。前方仿佛出現(xiàn)了一堵墻，我們的視野將變得有限或具有不確定性。

在推斷未來事件時，人們常常使用線性或二次模型，假設(shè)變化是逐漸發(fā)生的。然而，現(xiàn)實情況是，未來可能呈現(xiàn)出指數(shù)級的變化，使得長期預(yù)測變得困難。

我喜歡《紐約時報》在1902年的一篇文章中寫的故事：人造飛行器將需要百萬或者甚至一千萬年才能研發(fā)出來，但實際上兩個月后飛行器就出現(xiàn)了。

Pieter Abbeel：你說，生物進化也許只是一個起點，接下來可能是基于計算機的數(shù)字進化或其他形式的進化。假設(shè)未來存在一種數(shù)字生命形態(tài)，在某種程度上比當(dāng)今人類更具統(tǒng)治地位。這種數(shù)字生命體可能對人類、其他生物和周圍的一切都很友好，但也可能會摧毀一切。那么我們是否需要考慮確保它往好的方面發(fā)展？

Geoffrey Hinton：這絕對值得考慮。數(shù)字生命體將會是非常不同的存在，它們不需要擔(dān)心死亡。人們可能還未真正注意到這一點，但實際上我們已經(jīng)發(fā)現(xiàn)了計算機科學(xué)領(lǐng)域中永生的秘密：將軟件與硬件分離。人工神經(jīng)網(wǎng)絡(luò)就是如此，如果某個硬件損壞了，知識并不會消失，權(quán)重可以記錄在某個地方，只要有另一塊能夠執(zhí)行相同指令的硬件，知識就能「復(fù)活」。

人類的學(xué)習(xí)算法似乎利用了大腦連接（wiring）和神經(jīng)元工作的所有特殊方式，這使其在能源效率上更加高效。但也意味著硬件死亡時，知識會隨之消失，除非將其傳遞給其他人。例如，Ray Kurzweil希望獲得永生，但他作為生物體不會實現(xiàn)。不過，也許人類永生之后，會變得友善一點。

「退休」計劃

Pieter Abbeel：你是否會繼續(xù)宣傳AI發(fā)展存在的風(fēng)險？還是現(xiàn)在人們已經(jīng)意識到這個問題，你的任務(wù)已經(jīng)完成了？

Geoffrey Hinton：我也不知道。我沒有想到會引發(fā)這么大的反響，也還沒有仔細(xì)想過接下來會發(fā)生什么。估計我會繼續(xù)思考如何控制這個問題，偶爾發(fā)表一些演講，鼓勵人們?nèi)ソ鉀Q對齊問題。但我不會全身心投入到這些事情上，相比之下我更喜歡鉆研算法，接下來我可能會繼續(xù)研究forward-forward算法及相關(guān)算法，這是我更擅長的事。

Pieter Abbeel：一方面強調(diào)對齊的重要性，另一方面又想了解大腦的運作方式，這兩者之間是否存在矛盾？

Geoffrey Hinton：理解大腦的運作方式不會有什么問題，真正會帶來麻煩的是構(gòu)建比大腦更強大的東西。如果我們能更好地理解人類，就能夠使社會變得更好。

Pieter Abbeel：你對AI研究人員或希望為這個領(lǐng)域做出貢獻(xiàn)的人有什么建議？

Geoffrey Hinton：可以嘗試與最先進的聊天機器人互動，以便更深入地理解其智能程度和工作原理。雖然我們知道它的基礎(chǔ)是Transformer模型，但目前我們并不完全清楚模型是如何完成推理任務(wù)的。

此外，我們應(yīng)該關(guān)注如何在AI的發(fā)展過程中對其進行控制。當(dāng)然，我并不是AI對齊方面的專家。隨著超級智能可能很快到來，我的任務(wù)是敲響警鐘，讓人們意識到這方面的問題。

Pieter Abbeel：離開Google后，你應(yīng)該有大量時間去做自己喜歡的事。

Geoffrey Hinton：在Google工作時，同事經(jīng)常討論工作與生活的平衡，但由于工作太忙，我從未參與類似的研討會。前50年我都在忙于工作，錯過了很多好電影，接下來我想在Netflix上把錯過的電影都看一遍，并且盡量多陪陪我的孩子，盡管他們已不再是小孩了。

卡內(nèi)基梅隆大學(xué)的Allen Newell曾給他的研究生說：如果每周的工作時間少于80小時，那么你就不是一名合格的科學(xué)家。我并不贊同這種說法，現(xiàn)在我打算平衡一下工作和生活，這并不意味著我會停止做研究，即使我不再像以前一樣在研究上花大量時間，但研究本身還是很有趣。