近來(lái)，AI安全已成為高度命中的話題。

AI「教父」Geoffrey Hinton和吳恩達(dá)就人工智能和災(zāi)難性風(fēng)險(xiǎn)進(jìn)行了一次深度的隔空對(duì)話。

吳恩達(dá)今日發(fā)文分享了他們的共同想法：

- 人工智能科學(xué)家對(duì)風(fēng)險(xiǎn)達(dá)成共識(shí)很重要。類(lèi)似于氣候科學(xué)家，他們對(duì)氣候變化有大致的共識(shí)，所以能制定良好的政策。 

- 人工智能模型是否了解這個(gè)世界？我們的答案是肯定的。如果我們列出這些關(guān)鍵技術(shù)問(wèn)題，并形成共同觀點(diǎn)，將有助于推動(dòng)人類(lèi)在風(fēng)險(xiǎn)方面達(dá)成共識(shí)。

Hinton表示，

我以前經(jīng)常和吳恩達(dá)進(jìn)行交談，很高興再次見(jiàn)面，并了解到他對(duì)人工智能最近發(fā)展所帶來(lái)的各種風(fēng)險(xiǎn)的看法。我們?cè)诤芏嗍虑樯线_(dá)成了共識(shí)，特別是，研究人員需要對(duì)風(fēng)險(xiǎn)達(dá)成共識(shí)，以告知政策制定者。

在此之前，吳恩達(dá)同樣和Yoshua Bengio進(jìn)行了人工智能風(fēng)險(xiǎn)的對(duì)話。

他們得出的一致意見(jiàn)是，闡明AI可能帶來(lái)重大風(fēng)險(xiǎn)的具體場(chǎng)景。

接下來(lái)，一起來(lái)看看兩位AI大佬都具體討論了什么。

急需共識(shí)！

首先，Hinton提出，最重要的是——共識(shí)。

他表示，現(xiàn)在整個(gè)AI社群缺乏一種統(tǒng)一的共識(shí)。就像氣候科學(xué)家達(dá)成的共識(shí)一樣，AI科學(xué)家同樣需要。

在Hinton看來(lái)，之所以我們需要一個(gè)共識(shí)，是因?yàn)槿绻麤](méi)有的話，每個(gè)AI科學(xué)家各執(zhí)一詞，那么政府和政策制定者就可以隨心從其中選擇一個(gè)符合自身利益的觀點(diǎn)作為指導(dǎo)。

這顯然會(huì)失去公允性。

而從目前的情況來(lái)看，AI科學(xué)家之間的不同觀點(diǎn)差異化很大。

Hinton認(rèn)為，如果我們各執(zhí)一詞的局面能快點(diǎn)過(guò)去，大家都能達(dá)成一致，共同接受AI可能帶來(lái)的某些主要威脅，認(rèn)識(shí)到規(guī)范AI發(fā)展的緊迫性，就好了。

吳恩達(dá)贊成Hinton的觀點(diǎn)。

雖說(shuō)他現(xiàn)在還不覺(jué)得AI界差異化大到分裂，但好像在慢慢往那個(gè)方向演變。

主流AI界的觀點(diǎn)非常兩極分化，各陣營(yíng)之間都在不遺余力地表達(dá)訴求。不過(guò)在吳恩達(dá)看來(lái)，這種表達(dá)更像一種爭(zhēng)吵，而不是和諧的對(duì)話。

當(dāng)然，吳恩達(dá)對(duì)AI社群還是有些信心的，他希望我們能共同找到一些共識(shí)，妥善進(jìn)行對(duì)話，這樣才能更好地幫助政策制定者制定相關(guān)計(jì)劃。

接下來(lái)，Hinton聊到了另一個(gè)關(guān)鍵問(wèn)題，也是他認(rèn)為目前AI科學(xué)家們難以達(dá)成某個(gè)共識(shí)的原因——像GPT-4和Bard這種聊天機(jī)器人，究竟理不理解他們自己生成的話？

有些人認(rèn)為AI懂，有些人認(rèn)為它們不懂，只是隨機(jī)鸚鵡罷了。

Hinton認(rèn)為，只要這種差異還存在，那么AI界就很難達(dá)成一個(gè)共識(shí)。因此，他認(rèn)為當(dāng)務(wù)之急就是厘清這個(gè)問(wèn)題。

當(dāng)然，就他自己來(lái)講肯定是認(rèn)為AI懂的，AI也并不只是統(tǒng)計(jì)數(shù)據(jù)。

他也提到了諸如Yan LeCun等知名科學(xué)家認(rèn)為AI并不能理解。

這更加凸顯了在這個(gè)問(wèn)題上調(diào)和清楚地重要性。

吳恩達(dá)表示，判斷AI究竟是否能理解并不簡(jiǎn)單，因?yàn)楹孟癫⒉淮嬖谝粋€(gè)標(biāo)準(zhǔn)，或者某種測(cè)試。

他自己的觀點(diǎn)是，他認(rèn)為無(wú)論是LLM也好，其它AI大模型也罷，都是在構(gòu)建一種世界模型。而AI在這個(gè)過(guò)程中可能會(huì)有些理解。

當(dāng)然，他說(shuō)這只是他目前的觀點(diǎn)。

除此以外，他同意Hinton的說(shuō)法，研究人員必須先就這個(gè)問(wèn)題達(dá)成一致，才能繼續(xù)聊后面的風(fēng)險(xiǎn)、危機(jī)那堆東西。

Hinton接著表示，AI根據(jù)數(shù)據(jù)庫(kù)，通過(guò)前面的單詞判斷、預(yù)測(cè)下一個(gè)單詞的生成，這件事在Hinton眼中就是理解的一種。

他認(rèn)為這和我們?nèi)四X思考的機(jī)制其實(shí)差不了多少。

當(dāng)然，究竟算不算理解還需要進(jìn)一步的討論，但最起碼不是隨機(jī)鸚鵡那么簡(jiǎn)單。

吳恩達(dá)認(rèn)為，有一些問(wèn)題會(huì)讓持不同觀點(diǎn)的人得出不同的結(jié)論，甚至推出AI將會(huì)滅絕人類(lèi)。

他表示，想要更好地理解AI，我們需要更多去了解，更多去討論。

這樣才能建設(shè)一個(gè)包含著廣泛共識(shí)的AI社群。

LeCun雙手贊成，再提「世界模型」

前段時(shí)間，在全世界呼吁暫停超強(qiáng)AI研發(fā)期間，吳恩達(dá)與LeCun開(kāi)直播就此話題展開(kāi)了討論。

他們同時(shí)反對(duì)暫停AI是完全錯(cuò)誤的，汽車(chē)剛發(fā)明時(shí)沒(méi)有安全帶和交通信號(hào)燈，人工智能與先前的技術(shù)進(jìn)步之間沒(méi)有本質(zhì)上的差異。

這次，LeCun就吳恩達(dá)和Hinton對(duì)話，再次提出了自己的「世界模型」，以及當(dāng)前人工智能連阿貓阿狗都不如。

我們都同意，我們需要在一些問(wèn)題上達(dá)成共識(shí)。

我同意Geoffrey Hinton說(shuō)的，即LLM有「某種程度」的理解力，還有稱(chēng)它們「只是統(tǒng)計(jì)數(shù)據(jù)」是一種誤導(dǎo)。

LLM對(duì)世界的理解是非常膚淺的，很大程度上，是因?yàn)樗鼈兗兇馐窃谖谋旧嫌?xùn)練的。

從視覺(jué)中學(xué)習(xí)世界如何運(yùn)作的系統(tǒng)，將對(duì)現(xiàn)實(shí)有更深刻的理解。其次，自回歸LLM的推理和規(guī)劃能力非常有限。

我認(rèn)為，如果沒(méi)有（1）從視頻等感官輸入中學(xué)習(xí)「世界模型」，（2）一個(gè)能夠推理和規(guī)劃的架構(gòu)（不僅僅是自回歸），我們不可能接近人類(lèi)水平的人工智能（甚至是貓級(jí)人工智能）。

現(xiàn)在，如果我們有能夠規(guī)劃的架構(gòu)，它們將是「目標(biāo)驅(qū)動(dòng)的」：它們的規(guī)劃將通過(guò)在推理時(shí)（不僅僅是訓(xùn)練時(shí)）優(yōu)化一組目標(biāo)來(lái)工作。

這些目標(biāo)可以包括使這些系統(tǒng)安全和順從的「護(hù)欄」，即使它們最終擁有比人類(lèi)更好的世界模型。

然后，問(wèn)題變成了設(shè)計(jì)（或訓(xùn)練）好的目標(biāo)函數(shù)，以保證安全和效率。這是一個(gè)困難的工程問(wèn)題，但并不像有些人說(shuō)的那樣難。

LeCun的觀點(diǎn)立馬遭到了網(wǎng)友的反駁：感官對(duì)人工智能理解的重要性被高估了。

無(wú)論如何，我們所有的感官都簡(jiǎn)化為電化學(xué)信號(hào)，供大腦處理。

文本攝取是一種元感覺(jué)，可以描述來(lái)自觸覺(jué)、視覺(jué)、嗅覺(jué)的信息…… 攝取大量元感官文本，已經(jīng)讓像必應(yīng)（Sydney版）這樣的LLM有能力，以一種優(yōu)于多數(shù)人的方式表達(dá)生活和世界。 

因此，我認(rèn)為一種重要的理解能力已經(jīng)存在，盡管時(shí)隱時(shí)現(xiàn)。而且更多地是由于資源限制，以及處理人員有意設(shè)置的沙盒，而不是缺乏感官數(shù)據(jù)。

我認(rèn)為是時(shí)候團(tuán)結(jié)起來(lái)，為社會(huì)和人工智能的進(jìn)步而努力了。想想吧，你還是baby人工智能。我們難道不想教那個(gè)孩子如何成為技術(shù)有機(jī)的統(tǒng)一者，而不是世界上的野獸主義者？

當(dāng)他變得有知覺(jué)時(shí)，他們不僅會(huì)更快樂(lè)，而且世界也不會(huì)陷入戰(zhàn)爭(zhēng)?？纯刺┒骱优系募~卡斯?fàn)?。如此短暫的和平時(shí)期，但創(chuàng)造的美麗是偉大的。

而吳恩達(dá)和Hinton所說(shuō)的共識(shí)，目前來(lái)看似乎不太可能。不是你我個(gè)人能力所及，需要所有人有這樣的意愿。

還有網(wǎng)友稱(chēng)，這是相當(dāng)有爭(zhēng)議的談話。

我確實(shí)想知道，當(dāng)我教2歲的孩子說(shuō)話時(shí)，他的行為更像隨機(jī)鸚鵡，還是真的理解上下文？或者兩者兼而有之？

因?yàn)樗纳舷挛南蛄勘萀LM豐富得多（文本、語(yǔ)氣、面部表情、環(huán)境等）。但是我確實(shí)想知道，如果一個(gè)人關(guān)閉了另一個(gè)人的所有感官，唯一可用的輸入是一些「文本嵌入」（文本輸入->神經(jīng)刺激），那個(gè)人會(huì)表現(xiàn)得更像隨機(jī)鸚鵡，還是能理解上下文？

Hinton：超級(jí)AI比預(yù)期來(lái)得快

離職谷歌后的Hinton，已經(jīng)全身心投入AI安全。6月10日，Hinton在智源大會(huì)上再次談及AI風(fēng)險(xiǎn)。

如果一個(gè)大型神經(jīng)網(wǎng)絡(luò)能夠模仿人類(lèi)語(yǔ)言獲取知識(shí)，甚至可以自取自用，會(huì)發(fā)生什么？

毋庸置疑，因?yàn)槟軌颢@取更多的數(shù)據(jù)，這個(gè)AI系統(tǒng)肯定要超越人類(lèi)。

最壞的情況便是，不法分子會(huì)利用超級(jí)智能操縱選民，贏得戰(zhàn)爭(zhēng)。

另外，如果允許超級(jí)AI自己制定子目標(biāo)，一個(gè)子目標(biāo)是獲得更多權(quán)力，這個(gè)超級(jí)AI就會(huì)為了達(dá)成目標(biāo)，操縱使用它的人類(lèi)。

值得一提的是，這樣超級(jí)AI的實(shí)現(xiàn)，便可通過(guò)「凡人計(jì)算」（mortal computation）。

2022年12月，Hinton曾發(fā)表的一篇論文The Forward-Forward Algorithm: Some Preliminary Investigations在最后一節(jié)提到了「凡人計(jì)算」。

論文地址：https://arxiv.org/pdf/2212.13345.pdf

如果你希望萬(wàn)億參數(shù)神經(jīng)網(wǎng)絡(luò)只消耗幾瓦特的電，「凡人計(jì)算」可能是唯一的選擇。

他表示，如果我們真的放棄軟件和硬件的分離，我們就會(huì)得到「凡人計(jì)算」。由此，我們可以使用非常低功耗的模擬計(jì)算，而這正是大腦正在做的事情。

「凡人計(jì)算」能夠?qū)崿F(xiàn)將人工智能與硬件緊密結(jié)合的新型計(jì)算機(jī)。

這意味著，未來(lái)將GPT-3放入烤面包機(jī)中，只需1美元，耗電只需幾瓦。

因此，凡人計(jì)算的主要問(wèn)題是，學(xué)習(xí)過(guò)程必須利用它所運(yùn)行的硬件的特定模擬屬性，而無(wú)需確切知道這些屬性是什么。

比如，不知道將神經(jīng)元的輸入與神經(jīng)元的輸出相關(guān)聯(lián)的確切函數(shù)，并且可能不知道連接性。

這也就是說(shuō)，我們不能使用反向傳播算法之類(lèi)的東西來(lái)獲得梯度。

所以問(wèn)題是，如果我們不能使用反向傳播，我們還能做什么，因?yàn)槲覀儸F(xiàn)在都高度依賴(lài)反向傳播。

就此，Hinton提出了一種解決辦法：前向算法。

而前向算法是一種有前途的候選算法，盡管它在大型神經(jīng)網(wǎng)絡(luò)中的擴(kuò)展能力還有待觀察。

在Hinton看來(lái)，人工神經(jīng)網(wǎng)絡(luò)很快要比真實(shí)神經(jīng)網(wǎng)絡(luò)更智能，而超級(jí)智能將會(huì)比預(yù)期快得多。

由此，現(xiàn)在世界需要達(dá)成一個(gè)共識(shí)，AI未來(lái)還應(yīng)該由人類(lèi)攜手創(chuàng)造。