LeCun眼中的GPT-3:對世界的運作一無所知
本文經(jīng)AI新媒體量子位(公眾號ID:QbitAI)授權(quán)轉(zhuǎn)載,轉(zhuǎn)載請聯(lián)系出處。
“有些人對大型語言模型(類似于GPT-3)能做的事,有著不切實際的幻想……GPT-3對于這世界的運作方式一無所知。”
近日,LeCun忽然在臉書上發(fā)表了對GPT-3的看法。

LeCun表示,他的朋友已經(jīng)進行了一些研究,打破了人們對“大型語言模型能被用于醫(yī)療保健行業(yè)中”的期待。
他認為,GPT-3“具有娛樂性質(zhì)”,對于創(chuàng)造性工作來說,也許能起到一定作用。
但除此之外,LeCun指出:“指望用做大型語言模型的方式建智能機器,就跟努力造高原飛機、并期待它能登月一樣不切實際。”
對此,網(wǎng)友炸開了鍋。
到底怎么理解LeCun的評價
LeCun認為,GPT-3有一定作用,但不是以“理解”文本的方式運轉(zhuǎn)。
它收集了許多文本,但當(dāng)被要求預(yù)測接下來的文本時,它實際上是根據(jù)“詞匯出現(xiàn)的概率”,而不是“世界運轉(zhuǎn)的方式”來進行的工作。
獲取知識vs理解語言
一部分網(wǎng)友的討論,集中在GPT-3到底有沒有理解世界上。
他們中的一部分認為,“獲取知識”和“理解語言”是兩種不同的能力。
網(wǎng)友leftyted認為,對于GPT-3到底有沒有理解能力,其實是個哲學(xué)問題,畢竟知識和語言是兩碼事。
他認為,如果語言里沒有各種各樣的隱喻,那么GPT-3在掌握知識這方面,與人類有同樣的能力。

△理解本身就很困難
但網(wǎng)友babesh認為,要是將語言和知識分開討論,那么GPT-3更無法獲得世界的全部知識。因為很多東西能用感官感覺到,但如果沒有想象力的話,這種感官上的“知識”根本無法存在。
GPT-3真的能用嗎?
另一些網(wǎng)友則認為,LeCun所說的“GPT-3無論是對話、還是問答能力都不太行”這個觀點,其實不太正確。
事實上,好些用過GPT-3網(wǎng)友表示,它的能力還是超乎想象的。
網(wǎng)友neuro_thing認為,LeCun能得出這樣的結(jié)論,說明他的團隊肯定做過相關(guān)研究了。
但就他使用GPT-3的情況來看,它很方便、且效果出色。不僅如此,這位網(wǎng)友還表示,就他所知,GPT-3已經(jīng)取代了兩位機器學(xué)習(xí)工程師的工作。

當(dāng)然,也有人反駁這樣的觀點。
網(wǎng)友confuseshrink認為,即使認為GPT-3很有用,但只要不信任它的輸出,甚至需要手動檢查結(jié)果,那它的確沒有想象中那么有用。
“別對GPT-3上限有期待”
也有一些網(wǎng)友認為,LeCun真正想表達的,其實不是GPT-3有沒有作用,而是它的上限究竟有多高。
網(wǎng)友moultano認為,LeCun本意并不是“GPT-3沒什么特別的”,只是他認為,繼續(xù)堆疊大型語言模型的做法,沒有前途。
△“房子再高,也登不上太空”
但無論如何,對于像GPT-3這樣的AGI(通用人工智能)到底能走到哪一步,大神們都已經(jīng)表達過自己的看法。
GPT-3:Hinton贊嘆,Bengio和LeCun都不看好
三位圖靈獎獲得者,Geoffrey Hinton、Yoshua Bengio和Yann LeCun,對關(guān)于GPT-3這類通用人工智能,給出了不同的看法。
Hinton表示,從GPT-3出色的性能可以推斷,生命、宇宙和萬物的答案“不過是4.398萬億個參數(shù)而已”。

不過,相比于Hinton的觀點,LeCun對于AGI這一類模型都不看好。
LeCun認為,無論是自監(jiān)督學(xué)習(xí)、還是神經(jīng)生物學(xué),也不足以實現(xiàn)通用人工智能(AGI),即使是任何具有“理解”能力的智能機器,也不可能實現(xiàn)。
“AGI不存在——根本就沒有通用智能這種東西。”LeCun認為,“可以說機器擁有老鼠級別的智力、貓級別的智力、狗級別的智力、人類級別的智力,但這些都不是AGI。”
相比之下,Bengio則認為,如果不從“理解”的角度去談?wù)撏ㄓ萌斯ぶ悄埽蛟S也會有自己的作用。
Bengio覺得,機器最后的確可以獲得、并使用關(guān)于世界的所有知識,但不是以“理解”語言的方式,而是以類似于“口述”的方式。
不過,Bengio仍然期待機器擁有“理解”能力。
“我認為,文化是人類如此聰明且能夠解決問題的一個重要原因……如果真的希望AI有點用,那么機器不僅需要翻譯能力,更需要理解語言的能力。”






