田淵棟:關(guān)于GPT-4的一些感想
OpenAI昨天發(fā)布了GPT-4,試用了一下確實很不錯。
在我主要關(guān)心的故事生成方面,與ChatGPT生成出來的故事相比,GPT-4文筆更佳細(xì)節(jié)更多,更擅長生動具體的描繪,情節(jié)也開始出現(xiàn)一些有趣的轉(zhuǎn)折。當(dāng)然,ChatGPT有的問題,比如說缺乏整體布局謀篇能力,角色不突出,敘事展開比較無聊,續(xù)寫段落會很快歸于一個平庸的結(jié)尾等等,在GPT-4上面仍然存在。
從它的性能報告上來看,與GRE verbal接近滿分相比,GRE寫作只有4分,大學(xué)預(yù)修英語寫作也只有2分(3分及格),而且從GPT-3到4沒有進步,不知道是不是和這些問題有關(guān)聯(lián)。
但不管怎么說,GPT-4已經(jīng)能幫我們干很多日常工作了。自從2013年深度學(xué)習(xí)開始爆發(fā)以來,僅僅過了十年,我們就有了如此強力的工具,其進化速度可以說是超出想象。
2017年我在為什么有些學(xué)數(shù)學(xué)的看不慣甚至鄙視 Deep Learning?這個回答里面寫了一些大膽的猜測,比如說“漫漫長夜里瞎摸,太陽還沒有露頭”,現(xiàn)在看起來這些預(yù)測還是大體正確的,只是想不到,這一天會那么快到來。
一個技術(shù),一旦變成像微積分一樣的通用工具,那接下來帶來的巨大變革,是可以預(yù)期的。
如果再把眼光放得長遠些,將來會發(fā)生什么事呢?
我在2020年左右也有一些思考,放在自己的科幻小說里了。總的來說,如果這樣的趨勢發(fā)展到極致,再加上連實物產(chǎn)品的制造都可以就地取材完全自動化,那最后的結(jié)果就是「所思即所得」:只要能構(gòu)思出一個東西,它就會以極低的成本出現(xiàn)在自己的面前。
大部分重復(fù)性勞動,只要可以被機器無限制復(fù)制,其價值就會降到近乎為零,成為和水和空氣一樣無所不在的公共品。
在這種條件下,「獨一無二」就會成為大家所珍視的價值和意義。也許以后,判斷人才的主要因素,不再是完成學(xué)位,考試過關(guān),而是看個人的經(jīng)歷和成就。
「同樣的目標(biāo)下比別人做得更好」是一種獨一無二,「去往從未有人去過的方向」也是一種獨一無二。這不僅包括同行認(rèn)可的學(xué)術(shù)成就,比如解開無人能解的難題,開創(chuàng)并探索一個新的學(xué)術(shù)方向,更包括獨一無二的經(jīng)驗、見解、思考方式,乃至三觀,比如說一個拄著拐杖徒步探險過南極的程序員,他/她對這個世界會有什么樣的觀點,見解和感悟?一個曾自制火箭去往月球但中途失控,又奇跡被救的歷史系學(xué)生,將在自傳里如何講述這段經(jīng)歷?
這些與個人特質(zhì)緊密結(jié)合的話語權(quán),會讓每個人都能占據(jù)人類社會中的一個獨特生態(tài)位,成為「人之為人」最終的定海神針。即便是將來意識能夠上傳,數(shù)字孿生能夠?qū)崿F(xiàn),這種獨特人格仍然是無法復(fù)制的——完全相同的個體,只要變成了兩個并開始各自接受不同的外界信號刺激,他們內(nèi)部的狀態(tài)就會因更新而不同,軌跡就會開始分叉,從而再次變得獨一無二。
總的來說,每個人都通過自身的「道」來證明自己的選擇,又因為過去的選擇,來累計自己獨一無二的特質(zhì)。無法預(yù)先判斷誰比誰更優(yōu)秀,因為計算這個判定函數(shù)本身,就需要個體踐行自己的道路。而無數(shù)的,堅持各自方向的人聚在一起,就會不斷涌現(xiàn)出各種奇妙的想法,有一些被實踐證明正確的,就會影響到他人并且吸引到追隨者。而包含這些所有個體的,一個多元包容的世界,就會充滿前進的動力。
扯遠了。
對于研究者們而言,GPT-4的出現(xiàn)意味著什么呢?
我們有兩種極端的選擇,其一是關(guān)起門來,不聽不看,沿用舊的思維慣性去構(gòu)思研究路線,繼續(xù)發(fā)表下一篇文章;也可以從此百分百拋棄以前的研究思路,撕掉所有課本,相信算力為王,大模型大數(shù)據(jù)就是一切。
我覺得這兩種態(tài)度都不可取。研究的范式要有變化,不再是發(fā)現(xiàn)特定的知識,而是研究模型學(xué)習(xí)的機制,尋求其學(xué)習(xí)能力的本源。比如說通過海量的數(shù)據(jù)訓(xùn)練,現(xiàn)有的模型可以自動學(xué)會很多概念。
但模型是如何學(xué)會這個概念的,為什么大模型會學(xué)得更快更好,它怎樣從數(shù)據(jù)中被發(fā)現(xiàn),被模型抓住并且在訓(xùn)練中不斷被強化?高級的概念是如何形成的?現(xiàn)有的模型如何抓住這些概念,以什么樣的機制抓住它們?我覺得這些可能是在長遠上來看,真正有意義的基礎(chǔ)研究方向,也是把”人工智能“這個玄學(xué),真正轉(zhuǎn)化成科學(xué)的最終出口。
當(dāng)然了,這些應(yīng)該說是幾十年的尺度上看的,要做這些研究,需要大量的基礎(chǔ)知識,充足的耐心,擅長接受超出自己認(rèn)知范圍內(nèi)的新生事物,又能把它融入原本的工作流和研究思路中去。
這可以算是自己在研究上獨一無二的「定海神針」吧,希望能夠繼續(xù)走下去。