本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

大模型掀起了一波AI領(lǐng)域的熱潮，無論學(xué)界研究還是產(chǎn)界創(chuàng)業(yè)都風(fēng)頭不減。

然而隨著關(guān)注度變高，AI大牛們對于“大模型未來要走什么路”也產(chǎn)生了分歧：

• 隨著參數(shù)量的增加，AI模型是否還會有新的“智能涌現(xiàn)”出現(xiàn)？
• 更多模態(tài)、更優(yōu)質(zhì)的數(shù)據(jù)，會是AI模型未來發(fā)展的關(guān)鍵嗎？
• 為什么中國沒有出現(xiàn)ChatGPT？
• ……

在一場名為“基礎(chǔ)科學(xué)與人工智能”的論壇上，來自不同領(lǐng)域的幾位AI專家，針對這些問題提出了非常激烈的、不同的看法。

這場論壇由清華大學(xué)教授孫茂松主持，美國國家工程院外籍院士沈向洋、德國國家工程科學(xué)院院士張建偉、瀾舟科技創(chuàng)始人兼CEO周明、xAI創(chuàng)始成員楊格參與了圓桌對話環(huán)節(jié)。

圖片

在對話中，他們核心探討了包括大模型和通用人工智能在內(nèi)，AI領(lǐng)域當(dāng)下最關(guān)心的幾個問題。

在不改變原意的基礎(chǔ)上，我們對圓桌對話部分進行了整理，希望能給大家?guī)硪恍﹩l(fā)。

大模型和AGI的問題與挑戰(zhàn)

在進行了“如何用大模型創(chuàng)造價值”、“數(shù)學(xué)理論和智能涌現(xiàn)”、“基礎(chǔ)科學(xué)與具身智能”等主題的演講后，5位AI大牛就“大模型及通用人工智能：問題與挑戰(zhàn)”這一主題，開展了一場圓桌對話。

“大”是模型的未來嗎？

孫茂松（主持人）：先從GPT-3那篇論文說起。我當(dāng)時注意到它的題目《Language Models are Few-Shot Learners》，一下子就被這個觀點抓住了，少樣本（Few-Shot）扭轉(zhuǎn)了我們之前說有多少智能就有多少人工的觀點，這實際上是質(zhì)的變化，好像機器有了舉一反三的能力。

但我們沒有抓住這個再往下走，當(dāng)時國內(nèi)的判斷，其實國內(nèi)的自然語言處理、人工智能領(lǐng)域，從2012年到現(xiàn)在都跟得很緊，包括學(xué)校、微軟研究院、大廠等都跟得很緊，應(yīng)該說我們基本上在國際前沿領(lǐng)域在做，像周明是ACL前任主席，我們中國學(xué)者在ACL上面發(fā)論文的數(shù)量，我估計跟美國人差不多，但是（GPT-3）這件事我們就沒抓住。

當(dāng)時我們感覺這種規(guī)模大的模型，雖然看到了少樣本（Few-Shot），但我們潛意識認為它的性能會到天花板。而OpenAI顯然不一樣，它堅信這個（性能）會往上走，就有了后來的ChatGPT。

過去的事就過去了，未來可以想象這個模型會越來越大，除了文本，我們把圖像、視頻、三維、具身全給打進去，比如模型規(guī)模到了再大的十倍、甚至百倍，百倍估計就跟人腦的參數(shù)規(guī)模差不多了，到那時候會不會還有新的涌現(xiàn)？

△孫茂松

它會飽和嗎？還是到哪個點可能又往上“跳一跳”？

這個我們應(yīng)該有個判斷，如果抓不住我們可能會又一次大幅落后。這個問題大家做一下自己的判斷，講一講為什么？先從楊格開始吧。

沈向洋：老師不介意的話，我先隆重介紹一下楊格。做老師最開心的不過是介紹自己的學(xué)生，非常有幸很多年前因為丘先生的原因認識了楊格，他在北京長大，很小就去了美國，考上了哈佛數(shù)學(xué)系本科，讀書讀得很好，休學(xué)的一段時間是去追求他的音樂夢想，出去做DJ，打碟打了一兩年，后來發(fā)現(xiàn)真愛還是數(shù)學(xué)，再回到哈佛一發(fā)不可收拾，念書念得非常好。

畢業(yè)的時候丘先生問他“你畢業(yè)去哪兒”，他說“我要去谷歌”，丘先生說“谷歌這種很差的公司就不要去了，我有個朋友叫沈向洋，我馬上給他打電話”。

然后丘先生給我打電話，我電話面試了楊格，但是我數(shù)學(xué)不夠好，我不能完全相信丘先生的推薦，我就讓我手下的菲爾茲獎獲得者Michael Freedman面試了他，面試之后（Michael Freedman）說這個小孩不得了，那時候他才剛剛本科畢業(yè)，但在哈佛至少是前五名的水平。

我當(dāng)時跟楊格講，你把谷歌的Offer拿來給我看一看，我給你加一塊錢，就來微軟吧。所以他就這樣來了微軟，我們微軟研究院平時只招博士生的，楊格作為一個本科畢業(yè)生進了微軟研究院，不僅進了微軟研究院，過去這五年還做得無比優(yōu)秀，特別是在GPT發(fā)展過程中做了舉足輕重的貢獻。

最近馬斯克在做一家初創(chuàng)企業(yè)、一個新的獨角獸企業(yè)，叫xAI，楊格是最早被馬斯克邀請為合伙人的。我先這樣簡單介紹一下楊格，然后他回答一下孫老師這個很難的問題。

楊格：我試著回答一下孫老師的問題。您的問題是說以后把模型變得更大、數(shù)據(jù)集更大，（性能）是不是還會繼續(xù)上升？

這個看情況，但至少是這樣的，模型變得更大的話，再調(diào)整訓(xùn)練集（fix training set）、就是同樣的訓(xùn)練集（training set），訓(xùn)練損失（training loss）肯定是一直會下降到0。

但是在訓(xùn)練集（training set）和最后想要的通用智能（general intelligence）之間，這個距離（gap）大小的話，那就要看你收集的數(shù)據(jù)集是質(zhì)量好還是差。

所以，模型越來越大的同時，要收集越來越多的、質(zhì)量越來越好的數(shù)據(jù)集，并且數(shù)據(jù)集要更加豐富。

以前是用更加偏向網(wǎng)上輿論之類的數(shù)據(jù)集，以后要用更加偏向數(shù)學(xué)、科學(xué)、更有邏輯性的訓(xùn)練集（training set），這樣以后才能提高模型的科學(xué)和數(shù)學(xué)的推理能力，這個還有很長的路可以走。

孫茂松（主持人）：模型性能肯定會上升，這個沒問題。我的這個問題，說再直白一點，比如在圖像這個領(lǐng)域，有沒有可能將來產(chǎn)生涌現(xiàn)？

因為現(xiàn)在圖像的模型是比較小的，我看和文本模型相比圖像模型大小只有十分之一、還差得很遠。那如果把圖像模型這部分做大，特別是在一個時序空間里面把視頻放進來，先不說三維，就說在視頻領(lǐng)域有沒有可能產(chǎn)生一個涌現(xiàn)？不光是文本領(lǐng)域。

楊格：那肯定的。我剛才說數(shù)據(jù)集更加豐富，指包括視頻、文本、圖片等數(shù)據(jù)我覺得都可以加到里面。以后還有其它的信息（signal）、專門的信息（signal），都可以用來搜集成更豐富的訓(xùn)練集（training set），我覺得肯定都會有用，就是看它的質(zhì)量。

沈向洋：我補充一下，我也同意楊格講的，這個（大模型的）能力我個人認為還沒有到底。

這并不代表我不同意周老師演講中提到的，有了大模型，還要有行業(yè)模型、場景模型，這個為了落地肯定要做的。

但是從智能的角度來講，我自己覺得GPT-3只是起了個頭?，F(xiàn)在GPT-4讓大家很震驚、GPT-5還在探索，甚至過一兩年GPT-5出來以后，我覺得肯定也還沒有到底。

對于我們做科研的人來說，很重要的問題是（大模型性能）是否還會猛漲？至少做GPT-5的這幫人認為還是會猛漲。我個人也是充分地相信，我們今天還是要下定決心、要有一批人狠狠地做大模型，這是毫無疑問的。

那么剛才講到多模態(tài)、計算機視覺，我自己也是非常相信，今天視覺大模型還是做得不夠大。我們怎么去訓(xùn)練多模態(tài)？其實GPT-4都沒有做得很好、還有很多想象的空間，你也知道，我們在IDEA研究院也在繼續(xù)嘗試做更多這樣的東西。

過去這幾年，有幾篇文章我自己是很震驚的，其中一篇文章就是谷歌的ViT（Vision Transformer）。

你問我計算機視覺會不會有（智能涌現(xiàn)）？我們以前做計算機的時候，周老師做自然語言處理，我以前做計算機視覺，我們倆人基本上很少交流，因為我們隔行如隔山。

大模型一來徹底打破了壁壘。今天周老師可以走出來，滔滔不絕講一通計算機視覺，我聽了會以為他真的很懂，原因就是這些技術(shù)，像（ViT里面的）Transformer，其實是從自然語言領(lǐng)域出來的，ViT非常簡單，它里面把一張照片劃成一格一格，每格就是一個字了。

這里面我覺得充滿著想象力，計算機視覺大模型會越來越大、越來越好。

張建偉：我也補充一下，未來學(xué)習(xí)曲線增長會多陡，我覺得一方面在于數(shù)據(jù)的質(zhì)量和數(shù)據(jù)的多樣化，如果都是同質(zhì)化的數(shù)據(jù)，學(xué)習(xí)是不會再增長的，這方面數(shù)據(jù)的多樣化非常重要。

另一方面是語言的多樣化和文化的多樣化，還有多模型的富集（enrichment）。

我想現(xiàn)在單模態(tài)純語言模型出現(xiàn)的問題，未來可以用多模態(tài)的形式進行驗證，降低非常愚蠢的問題出現(xiàn)的幾率，提高它的可靠性。

未來在圖像方面的模態(tài)（modelity），甚至在具身智能的力覺、觸覺、整個交互全模態(tài)的信息，不只是對機器人有用，對整個大模型的質(zhì)量和它的可靠性，都有非常好的影響。

周明：我補充一下，剛才幾位老師講得都很好。我是這樣的觀點，純粹加數(shù)據(jù)它肯定還會漲，但是漲的陡度，我個人認為會越來越平，但什么時候開始平下來還不知道，是不是現(xiàn)在ChatGPT、GPT-4、GPT-5之后就開始平，還是會再漲不知道，但是我覺得還是會漲，這是第一個觀點。

第二個觀點，我認為（大模型）到一定程度會黔驢技窮。但我的觀點被很多人罵，說你是反對大模型，你家里沒有錢，所以升不了這么大的模型。

我認為，像剛才建偉也講，異構(gòu)或者說異質(zhì)的信息有可能幫助大模型增長。

舉個例子，很多人都反對知識圖譜，認為知識圖譜在大模型時代就是“Nothing”。但我個人認為，知識圖譜肯定是沒用好，而不是“Nothing”，未來是有可能用好的。

現(xiàn)在用土辦法，把知識圖譜變成文字再訓(xùn)練大模型，我認為是逆歷史潮流而動，是沒有辦法的辦法，未來肯定有好的辦法把知識圖譜用在大模型里，這是第一。

第二，還有一件事就是所謂的邏輯推理。用大模型做美國律師考試的問題，無論什么大模型，能力都是在一點點增長，但特別特別慢。

我覺得這跟丘先生倡導(dǎo)的交叉學(xué)科是非常有關(guān)的，如果我們把數(shù)學(xué)邏輯推理巧妙地融入到大模型中，興許有一天我們能看到大模型更大幅度地增長。

為什么中國沒有出現(xiàn)ChatGPT？

孫茂松（主持人）：我還想再問一個問題。ChatGPT出來以后，大家捶胸頓足，說這個為什么中國沒搞出來？咱們展望未來，這里面肯定有很多深刻的問題。像我們的高等教育，大家能不能給提點什么建議，比如我們培養(yǎng)學(xué)生的時候，或者學(xué)生接受我們某種教育的時候，應(yīng)該注意點什么？

或者有高度交叉性、創(chuàng)新性工作的時候，老師應(yīng)該注意點什么，學(xué)生應(yīng)該注意點什么？

楊格：很簡單，就是“Follow your dreams”。因為你看這一階段的很多杰出的搞AI的人，像工程師、研究人員，有幾個都是像我這樣沒有讀博士，只是就想去干，拼一下就拼出結(jié)果的，像Alec Radford，GPT-1、GPT-2都是他自己做的，后來OpenAI就開始砸錢了。

曹操說的“亂世出英雄”，這是個新世界，你不要想一些外部環(huán)境，直接去干，很有可能擦出火花，這就是要你自己有熱情。

孫茂松：我特別同意，要有夢想、有熱情。

張建偉：剛才提到的興趣型，我想作為我們未來人才培養(yǎng)是一個重要的指標。現(xiàn)在國內(nèi)經(jīng)常從高考就以分為最重要的指標，到大學(xué)實際上我們可以轉(zhuǎn)換一些方式，讓靠興趣驅(qū)動的學(xué)生變得越來越多，功利型的學(xué)生變得越來越少。

要允許愿意探索的學(xué)生失敗，年輕人還有很長的時間，他們有時間失敗和探索，這方面的趨勢應(yīng)該繼續(xù)鼓勵。

科研方面，我們也要減少現(xiàn)在比較死板的KPI方式，允許科學(xué)家坐冷板凳，十年磨一劍，允許失敗，才有可能出現(xiàn)GPT這樣重大的突破。

周明：我想替那些起于微末之時的學(xué)生說句話。很多學(xué)生不是名校、名專業(yè)的，數(shù)學(xué)也不是太好，編程也一般，這樣的人怎么實現(xiàn)美好的前程？我想多說一句這樣的話，第一，不要氣餒。

總有某一點是別人不如你的地方，比如說劉備同學(xué)，劉、關(guān)、張其實他的武力最弱，他還能把關(guān)、張兩個人忽悠起來一起干。

我們每個同學(xué)都有自己的優(yōu)點，你從你的優(yōu)點出發(fā)，買到一張船票，上了船就有很多同志跟你一起航行，實現(xiàn)偉大的夢想，這是我的建議。

沈向洋：您這個問題問的很難，你自己也是清華的教授，我自己在清華也帶過一些學(xué)生，在微軟研究院工作很多年，現(xiàn)在做數(shù)字經(jīng)濟研究院在深圳，最近擔(dān)任香港科技大學(xué)校董會主席，有機會思考高等教育和科研的問題。

我覺得現(xiàn)在全國都在想一個問題，在這樣新的科技發(fā)展的形勢下，一方面是學(xué)校對孩子們的培養(yǎng)，要能提供一些寬松的環(huán)境、創(chuàng)新的機會。

我特別喜歡剛才周明講的，每一個人都有自己的機會，特別是如果有機會進入一些機構(gòu)、單位學(xué)習(xí)，抓住這樣的機會，總是可以做一些非常了不起的事情。

從我們的角度來看，更加要思考有沒有一些方式，怎么樣做好有組織的科研。因為你問GPT這件事情，GPT出來之后大家一片焦慮之聲，你一定要知道，ChatGPT發(fā)生在美國也是很偶然的一個事件。

ChatGPT發(fā)生前一年，不要說我們這些人沒有反應(yīng)過來，蓋茨自己也沒有反應(yīng)過來。蓋茨說，直到去年6月份，他都不相信這件事能做出來，一直到8月份給他Demo了，其中60道題做對59道，他那時候才相信這件事真是這樣。

我想每一個不同的行業(yè)的問題，是需要我們找出一條自己的道路，怎么樣有組織做科研的道路。

OpenAI這樣的做法，跟我們微軟研究院是非常不一樣的打法，OpenAI有了這樣的成功，也不代表他接下來馬上會繼續(xù)不斷成功。

只有時間能證明，所以我們自己要有努力奮斗的精神，不斷地嘗試如何把大家組織起來，在現(xiàn)在的形勢下做科研。

舉個具體的例子，剛才周明也講到了，我剛才演講里也講到了算力的問題。今天沒有這樣強大的算力，楊格去了馬斯克那里，馬斯克給他買一萬張卡的話，楊格去了也是英雄無用武之地。

從這個意義上講，我覺得方方面面的配合也非常重要，這是非常困難的問題，我也只能分享一點自己粗淺的看法。

對幾位AI大牛的主題演講、以及圓桌論壇感興趣的，可以戳直播回放觀看~

“基礎(chǔ)科學(xué)與人工智能”論壇直播回放：https://live.huiyiguanjia.com/PcLivePro/index.html?istest=true&rid=1162369611