本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

馬斯克組局xAI“鉆研宇宙本質(zhì)”，創(chuàng)始成員高深又神秘。

相比專注于AI領(lǐng)域本身，這些成員大多具有基礎(chǔ)學科背景，接觸AI之前或是在研究基礎(chǔ)數(shù)學，或是在搞物理。

這家公司究竟要做什么？

就在這兩天，丘成桐弟子楊格（Greg Yang），成為第一個以“xAI創(chuàng)始成員”身份在國內(nèi)會議上發(fā)言的人。

在國際基礎(chǔ)科學大會的“基礎(chǔ)科學與人工智能”論壇上，他談及了自己一直以來、也是接下來要進行的數(shù)學AI工作，以及對大模型當前發(fā)展現(xiàn)狀的看法。

而他的個人經(jīng)歷也再次浮出水面，為更多人所關(guān)注。

接下來要進行什么研究？

在國際基礎(chǔ)科學大會上，楊格就自己正在研究的方向進行了一場演講。

演講主題，主要與AI和數(shù)學交叉學科有關(guān)——

從數(shù)學角度出發(fā)，建立一種描述神經(jīng)網(wǎng)絡架構(gòu)的統(tǒng)一編程語言Tensor Programs。

這是他從微軟研究院開始就一直鉆研的領(lǐng)域，繼2019年連續(xù)獨立發(fā)表的兩篇論文之后，迄今這一項目已經(jīng)有7篇相關(guān)論文問世。

具體來說，Tensor Programs項目有一個“短期目標”和一個“長期目標”。

短期來看，這個編程語言能實現(xiàn)在設計新神經(jīng)網(wǎng)絡架構(gòu)時，自動進行初始化條件分析，并給出其中最優(yōu)的超參數(shù)初始化條件，從而讓模型訓練更順利。畢竟此前，這一領(lǐng)域的初始化設置幾乎“全靠經(jīng)驗”。

長期而言，Tensor Programs項目的目標是開發(fā)大規(guī)模深度學習的“萬物理論”。

這也與楊格在推特說的、他在xAI要進行的研究方向一致：

目前無論是大模型還是其他AI研究方向，都依舊沒有真正意義上解決AI“黑箱”的問題，換而言之，AI究竟走哪種研究方向（堆疊更大參數(shù)量的模型、還是MoE）收益更高，還沒有一個明確的結(jié)論。

因此，Tensor Programs最終目標是找到一種理論上的規(guī)則，可以真正理解AI大模型的行為。

Tensor Programs最新的項目進展，是微軟與OpenAI合作發(fā)表的論文μTransfer，楊格以共同一作的身份完成了這項研究。

這項研究的核心是幫助大模型找到最合適的超參數(shù)配置，從而替更多模型節(jié)省時間和算力成本，否則對于大模型來說，“重訓”是一個非常浪費參數(shù)的行為。

目前這項研究已經(jīng)開源，楊格也在這次的演講中著重以μTransfer為例，介紹了Tensor Programs項目的進展。

從這幾篇研究論文側(cè)重的AI模型來看，大模型如今已經(jīng)是楊格研究的重點方向之一。

一個值得關(guān)注的點就是，μTransfer已經(jīng)用到GPT-4中了。

公眾號“安迪的寫作間”作者在楊格（Greg Yang）演講結(jié)束后，和他聊了聊：

下臺我問了他關(guān)于GPT-4用到μTransfer了嗎，給出肯定回答。

所以，他究竟如何看待大模型的未來？

在這次論壇的圓桌對話上，楊格也提到了自己對大模型發(fā)展方向的看法。

他認為，繼續(xù)堆疊大模型參數(shù)可以讓模型效果越來越好，但這有個前提，即數(shù)據(jù)集的質(zhì)量和數(shù)量必須要上升。

以前收集網(wǎng)絡數(shù)據(jù)就行，如今訓練集必須變得更偏向數(shù)學、科學、更有邏輯性，才能提高模型的科學和數(shù)學推理能力。

同時，楊格也給了如今拼搏在科研、交叉創(chuàng)新一線的AI研究人員一點建議，就是“Follow your dreams”：

這一階段的很多杰出的搞AI的人，像工程師、研究人員，有幾個都是像我這樣沒有讀博士，只是就想去干，拼一下就拼出結(jié)果的，像Alec Radford，GPT-1、GPT-2都是他自己做的，后來OpenAI就開始砸錢了。

曹操說的“亂世出英雄”，這是個新世界，你不要想一些外部環(huán)境，直接去干，很有可能擦出火花，這就是要你自己有熱情。

沒錯，當年的楊格，打破了微軟研究院“只招博士生”的慣例，本科畢業(yè)就進入了這一機構(gòu)工作。

他在學術(shù)經(jīng)歷上究竟有什么過人之處？

換而言之，為何他會成為馬斯克選中的“12人”之一？

楊格是誰？

楊格出生于湖南省，在北京讀完小學后，就去了美國，本科考上了哈佛數(shù)學系。

在哈佛的頭兩年，楊格參加了鼓手團、咨詢團等眾多活動。

大二結(jié)束時，有著音樂夢的他決定休學全身心投入音樂事業(yè)，成為一名電子舞曲音樂制作人和DJ，取藝名“Zeta”。

也是在此期間，楊格接觸到了人工智能。

一年半后，楊格發(fā)現(xiàn)自己的“真愛”終歸還是數(shù)學，于是又回到了哈佛。

讀完春季學期的課程后，他又休學兩年，這一次他沒有執(zhí)著于音樂，而是快速學習了數(shù)學和理論計算機科學，以及人工智能的前沿進展，此外還廣泛涉獵物理學、生物學和神經(jīng)科學。

此外，他還研究起了神經(jīng)圖靈機，并結(jié)合可微拓撲學中的思路，提出“Lie Access Neural Turing Machine”，發(fā)表于ICLR。

再次回哈佛，楊格師從丘成桐教授。

△楊格與丘成桐，圖源：楊格推特

2017年，楊格順利從哈佛畢業(yè)，拿到了數(shù)學學士學位和計算機科學碩士學位。并獲得了2018年摩根獎榮譽提名（Honorable Mention for the 2018 Frank and Brennie Morgan Prize for Outstanding Research in Mathematics by an Undergraduate Student）。

畢業(yè)后，老師丘成桐曾問楊格“你畢業(yè)去哪兒”，他說“我要去谷歌”。

丘成桐說“谷歌這種很差的公司就不要去了，我有個朋友叫沈向洋，我馬上給他打電話”。

后來，沈向洋讓菲爾茲獎獲得者Michael Freedman面試了楊格：

面試之后（Michael）說這個小孩不得了，那時候他才剛剛本科畢業(yè)，但在哈佛至少是前五名（的水平）。

我（沈向洋）當時就跟楊格講，你把谷歌的Offer拿來給我看一看，我給你加一塊錢，就來微軟吧。

最后楊格選擇了微軟。而進入微軟后楊格也獲得了沈向洋的高度評價：

微軟研究院平時只招博士生的，楊格作為一個本科畢業(yè)生進了微軟研究院，不僅進了微軟研究院，過去這五年還做得無比優(yōu)秀，特別是在GPT發(fā)展過程中做了舉足輕重的貢獻。

進入微軟后，楊格的重要成果之一就是持續(xù)開發(fā)上面提到的“Tensor Programs”框架，其中還用GPT-3對所提出的超參數(shù)遷移方法進行了驗證，相關(guān)論文已收錄于NeurIPS、ICML等頂會：

此外，谷歌學術(shù)數(shù)據(jù)顯示，楊格從2015開始發(fā)布論文，至今已有34篇。

其中引用量最高為415，這也是他在微軟的工作，楊格在這個項目中擔任主要指導（Primary mentor）。

目前，楊格個人主頁和推特主頁等均已更新，已離開微軟研究院，加入xAI，接下來將繼續(xù)做數(shù)學工作。

楊格做出了新一輪的選擇，但從第一次休學過后，他再也沒有放棄對數(shù)學的熱愛。

在這次的論壇上，楊格也被問到，當時去從事音樂后又轉(zhuǎn)到數(shù)學研究，是怎樣一直堅定走到現(xiàn)在的？

楊格回答道：

其實就是個人愛好，在我大二休學之前，我一直都是數(shù)學比較好的人，可能會覺得一輩子在這種（數(shù)學研究中）。之后雖然我去搞音樂，但有段時間自己思考后，發(fā)現(xiàn)其實我個人還是很熱愛數(shù)學。

這里面可能有外在動機（motivation extrinsic）和內(nèi)在動機（motivation intrinsic）。像數(shù)學答卷老師給你100分，你覺得很高興，這是外在的。這種外在和內(nèi)在混在一起，可能感覺不到自己真心的愛好，但是后來休息一段時間以后，感覺（對數(shù)學）是發(fā)自內(nèi)心的熱愛，之后就走了這么長的路。

One More Thing

還記得前段時間楊格給大伙兒推薦的300多本（大部分是數(shù)學）書嗎？

不少網(wǎng)友看過之后，表示“書單實在太長了，不是普通人能看完的”，還有網(wǎng)友調(diào)侃“能不能用GPT幫我總結(jié)一下”……

論壇結(jié)束后，我們也和楊格聊了聊，了解了他對ChatGPT等大模型的一些看法。

提問：看到您前段時間推薦了大概300本多書，有很大一部分是數(shù)學書，您認為AI是否有可能把它直接總結(jié)成一個核心的要點給我們？平時在日常生活中，您是不是也會用GPT-4一樣的模型，去幫助做一些數(shù)學的基礎(chǔ)研究什么的？

楊格：我覺得AI的總結(jié)能力（summarization）現(xiàn)在應該挺好的了，做簡單的總結(jié)應該沒問題。但你要再深入理解它里面的道理，像是一些數(shù)學道理的話，可能AI現(xiàn)在的幫助還不是那么大。

日常生活的話，是會經(jīng)常用到（大模型）。

提問：可以透露一下主要是用在哪些方面嗎？

楊格：我覺得最有用的方法就是寫程序吧。比如有些程序你確實可以自己寫，但自己寫的話，一是可能要花幾個小時，二是覺得這種東西不是特別有趣，所以像這種工作你就可以用ChatGPT來幫你做。

提問：相當于您完成核心思考，然后ChatGPT幫您實現(xiàn)代碼的工作。

楊格：其實就是實現(xiàn)它已經(jīng)在網(wǎng)上看到很多很多遍、所以它能寫得很好的一些程序。

但如果現(xiàn)在你想寫一個復雜的程序、像是有什么邏輯性的程序的話，讓ChatGPT來做可能還不一定做那么好。但如果是那種你寫了幾百遍的程序了，你不想再寫，就可以用ChatGPT完成。