傳奇大神何愷明被曝回歸學(xué)界,網(wǎng)友:要成全MIT引用最高的人了
本文經(jīng)AI新媒體量子位(公眾號(hào)ID:QbitAI)授權(quán)轉(zhuǎn)載,轉(zhuǎn)載請(qǐng)聯(lián)系出處。
AI大牛何愷明有了最新動(dòng)向,而且是回歸學(xué)術(shù)界。
MIT CSAIL實(shí)驗(yàn)室發(fā)布公告,3月13日下周一,何愷明將到MIT做學(xué)術(shù)演講。
此事引起AI圈廣泛關(guān)注。在相關(guān)知乎問(wèn)題下,MIT博士@Charles指出,何愷明參加的這個(gè)研討會(huì)全是Job Talks(求職演講)。
杜克大學(xué)教授陳怡然也表示,一直聽(tīng)說(shuō)何愷明在尋找教職,現(xiàn)在終于能確認(rèn)了。
求職演講是學(xué)術(shù)界一大傳統(tǒng),指申請(qǐng)博士或教職者到校做學(xué)術(shù)報(bào)告,內(nèi)容是他們自己的研究成果,通常正是在每年三四月份集中進(jìn)行。
并且進(jìn)入這個(gè)階段,就代表何愷明至少已經(jīng)通過(guò)了簡(jiǎn)歷篩選,研究成果和能力受到了MIT的認(rèn)可。
還有網(wǎng)友預(yù)測(cè),鑒于之前李飛飛到MIT演講座無(wú)虛席,何愷明這回講座恐怕也會(huì)非常火爆,成為深度學(xué)習(xí)大型追星現(xiàn)場(chǎng)。
但也有網(wǎng)友在評(píng)論區(qū)補(bǔ)充到,這不代表最終何愷明就會(huì)選擇去MIT,也可能會(huì)去其他學(xué)校,但總之在找教職基本可以確定了。
或成為全MIT引用最高的人
雖然不確定何愷明最終的選擇,但眼尖的網(wǎng)友已經(jīng)發(fā)現(xiàn),如果他真去了MIT,被引用次數(shù)將成為全校最高。
目前,MIT全校被引用次數(shù)最高的,是化學(xué)與生物醫(yī)學(xué)工程系的重量級(jí)教授Robert Langer,次數(shù)為38萬(wàn)+。
而何愷明被引用次數(shù)高達(dá)40萬(wàn)+。
△圖源:谷歌學(xué)術(shù)
盡管不同學(xué)科無(wú)法直接這么對(duì)比,但何愷明的引用次數(shù)實(shí)在是太引人注目了。
有網(wǎng)友表示,雖然引用量不一定能說(shuō)明太多問(wèn)題,不過(guò)“引用量是天文數(shù)字的一定是大神”。
要論何愷明最高引研究,必須是ResNet。在2021年底突破10萬(wàn)大關(guān),如今已經(jīng)漲到15萬(wàn)。
ResNet本身雖為計(jì)算機(jī)視覺(jué)領(lǐng)域研究,但其核心思想殘差連接已經(jīng)跨界成為現(xiàn)代深度學(xué)習(xí)模型的基本組件。
開(kāi)啟上一次AI熱潮的AlphaGo Zero就是結(jié)合了ResNet+強(qiáng)化學(xué)習(xí)+蒙特卡洛搜索共同完成。
而開(kāi)啟最新AI熱潮的ChatGPT,其中的“T”也就是Transformer網(wǎng)絡(luò)中同樣使用了殘差連接。
在計(jì)算機(jī)視覺(jué)上,何愷明的主要貢獻(xiàn)還包括Faster R-CNN及后續(xù)的Mask R-CNN等一系列研究,在很多年都是目標(biāo)檢測(cè)的主流方法。
他的近期主要研究興趣是無(wú)監(jiān)督學(xué)習(xí),21年底提出的MAE,將語(yǔ)言模型的掩碼預(yù)訓(xùn)練方法用在視覺(jué)模型上,為視覺(jué)大規(guī)模無(wú)監(jiān)督預(yù)訓(xùn)練大模型開(kāi)路。
最近他還將掩碼方法引入眾多AI繪畫應(yīng)用的基礎(chǔ)模型CLIP,把訓(xùn)練速度提升了3.7倍。
在MIT即將進(jìn)行的演講中,何愷明準(zhǔn)備的主題也是“視覺(jué)智能”。
包括他在ResNet、目標(biāo)檢測(cè)方面的成果,以視覺(jué)無(wú)監(jiān)督學(xué)習(xí)對(duì)未來(lái)研究的影響。
至于何愷明可能要加入的MIT CSAIL (麻省理工計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室),是麻省理工最大的實(shí)驗(yàn)室,也是世界著名的計(jì)算科學(xué)和AI實(shí)驗(yàn)室。
這里云集了眾多計(jì)算機(jī)科學(xué)和AI領(lǐng)域的知名人物,包括萬(wàn)維網(wǎng)發(fā)明人Tim Berners-Lee,分布式計(jì)算和并發(fā)算法專家、圖靈獎(jiǎng)得主Leslie Lamport和Barbara Liskov等等。
當(dāng)Meta AI有了產(chǎn)品壓力
何愷明本科就讀于清華大學(xué),博士畢業(yè)于香港中文大學(xué),2011年他加入微軟亞洲研究院。
自2016年起他加入Facebook AI Research,也就是大名鼎鼎的FAIR,繼續(xù)研究計(jì)算機(jī)視覺(jué)。
但就在最近一年之內(nèi),該部門已發(fā)生兩次重大調(diào)整,都是增強(qiáng)應(yīng)用型研究,削減基礎(chǔ)研究。
去年6月,受公司轉(zhuǎn)型元宇宙影響,??FAIR被降級(jí)為元宇宙部門Reality Labs的下屬組織??。
同時(shí),支持旗下各大APP的算法團(tuán)隊(duì)轉(zhuǎn)移進(jìn)產(chǎn)品工程團(tuán)隊(duì)。新架構(gòu)給了產(chǎn)品團(tuán)隊(duì)更大權(quán)限,加速技術(shù)的應(yīng)用落地。
今年2月底,扎克伯格面對(duì)ChatGPT熱潮再次做出調(diào)整,??宣布成立頂級(jí)AI產(chǎn)品團(tuán)隊(duì)。??
把全公司搞AIGC的都集中起來(lái)。
多年前,在LeCun卸掉FAIR管理層、就任首席AI科學(xué)家時(shí),還在FAIR的田淵棟、吳育昕等研究員都曾表示,在這一部門沒(méi)有產(chǎn)品的壓力。
但近期一系列調(diào)整下來(lái),Meta流失不少研究型人才,包括帶領(lǐng)過(guò)強(qiáng)化學(xué)習(xí)研究的Edward Grefenstette等至少4位知名學(xué)者離職,甚至位于倫敦的AI實(shí)驗(yàn)室失去了大部分頂級(jí)研究者。
從何愷明回歸學(xué)術(shù)界的動(dòng)向來(lái)看,他還是更傾向于搞基礎(chǔ)研究。
One More Thing
就在這段時(shí)間,關(guān)于學(xué)術(shù)界與工業(yè)界的對(duì)比再次成了AI圈熱點(diǎn)話題。
一方面,有網(wǎng)友指出工業(yè)界大廠的日子不好過(guò),工程、應(yīng)用型的崗位增加,研究型的越來(lái)越少。
另一方面則是大模型當(dāng)?shù)溃珹I科研成本指數(shù)級(jí)增加,連頂刊Science都在正刊發(fā)文表示:學(xué)術(shù)界與工業(yè)界掌握的算力已不在一個(gè)數(shù)量級(jí)。
兩者夾擊之下,AI大?;貧w學(xué)術(shù)界和離開(kāi)大廠創(chuàng)業(yè)成了同時(shí)存在的兩股趨勢(shì)。
回歸學(xué)術(shù)界的代表除了何愷明,代表人物還有谷歌Tensorflow創(chuàng)始成員Pete Warden。國(guó)內(nèi)也有螞蟻金服原副總裁漆遠(yuǎn)加盟復(fù)旦、商湯原執(zhí)行研究總監(jiān)代季峰加盟清華等。
離開(kāi)大廠創(chuàng)業(yè)的代表人物則有谷歌Transformer作者們出走成立Adept AI、Character.AI,以及前兩天剛曝出的亞馬遜李沐與Alex Smola攜手創(chuàng)業(yè)。
在《如何看待Kaiming面試MIT教職?》的知乎熱議話題下面,一個(gè)高贊回答是: