明明都是人，怎么美國的博士就人手十篇AI頂會，還有五篇是一作？

最近，歐洲博士的一篇質(zhì)疑，在機器學習社區(qū)火了！

他表示，自己正在歐洲大學攻讀博士學位，研究方向是AI/機器學習/CV領域。

自己的博士學業(yè)為期4年。

第一年，主要就是學習怎樣真正地搞研究，了解整個的學術運作機制。

第二年，自己就已經(jīng)作為共同作者，在頂會CVPR上發(fā)表了首篇論文。

第三年，他已經(jīng)能夠管理研究項目，了解了如何申請資助，掌握了資金運作機制和其中的各種細節(jié)。

此時，他的簡歷中新增了兩篇論文，一篇是期刊論文，一篇是會議論文，都是以一作身份發(fā)表的。

在此期間，他深度參與了產(chǎn)業(yè)界的事務，為和自己實驗室有合作的公司寫了大量跟AI、系統(tǒng)架構、后端、云計算、部署等相關的生產(chǎn)級代碼。

看起來，自己應該算比較成功的博士了對不對？

然而，當他看到美國同背景的博士履歷時，直接驚呆了！

他們幾乎人手十篇頂會論文，全是CVPR、ICML、ICLR、NeurIPS級別的頂會，而且還有五篇是一作！

這位歐洲博士表示，自己受到相當大的沖擊——

這些人究竟是怎么做到完成這么多工作，還能每年在A類期刊上發(fā)3篇論文的？他們難道不需要睡覺嗎？

這位博士表示，我并不認為這些人比我聰明。

每當自己有了新idea，就會去查找是否已經(jīng)有人研究過。

他時常發(fā)現(xiàn)，某個斯坦福或者DeepMind的博士生剛好在一個月前發(fā)表了類似的研究，這就證明自己的思路是很前沿的，并不落伍。

然而如果要深入理解這些論文中的概念，就要需要投入的努力，再加上有獲取所有必要資源的過程，會耗費大量時間，絕不可能是2-3個月的項目就能搞定的。

最后，這位博士發(fā)出了心底的疑問——

我真的很困惑，這幫人是如何做到這么高效的？他們是不是有什么特殊的研究方法和資源，讓他們?nèi)绱搜杆俑弋a(chǎn)高質(zhì)量研究？

面對網(wǎng)友們的各種反應，他也澄清道：自己并不是喜歡拿自己和別人比較的人，因為每個人所處環(huán)境不同。

但是，對于僅有3-4年研究經(jīng)驗的人來說，短短一年內(nèi)就源源不斷地產(chǎn)出高質(zhì)量研究和創(chuàng)新成果，這從人類角度來看是不可能的事！自己仿佛完全被蒙在鼓里。

背后到底有什么因素，導致了人和人之間的這種巨大差別？

美國匯集世界頂尖人才，個個都是「卷王」

有人現(xiàn)身說法表示，這是因為，美國大學里充滿了卷王！

首先，美國學術界存在一種很卷的發(fā)表和工作文化。

曾在美國頂尖CS項目之一的實驗室做過本科生的層主表示，自己親眼目睹了研究生們的工作節(jié)奏——

一周七天都在工作，每天超過10小時，全年無休。

有一次，他無意中晚上7點去實驗室，發(fā)現(xiàn)自己的研究生同學還在那里。

因為好奇他究竟會工作到多晚，層主干脆在實驗室等他，結果是——直到凌晨1點，他才回家！

當然，這并非實驗室的強制要求，每個人都可以和項目負責人約定自己的工作界限。

但在美國這個人才競爭如此激烈的領域，每個人都會感受到巨大的壓力，沒有誰能不受影響。

第二點，美國實驗室的顯著優(yōu)勢，就是吸引了來自世界各國都頂尖人才。

這里層主特意拿清華舉了例子，據(jù)悉這個頂尖項目對于清華學生的錄取率僅有0.1%……

如果能吸引到中國和其他國家的頂尖人才，還讓他們每天工作10小時，那你很難不產(chǎn)生一些瘋狂的成果。

總之，全球頂尖人才，匯聚在了一個高強度的工作環(huán)境里，這就造成了美國研究生驚人的學術產(chǎn)出。

基于NeurIPS 2022被接收論文作者數(shù)據(jù)

的確，立馬有人證實了他的說法。

他表示，在自己的實驗室，每周工作六十小時簡直是家常便飯。

在緊急時期，甚至可能飆到每周七十小時。

有一次幾個本科生因為在晚上十一點來到實驗室。當他們看到我們這些研究生還在埋頭工作時，一個個滿臉震驚。但說實話，對我們來說，這種情況再平常不過了。

另一位博士說，每天工作超過10小時，7天無休是很常見的，很多博士都是這樣的。

不過他也指出，研究團隊的規(guī)模也是造成這種情況的一個因素。

在大學里，自己花了一年時間才完成一篇論文，而第二篇論文用了6個月，作者只有自己、導師和聯(lián)合導師。

但最近，當自己在谷歌兼職實習時，那里的期望是讓他6個月寫出三篇論文……

因為那里有一個規(guī)模不小的研究團隊，所以這種要求應該是常態(tài)。

總之，簡單概括就是兩點原因：

1. 他們很卷，卷到不可思議。

2. 全世界最頂尖的學生都去了美國，而不是歐洲。

而且，這種情況絕不僅僅是在AI領域存在，幾乎所有的STEM（科學、技術、工程和數(shù)學）領域都是如此！

有人說，自己在讀物理學博士的時候，也是這種狀態(tài)：生活里根本沒有除了學習以外的東西。

這種影響其實很殘酷，不少在讀博士的心理健康狀態(tài)都不太好，已經(jīng)有大量文章討論這一現(xiàn)象了。

既不缺GPU和資源，還有大廠/大佬背書

GPU Rich vs GPU Poor

此外，帖子中還有人一語道破：大家都沒提的一個重要因素，就是資源。

可能和大多數(shù)人一樣，樓主也是「GPU窮人」。而那些頂尖博士項目的資源，可是有著天壤之別！

他們擁有極其昂貴的GPU集群，因此能夠快速訓練或微調(diào)幾乎所有的模型，甚至是超過千億參數(shù)的大模型。

這種資源優(yōu)勢讓他們能夠大幅提升迭代速度，從而開展一些對其他人來說根本無法想象的研究。

的確，即使在美國的不同高校，手握GPU的資源也差別巨大。

之前就有全美TOP 5的機器學習博士痛心發(fā)帖自曝：實驗室里H100數(shù)量是0，同實驗室博士之間得靠搶。

他表示在自己讀博期間，計算資源是主要瓶頸。如果能有更多高性能的GPU，計算時間會顯著縮短，研究進度也會快很多。

普林斯頓、哈佛這樣的「GPU豪門」，手上的H100至少以三四百塊打底，但是連AI教母李飛飛的斯坦福自然語言處理（NLP）小組，也只有64塊A100 GPU。

在這種巨大的差異面前，出成果的速度自然也是一個天上，一個地下。

「名人效應」

有人提到，知名機構的title，就是很有分量的隱形資產(chǎn)。

首先，很多知名機構和美國的大型科技公司保持著密切聯(lián)系。

這種關系不僅會激發(fā)出創(chuàng)新項目的靈感，還能提供額外的資源支持。

另外，斯坦福大學或者谷歌等知名機構的title，也無形中起了很大作用。

當你看到標有這些機構的logo的預印本論文在截止日期前幾周出現(xiàn)在arXiv上時，情況就復雜了。

這些論文，通常都配有專業(yè)的圖表、完整的項目網(wǎng)站和精心策劃的公關宣傳。

這篇文章，就被大佬戲稱為「PR工作的典范」

這種情況下，每個人都知道是誰的工作，為什么這項工作很重要。

你敢說審稿人不會受此影響嗎？

這種情況下，他們很可能不敢給出過于嚴厲的批評。

即使他們認為論文質(zhì)量很差，但這是DeepMind論文，誰敢在評審意見中直接開麥diss呢？

總之，這些頂尖機構擁有雄厚的資源，自然而然就吸引了最有抱負、最優(yōu)秀的學生，可以快速推進各種項目。

而在這些機構中，也就培養(yǎng)出了一種跨越好幾代學生和教師的機構文化——優(yōu)先考慮如何在最短時間內(nèi)，發(fā)表盡可能多的高影響力論文。

其實是「幸存者偏差」？

稍顯安慰的是，也有人對歐洲博士表示，其實這就是幸存者偏差。

可能他關注的都是美國頂尖的機器學習項目，他們的成果自然也是世界一流的。

但如果去了解一下普通大學里博士生的情況，就會發(fā)現(xiàn)他們作為一作在頂會上發(fā)論文的情況并不常見。

當然也有不那么成功，或者干脆轉行了的人。

有些人可能費了老勁也就發(fā)表了一篇論文，然而選擇去私營企業(yè)上班，不混學術圈了。

有人對這位博士表示，你所觀察到的樣本，并不具有統(tǒng)計學意義上的隨機性和代表性。

被偶然看到的美國博士生的論文或簡歷，幾乎可以肯定地說，代表了學術成就分布中最為top的那一波。

這些高產(chǎn)出的學生，往往會被他們所在的知名實驗室和機構更多地推廣。他們的成功可能源于良好的科研環(huán)境、出色的個人能力、一定的運氣成分、嚴格的競爭性選拔以及其他因素。

其實這就類似于社交媒體會導致人們焦慮和抑郁。

在社交平臺上，人們傾向于展示自己最好的一面，這導致我們常常將自己與一個經(jīng)過篩選、存在偏差且被美化過的樣本進行比較。

在學術界也是如此，每個研究者都在某種程度上「推銷」自己的研究成果，而那些最引人注目的成果，自然會得到更多關注。

在這種情況下，退一步、獲得更廣闊的研究視角，會很有幫助。他強烈推薦這位博士去讀一下閱讀Richard Hamming的經(jīng)典演講稿「你和你的研究」（You and Your Research）。

也有人指出，雖然樓主的描述有些夸大了，但的確存在一個臨界點，超過這個點之后，單純增加數(shù)量和投入時間并不能等同于提高質(zhì)量。