誰在發(fā)表最具影響力的 AI 研究？在如今「百花齊放」的時(shí)代，這個(gè)問題極具挖掘空間。

你可能會(huì)猜到一些結(jié)論：比如谷歌、微軟、OpenAI、DeepMind 這些頂級機(jī)構(gòu)，類似這樣的結(jié)論只猜對了一半，還有另外一些信息，向我們揭露了原本不為人知的結(jié)論。

隨著 AI 創(chuàng)新的飛速發(fā)展，盡快獲取一些「情報(bào)」是至關(guān)重要的。畢竟幾乎沒人有時(shí)間去閱讀所有的東西，但可以肯定的是，本文整理的這些論文具備改變?nèi)斯ぶ悄芗夹g(shù)發(fā)展方向的潛力。

對研發(fā)團(tuán)隊(duì)影響力的真正考驗(yàn)當(dāng)然是技術(shù)如何落地在產(chǎn)品中，OpenAI 在 2022 年 11 月底發(fā)布了 ChatGPT，震撼了整個(gè)領(lǐng)域，這是繼他們 2022 年 3 月的論文「利用人類反饋訓(xùn)練遵循指令的語言模型」（Training language models to follow instructions with human feedback）之后的又一次突破。

如此迅速的產(chǎn)品落地是罕見的。所以，為了洞察到更多信息，近日，Zeta Alpha 的統(tǒng)計(jì)采用了一個(gè)經(jīng)典的學(xué)術(shù)指標(biāo)：引用次數(shù)。

對 2022 年、2021 年和 2020 年每年被引用次數(shù)最多的 100 篇論文的詳細(xì)分析，可以深入了解目前發(fā)表最具影響力的 AI 研究的機(jī)構(gòu)和國家 / 地區(qū)。一些初步結(jié)論是：美國和谷歌仍然占主導(dǎo)地位，DeepMind 在這一年也取得了輝煌的成就，但考慮到產(chǎn)出量，OpenAI 在產(chǎn)品影響和研究方面確實(shí)處于前列，并能快速和廣泛地被引用。

資料來源：Zeta Alpha。

如上圖所示，另外一個(gè)重要結(jié)論是：中國在研究引用量上的影響力排行第二，但與美國相比仍存在差距，并不像很多報(bào)道中描述的那樣「追平甚至超越」。

利用來自 Zeta Alpha 平臺(tái)的數(shù)據(jù)，然后結(jié)合人工策劃，本文收集了 2022 年、2021 年和 2020 年人工智能領(lǐng)域被引用次數(shù)最多的論文，并分析了作者的所屬機(jī)構(gòu)和國家 / 地區(qū)。這使得能夠按照研發(fā)影響而不是純粹的出版數(shù)據(jù)對這些論文進(jìn)行排名。

為了創(chuàng)建分析結(jié)果，本文首先在 Zeta Alpha 平臺(tái)上收集了每年被引用次數(shù)最多的論文，然后手動(dòng)檢查首次發(fā)表日期（通常是 arXiv 預(yù)印本），以便將論文放在正確的年份中。然后通過在 Semantic Scholar 上挖掘高引用率的人工智能論文來補(bǔ)充這個(gè)名單，因?yàn)?Semantic Scholar 的覆蓋面更廣，而且能夠按引用次數(shù)排序。這主要是發(fā)現(xiàn)了來自高影響力的出版商（如 Nature、Elsevier、Springer 和其他期刊）之外的論文。然后，將每篇論文在谷歌學(xué)術(shù)上的引用次數(shù)作為代表指標(biāo)，并按這個(gè)數(shù)字對論文進(jìn)行排序，得出一年中的前 100 名。對于這些論文，本文使用了 GPT-3 來提取作者、隸屬機(jī)構(gòu)和國家 / 地區(qū)，并手動(dòng)檢查這些結(jié)果（如果國家 / 地區(qū)在出版物中不明顯，就采用該組織總部所在的國家 / 地區(qū)）。如果一篇論文有來自多個(gè)機(jī)構(gòu)的作者，每個(gè)機(jī)構(gòu)算一次。

看了這份排行榜之后，大佬 Yann LeCun 表示很欣慰：「在 Meta AI，我們傾向于出版質(zhì)量而不是數(shù)量。這就是為什么在 2022 年被引用最多的 100 篇人工智能論文中，Meta AI 撰寫（或共同撰寫）了 16 篇，僅次于谷歌的 22 篇，排名第二。我們的研究正在對社會(huì)產(chǎn)生巨大的影響。(此外，紐約大學(xué)的排名也很贊）?！?/span>

所以，剛才談?wù)摰倪@些 Top 論文有哪些？

在深入了解這些數(shù)字之前，讓我們先了解一下過去三年的熱門論文。相信你會(huì)認(rèn)出其中的幾篇。

2022 年熱門論文

1、AlphaFold Protein Structure Database: massively expanding the structural coverage of protein-sequence space with high-accuracy models ?

• 論文鏈接：https://academic.oup.com/nar/article/50/D1/D439/6430488
• 機(jī)構(gòu)：DeepMind
• 引用次數(shù)：1372
• 主題：Using AlphaFold to augment protein structure database coverage.

2、ColabFold: making protein folding accessible to all?

• 論文鏈接：https://www.nature.com/articles/s41592-022-01488-1
• 引用次數(shù)：1162
• 主題：An open-source and efficient protein folding model.

3、Hierarchical Text-Conditional Image Generation with CLIP Latents ?

• 論文鏈接：https://arxiv.org/abs/2204.06125
• 機(jī)構(gòu)：OpenAI
• 引用次數(shù)：718
• 主題：DALL?E 2, complex prompted image generation that left most in awe

4、A ConvNet for the 2020s ?

• 論文鏈接：https://arxiv.org/abs/2201.03545
• 機(jī)構(gòu)：Meta，UC 伯克利
• 引用次數(shù)：690
• 主題：A successful modernization of CNNs at a time of boom for Transformers in Computer Vision

5、PaLM: Scaling Language Modeling with Pathways?

• 論文鏈接：https://arxiv.org/abs/2204.02311
• 機(jī)構(gòu)：谷歌
• 引用次數(shù)：452
• 主題：Google's mammoth 540B Large Language Model, a new MLOps infrastructure, and how it performs

2021 年熱門論文

1、《Highly accurate protein structure prediction with AlphaFold》?

• 論文鏈接：https://www.nature.com/articles/s41586-021-03819-2
• 機(jī)構(gòu)：DeepMind
• 引用次數(shù)：8965
• 主題：AlphaFold, a breakthrough in protein structure prediction using Deep Learning

2、《Swin Transformer: Hierarchical Vision Transformer using Shifted Windows》?

• 論文鏈接：https://arxiv.org/abs/2103.14030
• 機(jī)構(gòu)：微軟
• 引用次數(shù)：4810
• 主題：A robust variant of Transformers for Vision

3、《Learning Transferable Visual Models From Natural Language Supervision》

• 論文鏈接：https://arxiv.org/abs/2103.00020
• 機(jī)構(gòu)：OpenAI
• 引用次數(shù)：3204
• 主題：CLIP, image-text pairs at scale to learn joint image-text representations in a self supervised fashion

4、《On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?》?

• 論文鏈接：https://dl.acm.org/doi/10.1145/3442188.3445922
• 機(jī)構(gòu)：U. Washington, Black in AI, The Aether
• 引用次數(shù)：1266
• 主題：Famous position paper very critical of the trend of ever-growing language models, highlighting their limitations and dangers

5、《Emerging Properties in Self-Supervised Vision Transformers》?

• 論文鏈接：https://arxiv.org/pdf/2104.14294.pdf
• 機(jī)構(gòu)：Meta
• 引用次數(shù)：1219
• 主題：DINO, showing how self-supervision on images led to the emergence of some sort of proto-object segmentation in Transformers

2020 年熱門論文

1、《An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale》?

• 論文鏈接：https://arxiv.org/abs/2010.11929
• 機(jī)構(gòu)：谷歌
• 引用次數(shù)：11914
• 主題：The first work showing how a plain Transformer could do great in Computer Vision

2、《Language Models are Few-Shot Learners》?

• 論文鏈接：https://arxiv.org/abs/2005.14165
• 機(jī)構(gòu)：OpenAI
• 引用次數(shù)：8070
• 主題：This paper does not need further explanation at this stage

3、《YOLOv4: Optimal Speed and Accuracy of Object Detection》?

• 論文鏈接：https://arxiv.org/abs/2004.10934
• 機(jī)構(gòu)：Academia Sinica, Taiwan
• 引用次數(shù)：8014
• 主題：Robust and fast object detection sells like hotcakes

4、《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》?

• 論文鏈接：https://arxiv.org/abs/1910.10683
• 機(jī)構(gòu)：谷歌
• 引用次數(shù)：5906
• 主題：A rigorous study of transfer learning with Transformers, resulting in the famous T5

5、《Bootstrap your own latent: A new approach to self-supervised Learning》?

• 論文鏈接：https://arxiv.org/abs/2006.07733
• 機(jī)構(gòu)：DeepMind，Imperial College
• 引用次數(shù)：2873
• 主題：Showing that negatives are not even necessary for representation learning

領(lǐng)先機(jī)構(gòu)排行?

讓我們來看看一些領(lǐng)先的機(jī)構(gòu)在前 100 名的論文數(shù)量上是如何排行的：

谷歌一直是最強(qiáng)大的參與者，其次是 Meta、微軟、加州大學(xué)伯克利分校、DeepMind 和斯坦福。雖然如今的工業(yè)界在人工智能研究中「呼風(fēng)喚雨」，單一的學(xué)術(shù)機(jī)構(gòu)不會(huì)產(chǎn)生那么大的影響，但這些機(jī)構(gòu)的尾巴要長得多，所以當(dāng)我們按組織類型進(jìn)行匯總時(shí)，就會(huì)達(dá)到平衡。

在研究總量方面，過去三年谷歌居首位，清華大學(xué)、卡耐基梅隆大學(xué)、麻省理工學(xué)院、斯坦福大學(xué)等高校排名靠前，而微軟位居第三位。整體來看，學(xué)術(shù)機(jī)構(gòu)的研究數(shù)量是要多于業(yè)界科技企業(yè)的，而谷歌、微軟這兩大科技巨頭近三年發(fā)表的研究數(shù)也是居于高位。

實(shí)際上，谷歌的科研實(shí)力一直很強(qiáng)。2017 年，谷歌發(fā)表論文《Attention Is All You Need》，標(biāo)志著 transformer 的問世。直到今天，transformer 依然是包括 ChatGPT 在內(nèi)的大部分 NLP 和 CV 模型的架構(gòu)基礎(chǔ)。

上個(gè)月，在 Bard 發(fā)布之際，谷歌 CEO Sundar Pichai 也在一份公開信中表示：「Google AI 和 DeepMind 推動(dòng)了最先進(jìn)技術(shù)的發(fā)展。我們的 Transformer 研究項(xiàng)目和我們 2017 年的領(lǐng)域論文，以及我們在擴(kuò)散模型方面的重要進(jìn)展，是當(dāng)前許多生成式 AI 應(yīng)用程序的基礎(chǔ)。」

當(dāng)然，作為新晉頂流 ChatGPT 背后的公司，OpenAI 近三年的研究成果轉(zhuǎn)化率（Conversion Rate）是具有絕對優(yōu)勢的。最近幾年，OpenAI 的大多數(shù)研究成果都引起了極大的關(guān)注，特別是在大規(guī)模語言模型方面。

2020 年，OpenAI 發(fā)布了 GPT-3，這個(gè) 1750 億參數(shù)的大規(guī)模語言模型在一定程度上顛覆了語言模型領(lǐng)域的游戲規(guī)則，因?yàn)樗鉀Q了許多大規(guī)模語言模型中的難題。GPT-3 掀起了一場大規(guī)模語言模型的狂潮。幾年來，語言模型的參數(shù)規(guī)模不斷被打破，人們一直在探索大規(guī)模語言模型的更多潛力。

2022 年底，ChatGPT 橫空出世，它引起了人們對文本生成和 AI 對話系統(tǒng)的高度關(guān)注。特別地，ChatGPT 在生成知識(shí)型內(nèi)容和生成代碼方面已經(jīng)表現(xiàn)出非常高的能力。在谷歌、微軟陸續(xù)宣布將類似 ChatGPT 的功能集成到下一代搜索引擎后，ChatGPT 被認(rèn)為將引領(lǐng)一場 AIGC 和智能工具的新變革。

最后，我們來看一下 2022 年被引用次數(shù)最多的 100 篇論文具體有哪些：

此處還增加了推特提及次數(shù)，這有時(shí)被視為早期影響指標(biāo)。但到目前為止，相關(guān)性似乎很弱。還需要進(jìn)一步的工作。