就在今天，機(jī)器學(xué)習(xí)頂會ICML公布了2021年度的論文獲獎名單！

[[412285]]

本次大會共有6篇論文獲獎，其中包括1篇杰出論文獎，4篇杰出論文提名獎，以及1篇時間檢驗獎。

來自多倫多大學(xué)和谷歌大腦的研究人員斬獲杰出論文獎，Hinton高徒鄭宇懷獲時間檢驗獎。

ICML 2021是第38屆年會，受疫情影響，本屆會議在7月18日-7月24日采用線上會議的形式舉行。

本屆會議中，共有430多位華人論文入選ICML，西北大學(xué)汪昭然和普林斯頓大學(xué)楊卓然9篇論文入選，并列第一。

2021年ICML一共接收了1184篇論文，其中包含1018篇短論文和166篇長論文，接收率為21.48%，近五年最低。

在這1184份論文中，組委會精心挑選出了6篇論文，授予杰出論文獎、杰出論文提名獎和時間檢驗獎。

杰出論文

 

今年杰出論文獎的作者來自多倫多大學(xué)和Google Brain。

論文地址：

http://proceedings.mlr.press/v139/vicol21a.html

作者指出，目前在一些計算圖中優(yōu)化參數(shù)的方法存在高變異梯度、偏差、緩慢更新或大量內(nèi)存使用等問題。

因此，本文引入了一種Persistent Evolution Strategies（PES）的方法。

PES通過在整個序列中積累修正項來消除這些偏差，并允許快速更新參數(shù)，內(nèi)存使用率低，無偏差，并且具有合理的方差特性。

實(shí)驗證明，PES與其他幾種合成任務(wù)的梯度估計方法相比具有優(yōu)勢，并適用于訓(xùn)練學(xué)習(xí)型優(yōu)化器和調(diào)整超參數(shù)。

作者介紹

論文一作Paul Vicol，來自多倫多大學(xué)和Vector Institute機(jī)器學(xué)習(xí)小組的博士生。

主要研究領(lǐng)域為神經(jīng)網(wǎng)絡(luò)、貝葉斯推論、生成模型和強(qiáng)化學(xué)習(xí)，以及根據(jù)大腦工作原理改進(jìn)神經(jīng)網(wǎng)絡(luò)等。

2016年，Paul Vicol在西蒙弗雷澤大學(xué)獲得了計算機(jī)科學(xué)碩士學(xué)位，碩士研究側(cè)重于信念變化，即一個知識表示領(lǐng)域，涉及根據(jù)新信息更新知識庫，曾開發(fā)一個名為Equibel的Python包，能夠讓研究人員更容易在多智能體系統(tǒng)中試驗信念變化。

2014年獲得西蒙弗雷澤大學(xué)計算機(jī)科學(xué)學(xué)士學(xué)位。

Hinton高徒鄭宇懷獲時間檢驗獎，表彰10年前經(jīng)典

時間檢驗獎（Test of Time Award）是頒給那些被時間和事后證明對機(jī)器學(xué)習(xí)界具有持久價值的論文。

Bayesian Learning via Stochastic Gradient Langevin Dynamics 獲得了時間檢驗獎。

ICML 2021 時間考驗獎頒給了2011年的一項研究，作者分別來自加利福尼亞大學(xué)的Max Welling（高通荷蘭公司技術(shù)副總裁）和倫敦大學(xué)學(xué)院的Yee Whye Teh（鄭宇懷，牛津大學(xué)教授）。

論文地址：
https://icml.cc/Conferences/2011/papers/398_icmlpaper.pdf

值得一提的是，鄭宇懷（Yee Whye Teh）可是深度學(xué)習(xí)三巨頭之一Hinton的高徒，曾在2006 年與 Hinton 合著論文《A fast learning algorithm for deep belief nets》，引發(fā)了深度學(xué)習(xí)革命！

1997年他于加拿大滑鐵盧大學(xué)獲得計算機(jī)科學(xué)與數(shù)學(xué)學(xué)士學(xué)位，之后在多倫多大學(xué)師從Geoffery Hinton，并于2003年獲得計算機(jī)博士學(xué)位。

杰出論文提名獎

 

杰出論文提名1 ：分散訓(xùn)練中的最佳復(fù)雜度 論文地址：

https://arxiv.org/pdf/2006.08085.pdf

作者提出，去中心化（Decentralization）是一種擴(kuò)大并行機(jī)器學(xué)習(xí)系統(tǒng)規(guī)模的有效方法。為此，作者在隨機(jī)非凸環(huán)境下為復(fù)雜的迭代提供了一個下界。 作者通過構(gòu)造證明了這個下界是嚴(yán)格的和可實(shí)現(xiàn)的，同時作者還指出，現(xiàn)有的分散訓(xùn)練算法（如D-PSGD）在已知的收斂率和理論值上存在一定的差距。 作者進(jìn)一步提出了gossip式分散算法DeTAG，該算法只需要一個對數(shù)間距就能達(dá)到下界。 作者將DeTAG與其他分散算法在圖像分類任務(wù)上進(jìn)行了比較，結(jié)果表明，DeTAG與基線相比具有更快的收斂性，尤其是在無數(shù)據(jù)混洗以及在稀疏網(wǎng)絡(luò)的情況下。 作者介紹 杰出論文獎的獲獎?wù)呤莵碜钥的螤柎髮W(xué)的計算機(jī)科學(xué)專業(yè)博士陸昱成。 他在上海交通大學(xué)獲得了電子工程的工程學(xué)學(xué)士學(xué)位。并且對建立可擴(kuò)展和可證明正確的機(jī)器學(xué)習(xí)系統(tǒng)有廣泛興趣。 此外，陸昱成還發(fā)表過多篇頂會和期刊的論文。

杰出論文提名2 ：離散分布的可擴(kuò)展采樣

論文地址：
https://arxiv.org/abs/2102.04509

針對具有離散變量的概率模型，作者提出了一種通用的、可擴(kuò)展的近似采樣策略。該方法利用似然函數(shù)與其離散輸入的梯度，更新Metropolis-Hastings采樣。

結(jié)果表明，結(jié)果表明，在如sing模型、Potts模型、受限玻爾茲曼機(jī)和隱馬爾科夫模型等許多有難度的設(shè)定中，這種方法優(yōu)于一般的采樣器。

作者還展示了改進(jìn)的采樣器在高維離散數(shù)據(jù)上訓(xùn)練基于能量的深度模型（EBM）時的應(yīng)用。這種方法的性能優(yōu)于變異自動編碼器和現(xiàn)有的基于能量的模型。

最后，作者表明該方法可在局部更新的采樣器類別中接近最優(yōu)。

作者介紹

論文一作Will Grathwohl，2014年在麻省理工學(xué)院取得了數(shù)學(xué)本科學(xué)位，如今是多倫多大學(xué)機(jī)器學(xué)習(xí)小組博士生，導(dǎo)師是Richard Zemel和David Duvenaud。

主要研究領(lǐng)域為生成模型，以及如何讓模型更加靈活，并能夠應(yīng)用于下游判別任務(wù)。

2019年曾在Google Brain兼職。2021年夏季將完成博士學(xué)位，秋季將入職位于紐約的Deepmind。

曾獲Borealis AI研究生獎學(xué)金、華為獎、ICLR 2018 Travel Award等獎項。

共參與發(fā)表19篇論文，其中包括頂會論文8篇。

杰出論文提名3 ：理解非對比自監(jiān)督學(xué)習(xí)動態(tài)

論文地址：
https://arxiv.org/abs/2102.06810

自監(jiān)督學(xué)習(xí) (SSL) 的對比方法通過最小化同一數(shù)據(jù)點(diǎn)（positive pairs）的兩個增強(qiáng)視圖之間的距離，和最大化不同數(shù)據(jù)點(diǎn)（negative pairs）的視圖之間的距離來學(xué)習(xí)表征。

最近BYOL和SimSiam的非對比自監(jiān)督學(xué)習(xí)方法在沒有negative pairs的情況下也能表現(xiàn)出卓越的性能。

作者受到簡單線性網(wǎng)絡(luò)中非線性學(xué)習(xí)動態(tài)的啟發(fā)，提出了一種新方法DirectPred，它根據(jù)輸入的統(tǒng)計數(shù)據(jù)直接設(shè)置線性預(yù)測器，而無需梯度訓(xùn)練。

同時，作者首次嘗試分析非對比自監(jiān)督學(xué)習(xí)訓(xùn)練的行為以及多個超參數(shù)的經(jīng)驗效應(yīng)。

在ImageNet上，DirectPred的性能與使用BatchNorm的雙層非線性預(yù)測器相當(dāng)，并且在300個epoch的訓(xùn)練中比線性預(yù)測器強(qiáng)2.5%，在60個epoch的訓(xùn)練中強(qiáng)5%。

作者介紹

田淵棟，在上海交通大學(xué)計算機(jī)本科和碩士學(xué)位后，到卡耐基梅隆大學(xué)機(jī)器人研究所攻讀博士學(xué)位。

博士畢業(yè)后加入了谷歌無人駕駛汽車項目組，現(xiàn)為Facebook人工智能研究院（FAIR）研究員、研究經(jīng)理。

他曾獲2013年ICCV馬爾獎提名（Marr Prize Honorable Mentions ）。

杰出論文提名4：利用張量鏈解決高維拋物線型PDEs

論文地址：
https://arxiv.org/abs/2102.11830

由于傳統(tǒng)的基于網(wǎng)格的方法往往受到維數(shù)災(zāi)難的影響，高維偏微分方程（PDEs）的數(shù)值處理面臨著艱巨的挑戰(zhàn)。

作者認(rèn)為，張量鏈（Tensor Train）為拋物線型PDEs提供了一個可行的近似框架。通過反向隨機(jī)差分方程和回歸型方法，有望利用潛在的低秩結(jié)構(gòu)，完成壓縮和高效計算。

由此，作者提出了新的迭代方案，其中包括顯式和快速或隱式和精確的更新。

實(shí)驗證明，與基于SOTA神經(jīng)網(wǎng)絡(luò)的方法相比，該方法在準(zhǔn)確性和計算效率之間得到了有效的權(quán)衡。

作者介紹

論文一作Lorenz Richter，本科和碩士均就讀于德國柏林自由大學(xué)（Freie Universität Berlin），獲得數(shù)學(xué)、心理學(xué)學(xué)士學(xué)位，數(shù)學(xué)碩士學(xué)位。

2017年在勃蘭登堡工業(yè)大學(xué)攻讀數(shù)學(xué)專業(yè)博士學(xué)位，將于今年博士畢業(yè)。

2018年創(chuàng)辦了一家專門從事計算機(jī)視覺和遙感領(lǐng)域的軟件項目實(shí)施公司dida Datenschmiede GmbH，現(xiàn)為公司CTO。

ICML 2021 華人作者入圍情況

本屆ICML 2021獲獎?wù)撐闹校A人作者約有430名，其中一作華人學(xué)生209名（據(jù)不完全統(tǒng)計）。

相較于去年，一作華人學(xué)生數(shù)量明顯提升，2020年共118人。

據(jù)Aminer統(tǒng)計，華人作者投稿數(shù)量最多為9篇，來自西北大學(xué)汪昭然和普林斯頓大學(xué)楊卓然并列第一。

排在第二的是來自RIKEN 高級智能項目中心的Gang Niu，共有8篇論文入選。

第三名是來自斯坦福大學(xué)的Percy Liang，共有7篇論文入選（去年8篇，位列第一）。

再來看一作華人學(xué)生，來自得克薩斯大學(xué)奧斯汀分校的陳天龍位列第一，共有5篇論文入選。

谷歌一騎絕塵，北大31篇，實(shí)力碾壓清華

根據(jù)谷歌AI Blog 統(tǒng)計，本次來自于 Google 的論文一共被收錄了109 篇，位居所有企業(yè)與科研機(jī)構(gòu)之首，足見其在機(jī)器學(xué)習(xí)的行業(yè)領(lǐng)軍地位。

其次是MIT、斯坦福大學(xué)、伯克利、微軟、卡內(nèi)基梅隆大學(xué)，均超過50篇。

在國內(nèi)，在接收的1184篇論文中，中國大陸高校和機(jī)構(gòu)共占了166多篇。其中，北京大學(xué)31篇 ，清華大學(xué)26篇。

國內(nèi)投稿最多的機(jī)構(gòu)華為（14篇）、騰訊（10篇）、阿里巴巴（10篇）。

圖源：網(wǎng)絡(luò)（據(jù)不完全統(tǒng)計）

其他企業(yè)界收錄情況（據(jù)不完全統(tǒng)計）：

Facebook：共 36 篇論文被接收

Amazon：共 23 篇論文被接收

IBM：共 18 篇論文被接收

Apple：共 10 篇論文被接收

NVIDIA：共 8 篇論文被接收