北大元培校友論文獲ICML時(shí)間檢驗(yàn)獎，Hinton弟子一作，生成式AI成今年熱門獲獎理由

2023-07-28 14:49:00

這篇論文通過黑盒優(yōu)化（black-box optimization）和對機(jī)器學(xué)習(xí)的理解和進(jìn)步證明，超參數(shù)調(diào)優(yōu)是一個嚴(yán)謹(jǐn)?shù)目茖W(xué)和工程問題，可以通過系統(tǒng)化方法而非啟發(fā)式方法來解決。論文對數(shù)百個超參數(shù)進(jìn)行了自動調(diào)優(yōu)的實(shí)驗(yàn)，這也是對算法超參數(shù)調(diào)優(yōu)最有說服力的示例之一。

ICML 2023時(shí)間檢驗(yàn)獎出爐！

今年和往年一樣，也是一篇獲獎?wù)撐暮蛢善獊嗆姡≧unners Up），均從ICML 2023的論文集中選出，“在過去10年里持續(xù)產(chǎn)生影響力”。

其中，獲獎?wù)撐牡牡谝蛔髡呤荋inton弟子Richard Zemel，第二作者伍昱（Ledell Wu）是北大元培校友，曾在智源和MetaAI工作過，如今是Creatify AI的聯(lián)合創(chuàng)始人。

整體來看，今年的ICML時(shí)間檢驗(yàn)獎也“與時(shí)俱進(jìn)”——

無論是最佳論文還是亞軍論文，提名理由都和生成式AI有關(guān)，其中一篇論文還影響了Dall·E和Stable Diffusion等最新一批生成式AI的進(jìn)展。

所以，今年獲獎的究竟都是些什么論文？

一起來看看。

時(shí)間檢驗(yàn)獎頒給Hinton弟子

今年的時(shí)間檢驗(yàn)獎最終獲獎?wù)撐氖荓earning Fair Representations。

這篇論文來自多倫多大學(xué)和微軟，在谷歌學(xué)術(shù)顯示引用次數(shù)已有1670，可以說是通過學(xué)習(xí)中間表示來實(shí)現(xiàn)算法公平性這一領(lǐng)域的開山之作。

這篇論文提出了一種用于公平分類（fair classification）的學(xué)習(xí)算法，將公平性表述為一個優(yōu)化問題，同時(shí)實(shí)現(xiàn)了群體公平性和個體公平性。

論文的獲獎理由是：

這篇論文在“機(jī)器學(xué)習(xí)和公平性”這一領(lǐng)域中發(fā)揮了重要的影響力，向機(jī)器學(xué)習(xí)社區(qū)介紹了包括群體公平性、個體公平性在內(nèi)的各種公平的概念，如今，它已經(jīng)成為機(jī)器學(xué)習(xí)一個成熟的子領(lǐng)域。
隨著先進(jìn)的機(jī)器學(xué)習(xí)系統(tǒng)（通常稱為生成式AI）在社會中廣泛部署，以不可預(yù)見、且潛在的偏見和不公平的方式影響社會，這一領(lǐng)域正變得越來越重要。這篇論文提出了如今機(jī)器學(xué)習(xí)公平性領(lǐng)域致力于解決的核心研究問題、以及如何評估所開發(fā)工具的有效性的觀點(diǎn)。

這篇論文一共有五名作者。

Richard Zemel，哥倫比亞大學(xué)教授，研究方向主要在AI魯棒性、少樣本學(xué)習(xí)、算法公平性和持續(xù)學(xué)習(xí)上，目前谷歌學(xué)術(shù)的引用次數(shù)已有64780。

此前，他于1984年獲得哈佛大學(xué)本科學(xué)位，隨后在多倫多大學(xué)計(jì)算機(jī)系學(xué)習(xí)，師從Geoffrey Hinton，并分別于1989和1994年獲得計(jì)算機(jī)科學(xué)的碩士和博士學(xué)位。

伍昱（Ledell Wu），研究興趣是AI、大語言模型和多模態(tài)學(xué)習(xí)。

她本科畢業(yè)于北京大學(xué)元培學(xué)院，并于加拿大多倫多大學(xué)獲得計(jì)算機(jī)碩士，隨后，她在Facebook AI（Meta AI）擔(dān)任過研發(fā)工程師，也在北京智源人工智能研究院擔(dān)任過技術(shù)平臺部開源平臺負(fù)責(zé)人。

如今，她的最新身份是Creatify AI的聯(lián)合創(chuàng)始人。

Kevin Swersky，目前是谷歌大腦的研究科學(xué)家，主要研究方向是機(jī)器學(xué)習(xí)。他于加拿大阿爾伯塔大學(xué)獲得本科學(xué)位，在不列顛哥倫比亞大學(xué)獲得碩士學(xué)位，并在加拿大多倫多大學(xué)獲得博士學(xué)位。

Toni Pitassi，哥倫比亞大學(xué)教授，目前的研究方向是計(jì)算復(fù)雜度。她在賓夕法尼亞州立大學(xué)獲得本科和碩士學(xué)位，并于多倫多大學(xué)獲得博士學(xué)位，曾經(jīng)在多倫多大學(xué)擔(dān)任教授。

Cynthia Dwork，哈佛大學(xué)教授、美國國家工程院院士，是差分隱私和工作量證明的發(fā)明者之一，目前研究方向涵蓋應(yīng)用數(shù)學(xué)和計(jì)算機(jī)科學(xué)。

她曾經(jīng)在普林斯頓大學(xué)獲得本科學(xué)位，并在康奈爾大學(xué)讀博，隨后在微軟工作過，目前是微軟的杰出科學(xué)家。

不過對于這篇獲獎?wù)撐?，也有讀者表示，想要實(shí)現(xiàn)論文目標(biāo)看起來是不可能的，已經(jīng)有學(xué)者在新的論文中提出了這一觀點(diǎn)。

對此有網(wǎng)友回應(yīng)認(rèn)為，這也是機(jī)器學(xué)習(xí)圈的常態(tài)，一波研究者不斷找到實(shí)現(xiàn)特定目標(biāo)的方法，同時(shí)另一波研究者不斷證明這些方法是不可能的。

還有兩篇論文亞軍

今年也有兩篇論文獲得了時(shí)間檢驗(yàn)獎的亞軍（Runners Up）。

其中一篇名叫Deep Canonical Correlation Analysis，作者來自華盛頓大學(xué)和豐田工業(yè)大學(xué)芝加哥分校（Toyota Technological Institute at Chicago）。

這篇論文如今引用已有1915次，主要有兩方面的影響力。

其一，論文提出了一種基于深度神經(jīng)網(wǎng)絡(luò)的多模態(tài)表示學(xué)習(xí)的原則性方法。這種深度多模態(tài)學(xué)習(xí)已經(jīng)成為生成式AI的亮點(diǎn)之一，如DaLL·E、Stable Diffusion等。

其二，這篇論文展示了在無監(jiān)督方法下也能獲取數(shù)據(jù)得良好表示，無需依賴于觀測重構(gòu)，通過表示空間內(nèi)關(guān)聯(lián)同一觀測的多個視圖就行，這也啟發(fā)了許多最近關(guān)于無重構(gòu)自監(jiān)督表示學(xué)習(xí)的算法，包括對比學(xué)習(xí)等。

另一篇論文名叫Making a Science of Model Search: Hyperparameter Optimization in Hundreds of Dimensions for Vision Architectures。

這篇論文如今引用已有2310次，作者分別來自哈佛大學(xué)羅蘭研究所（Rowland Institute at Harvard）和MIT。