ICML 全稱是 International Conference on Machine Learning，由國際機(jī)器學(xué)習(xí)學(xué)會(huì)（IMLS）舉辦，是計(jì)算機(jī)人工智能領(lǐng)域的頂級(jí)會(huì)議。今年的 ICML 大會(huì)已是第 40 屆，于 2023 年 7 月 23 日至 29 日在美國夏威夷會(huì)議中心舉行。

今年，ICML 共收到 6538 份投稿，其中 1827 份被接收，接收率約為 27.9%。相較于 2022 年，本屆的投稿、接收論文數(shù)量以及接收率都有所增加（投稿 5630 篇、接收短論文 1117 篇、長論文 118 篇、接收率 21.9%）。

ICML 官方表示，每一份投稿都由領(lǐng)域主席和高級(jí)領(lǐng)域主席進(jìn)行評(píng)審，以確保每一份投稿都得到適當(dāng)?shù)脑u(píng)估。

今日，ICML 官方放出了杰出論文獎(jiǎng)獲獎(jiǎng)?wù)撐摹?/span>

六篇杰出論文獎(jiǎng)

本屆會(huì)議共評(píng)出了 6 篇杰出論文，研究覆蓋了無學(xué)習(xí)率、為 LLM 加水印、未見過域泛化、不完全信息零和博弈的近優(yōu)策略、MCMC 和頻率順序?qū)W習(xí)的貝葉斯設(shè)計(jì)原則等課題。

論文 1：Learning-Rate-Free Learning by D-Adaptation

• 機(jī)構(gòu)：Meta AI、Inria Sierra
• 作者：Aaron Defazio、Konstantin Mishchenko（現(xiàn)為三星人工智能中心研究科學(xué)家）
• 論文地址：https://openreview.net/forum?id=GXZ6cT5cvY

該研究旨在為非光滑隨機(jī)凸優(yōu)化獲取無學(xué)習(xí)率的最優(yōu)界限，所提方法克服了優(yōu)化此類問題時(shí)傳統(tǒng)學(xué)習(xí)率選擇的限制，為優(yōu)化領(lǐng)域做出了有價(jià)值且實(shí)際的貢獻(xiàn)。

該研究還提出了新方法的 SGD 和 Adam 變體，將用于大規(guī)模 CV 和 NLP 問題。

圖片

論文 2：A Watermark for Large Language Models

• 機(jī)構(gòu)：馬里蘭大學(xué)
• 作者：John Kirchenbauer、Jonas Geiping、Yuxin Wen、Jonathan Katz、Ian Miers、Tom Goldstein
• 論文地址：https://openreview.net/forum?id=aX8ig9X2a7

論文簡介：該論文提出了一種對(duì)大型語言模型的輸出添加水印的方法 —— 將信號(hào)嵌入到生成的文本中，這些信號(hào)對(duì)人類來說是不可見的，但可以通過算法檢測到。無需重新訓(xùn)練語言模型即可生成水印，無需訪問 API 或參數(shù)即可檢測水印。

圖片

為了檢測水印，該論文還提出了一種具有可解釋 p 值的統(tǒng)計(jì)測試方法，以及用于分析水印敏感度的信息論框架。該研究所提方法簡單新穎，并提供了徹底的理論分析和扎實(shí)的實(shí)驗(yàn)。鑒于檢測和大型語言模型（LLM）生成的文本正面臨嚴(yán)峻的挑戰(zhàn)，該研究可能會(huì)對(duì)機(jī)器學(xué)習(xí)社區(qū)產(chǎn)生重大影響。

論文 3：Generalization on the Unseen, Logic Reasoning and Degree Curriculum

• 機(jī)構(gòu)：EPFL、蘋果
• 作者：Emmanuel Abbe、Samy Bengio、Aryo Lotfi、Kevin Rizk
• 論文地址：https://openreview.net/forum?id=3dqwXb1te4

論文簡介：該論文在布爾函數(shù)的學(xué)習(xí)方面取得了重要進(jìn)展，尤其是針對(duì)未見過域的泛化（Generalization on the Unseen, GOTU），這是一個(gè)具有挑戰(zhàn)性的分布外泛化問題。該論文深入探究了這一課題，提出了一種結(jié)構(gòu)良好的方法，并有充足的理論分析和大量實(shí)驗(yàn)支撐。此外該論文還概述了深度神經(jīng)網(wǎng)絡(luò)領(lǐng)域的一個(gè)關(guān)鍵研究方向。

具體而言，研究者探究了具有 holdout 的函數(shù)學(xué)習(xí)問題，其中部分分布支持在訓(xùn)練中幾乎或從來沒有見過，并使用布爾目標(biāo)函數(shù)來捕捉各種推理任務(wù)（如算術(shù)、決策樹和邏輯電路）的離散和組合屬性。

最終，研究者對(duì)長度泛化問題給出了自己的解釋，并提出了一種名為「Degree-Curriculum」的課程式學(xué)習(xí)算法，該算法通過增加支持更高效地學(xué)習(xí)單項(xiàng)式。算法如下所示：

論文 4：Adapting to game trees in zero-sum imperfect information games

• 機(jī)構(gòu)：CREST、ENS Lyon、Omron Sinic X、Deepmind 等
• 作者：C?me Fiegel、Pierre MENARD、Tadashi Kozuno、Remi Munos、Vianney Perchet、Michal Valko
• 論文地址：https://openreview.net/forum?id=O1j4uFuSVW

論文簡介：該論文介紹了不完全信息零和博弈的近優(yōu)策略。研究者建立了一個(gè)新穎的下界，并提出了兩種算法 — 平衡 FTRL 和自適應(yīng) FTRL。這些貢獻(xiàn)極大地推動(dòng)了不完全信息博弈優(yōu)化領(lǐng)域的發(fā)展。論文的多項(xiàng)實(shí)驗(yàn)證實(shí)了這些說法，為研究結(jié)果提供了充分的支持。

論文 5：Self-Repellent Random Walks on General Graphs - Achieving Minimal Sampling Variance via Nonlinear Markov Chains

• 機(jī)構(gòu)：IQVIA Inc、北卡羅來納州立大學(xué)
• 作者：Vishwaraj Doshi、Jie Hu、Do Young Eun
• 論文地址：https://openreview.net/forum?id=450iImFM4U

論文簡介：該論文解決了一組具有挑戰(zhàn)性的開放問題，提出了具有自排斥隨機(jī)游走的馬爾可夫鏈蒙特卡洛（MCMC）。給定任何對(duì)應(yīng)目標(biāo)概率分布的馬爾可夫鏈，這種自排斥隨機(jī)游走（SRRW）不太可能過渡到過去高訪問量的節(jié)點(diǎn)，而更有可能過渡到很少訪問的節(jié)點(diǎn)。

該方法超越了傳統(tǒng)的無回溯方法，并為 MCMC 采樣的新研究方向鋪平了道路。研究者為 MCMC 研究做出了原創(chuàng)性和重大的貢獻(xiàn)，更值得一提的是過程可以被嚴(yán)格地分析和證明。結(jié)果也非常全面，令人信服。

圖片

這篇論文的作者之一 Jie Hu，現(xiàn)為北卡羅來納州立大學(xué)博士生，他在武漢理工大學(xué)獲得了本科學(xué)位，在美國西北大學(xué)獲得了碩士學(xué)位。

論文 6：Bayesian Design Principles for Frequentist Sequential Learning

• 機(jī)構(gòu)：哥倫比亞大學(xué)
• 作者：Yunbei Xu、Assaf Zeevi
• 論文地址：https://openreview.net/forum?id=tRhQsHnoFw

論文簡介：該論文探討了設(shè)計(jì) bandit 和其他順序決策策略這一非常普遍的問題。論文提出使用一種稱為算法信息比的新量對(duì)任何策略的遺憾進(jìn)行約束的方法，并推導(dǎo)出優(yōu)化該約束的方法。該約束比早期類似的信息理論量更為嚴(yán)格，而且這些方法在隨機(jī)性和對(duì)抗性的 bandit 設(shè)置中都表現(xiàn)出色，實(shí)現(xiàn)了全局最優(yōu)。

特別有趣的是，除了眾所周知的 Thompson Sampling 和針對(duì) bandit 的 UCB 之外，這篇論文可能為全新的 exploration-exploitation 策略打開了大門。事實(shí)上，這一原理如果擴(kuò)展到強(qiáng)化學(xué)習(xí)領(lǐng)域是非常有前途的。該論文得到了專家評(píng)審的一致大力支持。

論文一作 Yunbei Xu 為哥倫比亞大學(xué)商學(xué)院博士，現(xiàn)為 MIT 博士后研究員，并將于 2024 年秋季開始任職 NUS 助理教授。他本科畢業(yè)于北京大學(xué)數(shù)學(xué)系。