ICLR 全稱為國際學習表征會議（International Conference on Learning Representations），今年將舉辦的是第十一屆，將于 5 月 1 日至 5 日在盧旺達首都基加利線下舉辦。

在機器學習社區(qū)中，ICLR 是較為「年輕」的頂級學術會議，它由深度學習巨頭、圖靈獎獲得者 Yoshua Bengio 和 Yann LeCun 牽頭舉辦，2013 年才剛剛舉辦第一屆。不過 ICLR 很快就獲得了學術研究者們的廣泛認可，被認為是深度學習的頂級會議。在 Google Scholar 的學術會議 / 雜志排名中，ICLR 目前排名第十位，要高于 NeurIPS。

據(jù)今年 2 月份公布的接收數(shù)據(jù)，在今年的接收統(tǒng)計中， ICLR 共接收近 5000 篇投稿，整體接收率為 31.8%，接近于去年的 32.26%。今年還有一個變化是接收論文的 tag 會有兩個，一個是論文類型（oral、spotlight、poster），另一個是 presentation 的方式。

位于 top5% 論文內(nèi)容涉及 Transformer、in-context learning、擴散模型等內(nèi)容。

在近日公布的獲獎論文中，共有 4 篇論文獲得杰出論文獎，5 篇論文獲得杰出論文獎提名。其中，來自北京大學的張博航、羅勝杰、王立威,、賀笛共同獲得一篇杰出論文獎，清華大學孔祥哲、中國人民大學高瓴人工智能學院黃文炳、清華大學劉洋共同獲得一篇杰出論文獎提名。

杰出論文獎

• 論文 1：Universal Few-shot Learning of Dense Prediction Tasks with Visual Token Matching
• 作者：Donggyun Kim, Jinwoo Kim, Seongwoong Cho, Chong Luo, Seunghoon Hong
• 機構：KAIST、微軟亞研
• 論文鏈接：https://openreview.net/pdf?id=88nT0j5jAn

該論文提出了一種用于密集預測任務的少樣本學習 pipeline，密集預測任務包括語義分割、深度估計、邊緣檢測和關鍵點檢測等。該研究提出了一個簡單的統(tǒng)一模型，可以處理所有密集預測任務，并包含多項關鍵創(chuàng)新。該研究將激發(fā)密集預測的進一步發(fā)展，所提方法 —— 例如視覺 token 匹配、情景（episodic）元學習 —— 可以用于相關的多任務學習問題。

• 論文 2：Rethinking the Expressive Power of GNNs via Graph Biconnectivity
• 作者：張博航, 羅勝杰, 王立威, 賀笛
• 機構：北京大學
• 論文鏈接：https://openreview.net/pdf?id=r9hNv76KoT3

該論文基于雙連通性（biconnectivity）提出一種 GNN 表達性度量新指標。具體來說，該研究提出了一種利用節(jié)點間距離的新算法，并在合成數(shù)據(jù)和真實數(shù)據(jù)中進行了演示。該研究表明：雙連通性問題在理論和實踐中都有著廣泛的潛在應用。 

• 論文 3：DreamFusion: Text-to-3D using 2D Diffusion
• 作者：Ben Poole, Ajay Jain, Jonathan T. Barron, Ben Mildenhall
• 機構：谷歌研究院、加州大學伯克利分校
• 論文鏈接：https://openreview.net/pdf?id=FjNys5c7VyY

該論文提出了一種基于文本生成 3D 模型的有效方法，而無需 3D 模型作為訓練數(shù)據(jù)。該論文的關鍵思想是利用本生成圖像的擴散模型，并通過將誤差信號反向傳播到 3D 模型的神經(jīng)輻射場來生成 3D 模型。該方法是 SOTA 圖像生成和 3D 建模的巧妙組合，在實踐中效果極好，并將啟發(fā)各種后續(xù)工作，包括基于文本的 3D 視頻生成。

• 論文 4：Emergence of Maps in the Memories of Blind Navigation Agents
• 作者：Erik Wijmans, Manolis Savva, Irfan Essa, Stefan Lee, Ari S. Morcos, Dhruv Batra
• 機構：佐治亞理工學院、Meta AI 等
• 論文鏈接：https://openreview.net/pdf?id=lTt4KjHSsyl

該論文基于認知科學和機器學習的跨學科方法，讓僅具備自我運動（egomotion）（不具備其他任何感知）的導航智能體學得有效表征，并實現(xiàn)有效導航。該研究對表征學習具有重要意義。

杰出論文獎提名

除了 4 篇杰出論文，ICLR 2023 還有 5 篇論文獲得杰出論文獎提名。

• 論文 1：Towards Understanding Ensemble, Knowledge Distillation and Self-Distillation in Deep Learning
• 作者：Zeyuan Allen-Zhu, Yuanzhi Li
• 機構：Meta、MBZUAI
• 論文鏈接：https://openreview.net/pdf?id=Uuf2q9TfXGA

該論文試圖從一個新的理論視角來理解知識蒸餾。作者認為對于自然的多視圖結構，沒有蒸餾的情況下神經(jīng)網(wǎng)絡只能訓練為僅依賴于部分特征，而蒸餾可以緩解這個問題。這篇論文提供了證明這一點的簡化示例，有助于人們更好地理解知識蒸餾的有效性。

• 論文 2：Mastering the Game of No-Press Diplomacy via Human-Regularized Reinforcement Learning and Planning
• 作者：Anton Bakhtin, David J Wu, Adam Lerer, Jonathan Gray, Athul Paul Jacob, Gabriele Farina, Alexander H Miller, Noam Brown
• 機構：Meta AI、MIT
• 論文鏈接：https://openreview.net/pdf?id=F61FwJTZhb

該論文的主題是多回合、多階段、多人游戲的算法開發(fā)，提出使用一種類似于自我對弈（self-play）的策略來找到游戲均衡（equilibrium）狀態(tài)，并在一個受人類玩家歡迎的復雜多人棋盤游戲上測試了該算法。其中，將尋求平衡的策略與行為克隆相結合。

• 論文 3：On the duality between contrastive and non-contrastive self-supervised learning
• 作者：Quentin Garrido, Yubei Chen, Adrien Bardes, Laurent Najman, Yann LeCun
• 機構：Meta AI 等
• 論文鏈接：https://openreview.net/pdf?id=kDEL91Dufpa

在自監(jiān)督學習領域，各種方法似乎沒有任何共同點，但在實踐中卻表現(xiàn)相似。該論文對各種自監(jiān)督學習方法進行了分析探究，發(fā)現(xiàn)了它們的共同點。該論文展開研究了一些流行的自監(jiān)督學習方法，證明其提出的理論能用于實際方法。這篇論文對自監(jiān)督學習領域具有重要意義。

• 論文 4：Conditional Antibody Design as 3D Equivariant Graph Translation
• 作者：孔祥哲，黃文炳，劉洋
• 機構：清華大學計算機系，清華大學智能產(chǎn)業(yè)研究院，中國人民大學高瓴人工智能學院，北京智源人工智能研究院
• 論文鏈接：https://openreview.net/pdf?id=LFHFQbjxIiP

抗體設計是藥物研發(fā)的一個重要問題，具有重要的應用前景。本文提出一種基于等變圖神經(jīng)網(wǎng)絡的抗體設計方法 MEAN，在給定抗原、抗體重鏈和輕鏈的條件下，實現(xiàn)了抗體 CDRs 的設計和優(yōu)化。與以往方法不同，MEAN 不但考慮了更全的「上下文信息」，而且能直接生成抗體 CDRs 的 1D 氨基酸序列及其 3D 構象，具有更高效率。在多個數(shù)據(jù)集的完整實驗上，MEAN 顯著優(yōu)于已有方法。論文有望為后續(xù)濕實驗研究提供一種高效的算法工具。

• 論文 5：Disentanglement with Biological Constraints: A Theory of Functional Cell Types
• 作者：James C. R. Whittington, Will Dorrell, Surya Ganguli, Timothy Behrens
• 機構：斯坦福大學、牛津大學、UCL
• 論文鏈接：https://openreview.net/pdf?id=9Z_GfhZnGH

該研究受生物學啟發(fā)，揭示了機器學習和神經(jīng)科學之間有趣的聯(lián)系，并從數(shù)學上證明機器學習中的約束會導致線性網(wǎng)絡解纏結（disentanglement）。該研究還通過實驗表明，相同的約束對于非線性情況也是有效的?？偟膩碚f，這項研究從數(shù)學的角度對單個神經(jīng)元和大腦結構給出了更深層的理解。