近日，自然語言處理領(lǐng)域頂級會議 EMNLP 2022 在阿聯(lián)酋首都阿布扎比舉行。

今年的大會共有投稿 4190 篇，最終 829 篇論文被接收（715 篇長論文，114 篇論文），整體接收率為 20%，與往年差異不大。

大會于當?shù)貢r間 12 月 11 日落幕，同時也公布了本屆論文獎項，包括最佳長論文（1 篇）、最佳短論文（1 篇）、最佳 Demo 論文（1 篇）。

最佳長論文

論文：Abstract Visual Reasoning with Tangram Shapes

• 作者：Anya Ji , Noriyuki Kojima, Noah Rush, Alane Suhr, Wai Keen Vong , Robert D. Hawkins, Yoav Artzi
• 機構(gòu)：康奈爾大學、紐約大學、艾倫研究所、普林斯頓大學
• 論文鏈接：https://arxiv.org/pdf/2211.16492.pdf

論文摘要：在這篇論文中，研究者介紹了「KiloGram」，一個用于研究人類和機器的抽象視覺推理的資源庫。KiloGram 在兩個方面極大地改進了現(xiàn)有資源。首先，研究者策劃并數(shù)字化了 1016 個形狀，創(chuàng)造了一個比現(xiàn)有工作中使用的集合大兩個數(shù)量級的集合。這個集極大地增加了對整個命名變化范圍的覆蓋，提供了一個關(guān)于人類命名行為的更全面的視角。第二，該集合不是把每個七巧板當作一個單一的整體形狀，而是當成由原始的拼圖碎片構(gòu)成的矢量圖形。這種分解能夠?qū)φ麄€形狀和它們的部分進行推理。研究者利用這個新的數(shù)字化七巧板圖形集合來收集大量的文本描述數(shù)據(jù)，反映了命名行為的高度多樣性。

研究者利用眾包來擴展注釋過程，為每個形狀收集多個注釋，從而代表它所引起的注釋的分布，而不是單一的樣本。最終總共收集了 13404 個注釋，每個注釋都描述了一個完整的物體及其分割的部分。

KiloGram 的潛力是廣泛的。研究者用該資源評估了最近的多模態(tài)模型的抽象視覺推理能力，并觀察到預訓練的權(quán)重表現(xiàn)出有限的抽象推理能力，而這一能力隨著微調(diào)的進行而得到極大的改善。他們還觀察到，明確的描述部分有助于人類和模型的抽象推理，特別是在對語言和視覺輸入進行聯(lián)合編碼時。

圖 1 是兩個七巧板的例子，每個七巧板都有兩個不同的注釋。每個注釋都包括整個形狀的描述（黑體），對部分的分割（彩色），以及各部分的命名（與每個部分相連）。上面的例子顯示了接近完美一致的低可變性，而下面的例子顯示了語言和分割的分歧的高可變性。

?

KiloGram 地址：https://lil.nlp.cornell.edu/kilogram

本次大會的最佳長論文提名由 Kayo Yin 和 Graham Neubig 兩位研究者獲得。

論文：Interpreting Language Models with Contrastive Explanations

• 作者：Kayo Yin, Graham Neubig

論文摘要：模型的可解釋性方法經(jīng)常被用來解釋 NLP 模型在諸如文本分類等任務(wù)上的決策，這些任務(wù)的輸出空間相對較小。然而，當應用于語言生成時，輸出空間往往由數(shù)以萬計的 token 組成，這些方法無法提供翔實的解釋。語言模型必須考慮各種特征來預測一個 token，如它的詞性、數(shù)字、時態(tài)或語義。由于現(xiàn)有的解釋方法將所有這些特征的證據(jù)合并成一個單一的解釋，這對于人類的理解來說可解釋性較差。

為了區(qū)分語言建模中的不同決策，研究者探討了專注于對比性解釋的語言模型。他們尋找到突出的輸入 token，解釋為什么模型預測了一個 token 而不是另一個 token。研究證明了在驗證主要的語法現(xiàn)象方面，對比性解釋比非對比性解釋要好得多，而且它們大大改善了人類觀察者的對比性模型可模擬性。研究者還確定了模型使用類似證據(jù)的對比性決策組，并且能夠描述模型在各種語言生成決策中使用哪些輸入 token。

代碼地址：https://github.com/kayoyin/interpret-lm

最佳短論文

論文：Topic-Regularized Authorship Representation Learning

• 作者：Jitkapat Sawatphol、Nonthakit Chaiwong、Can Udomcharoenchaikit、Sarana Nutanong
• 機構(gòu)：泰國 VISTEC 科學技術(shù)研究所

論文摘要：在這項研究中，研究者提出了 Authorship Representation Regularization，一個可以提高交叉主題性能的蒸餾框架，也可以處理未見過的 author。這種方法可以應用于任何 authorship 表征模型。實驗結(jié)果顯示，在交叉主題設(shè)置中，4/6 的性能得到了提升。同時，研究者分析表明，在具有大量主題的數(shù)據(jù)集中，跨主題設(shè)置的訓練分片存在主題信息泄露問題，從而削弱了其評估跨主題屬性的能力。

最佳 Demo 論文

論文：Evaluate & Evaluation on the Hub: Better Best Practices for Data and Model Measurements

• 作者：Leandro von Werra, Lewis Tunstall, Abhishek Thakur, Alexandra Sasha Luccioni 等
• 機構(gòu)：Hugging Face
• 論文鏈接：https://arxiv.org/pdf/2210.01970.pdf

論文摘要：評估是機器學習 (ML) 的關(guān)鍵部分，該研究在 Hub 上引入了 Evaluate 和 Evaluation——一組有助于評估 ML 中的模型和數(shù)據(jù)集的工具。Evaluate 是一個庫，用于比較不同的模型和數(shù)據(jù)集，支持各種指標。Evaluate 庫旨在支持評估的可復現(xiàn)性、記錄評估過程，并擴大評估范圍以涵蓋模型性能的更多方面。它包括針對各種領(lǐng)域和場景的 50 多個高效規(guī)范實現(xiàn)、交互式文檔，并可輕松共享實現(xiàn)和評估結(jié)果。

項目地址：https://github.com/huggingface/evaluate

此外，研究者還推出了 Evaluation on the Hub，該平臺可以在 Hugging Face Hub 上免費對超過 75000 個模型和 11000 個數(shù)據(jù)集進行大規(guī)模評估，只需單擊一個按鈕即可。