夸張！EMNLP投稿近5000篇，獎項出爐：北大、騰訊摘最佳長論文
EMNLP 是自然語言處理領(lǐng)域的頂級會議之一，EMNLP 2023 于 12 月 6 日 - 10 日在新加坡舉行。
因為今年 ChatGPT 的爆火帶動大模型、NLP 概念，EMNLP 2023 的投稿論文數(shù)量也達到近 5000 篇，甚至略高于 ACL 2023。
在接收率方面，長論文接收率為 23.3%，短論文接收率為 14%，整體接收率為 21.3%。這一數(shù)據(jù)相較 EMNLP 2022 的 20% 略有提升。
我們從這次 EMNLP 的 local chair 李海洲老師的一張 PPT 上，可以感受下這場大會的發(fā)展歷程。
除了這些論文數(shù)據(jù)外，今年 EMNLP 的獲獎?wù)撐囊矀涫荜P(guān)注。
EMNLP 2023 頒發(fā)了最佳長論文、最佳短論文、最佳主題論文、最佳 Demo 論文和最佳行業(yè)論文各一篇，以及多篇不同賽道的杰出論文。
同時，官方公布了 EMNLP 2024 將于 2024 年 11 月 12-16 日、佛羅里達州邁阿密市舉辦。
EMNLP 2023 最佳長論文
論文標題：Label Words are Anchors: An Information Flow Perspective for Understanding In-Context Learning
- 論文地址：https://aclanthology.org/2023.emnlp-main.609.pdf
- 機構(gòu)：北京大學(xué)、騰訊 WeChat AI
論文摘要：上下文學(xué)習(xí)為大型語言模型（LLM）提供了執(zhí)行不同任務(wù)的演示示例，成為了一種很有潛力的機器學(xué)習(xí)方法。然而，LLM 如何從所提供的上下文中學(xué)習(xí)的基礎(chǔ)機制仍在探索之中。
因此，北京大學(xué)和騰訊 WeChat AI 的研究者通過信息流的視角探究上下文學(xué)習(xí)的工作機制。研究結(jié)果發(fā)現(xiàn)，演示示例中的標簽詞發(fā)揮了錨點（anchor）的作用，具體表現(xiàn)為以下兩個方面：
- 語義信息在淺計算層的處理過程中聚合為標簽詞表示；
- 標簽詞中的整合信息作為 LLM 最終預(yù)測的參考。
基于這些發(fā)現(xiàn)，研究者提出一種提升上下文學(xué)習(xí)性能的錨點重加權(quán)方法、一種加速推理的演示壓縮技術(shù)、以及用于判斷 GPT2-XL 中上下文學(xué)習(xí)誤差的分析框架。
研究者提出的假設(shè)。在淺層，標簽詞從演示中收集信息，以形成語義表示來進行更深層處理；深層從標簽詞中提取并利用這些信息以形成最終預(yù)測。
本文研究結(jié)果具有前景廣闊的應(yīng)用，再次驗證了上下文學(xué)習(xí)的工作機制，為未來研究鋪平了道路。
GPT2-XL 和 GPT-J 上不同壓縮方法的結(jié)果比較。
EMNLP 2023 最佳短論文
論文標題：Faster Minimum Bayes Risk Decoding with Confidence-based Pruning
- 論文地址：https://aclanthology.org/2023.emnlp-main.767.pdf
- 機構(gòu)：劍橋大學(xué)
論文摘要：最小貝葉斯風(fēng)險（MBR）解碼是輸出在模型分布上對某個效用函數(shù)具有最高預(yù)期效用的假設(shè)。在條件語言生成問題，尤其是神經(jīng)機器翻譯中，無論是在人類評估還是自動評估中，它的準確性都超過了束搜索（beam search）。然而，基于采樣的標準 MBR 算法的計算成本遠高于束搜索，它需要大量采樣以及對效用函數(shù)的二次調(diào)用，這限制了它的適用性。
本文介紹了一種 MBR 算法，它可以逐漸增加用于估計效用的樣本數(shù)量，同時剪枝根據(jù)引導(dǎo)抽樣獲得的置信估計不太可能具有最高效用的假設(shè)。與標準 MBR 相比，該方法所需的樣本更少，調(diào)用效用函數(shù)的次數(shù)也大幅減少，同時準確性方面相差無幾。
算法 2：基于置信的剪枝函數(shù)。
研究者使用 chrF++ 和 COMET 作為效用 / 評估指標，在三種語言對的實驗中證明了該方法的有效性。
實驗結(jié)果。
EMNLP 2023 最佳主題論文
論文標題：Ignore This Title and HackAPrompt: Exposing Systemic Vulnerabilities of LLMs Through a Global Prompt Hacking Competition
- 論文地址：https://aclanthology.org/2023.emnlp-main.302.pdf
- 機構(gòu)：馬里蘭大學(xué)、Mila、 Towards AI、斯坦福大學(xué)等
論文摘要：大型語言模型 (LLM) 通常部署在用戶直接參與的交互式環(huán)境中，例如聊天機器人、寫作助手。這些部署很容易受到即時「注入」和「越獄」（統(tǒng)稱為即時黑客攻擊）的攻擊，其中模型被操縱以忽略其原始指令并遵循潛在的惡意指令。盡管人們廣泛認為這是一個重大的安全威脅，但關(guān)于即時黑客攻擊的定量研究仍然比較少。
因此，該研究發(fā)起了全球即時黑客競賽，允許自由形式的人工輸入攻擊，并針對三個 SOTA LLM 提出了超過 60 萬條對抗性 prompt。實驗結(jié)果表明，當前的 LLM 確實可以通過即時黑客攻擊進行操縱。
prompt 黑客技術(shù)分類。
EMNLP 2023 最佳 Demo 論文
論文標題：PaperMage: A Unified Toolkit for Processing, Representing, and Manipulating Visually-Rich Scientific Documents
- 論文地址：https://aclanthology.org/2023.emnlp-demo.45.pdf
- 機構(gòu)：艾倫人工智能研究院、MIT、加州大學(xué)伯克利分校、華盛頓大學(xué)、美國西北大學(xué)
論文摘要：科研領(lǐng)域的學(xué)術(shù)文獻往往是復(fù)雜的、理論的，并且大部分是 PDF 格式的文檔，查閱文獻需要花費大量時間。為了解決該問題，該論文提出一個開源的 Python 工具包 ——papermage，用于分析和處理視覺效果豐富、結(jié)構(gòu)化的科學(xué)文檔。
papermage 通過將不同的 SOTA NLP 和 CV 模型集成到一個統(tǒng)一的框架中，為科學(xué)文獻提供了清晰直觀的抽象，并為常見的科學(xué)文檔提供處理用例。在學(xué)術(shù)文獻搜索引擎 Semantic Scholar 的支持下，papermage 已經(jīng)可以處理多個 AI 應(yīng)用研究原型的科學(xué)文獻。
EMNLP 2023 最佳行業(yè)論文
論文標題：Personalized Dense Retrieval on Global Index for Voice-enabled Conversational Systems
- 論文地址：https://aclanthology.org/2023.emnlp-industry.9.pdf
- 機構(gòu)：亞馬遜 Alexa AI 研究團隊
論文摘要：語音控制的人工智能對話系統(tǒng)容易受語音變化噪音的干擾，并且難以解決含糊不清的實體問題。通常情況下，部署個性化實體解析（ER）、查詢重寫（QR）從這些錯誤模式中恢復(fù)。以往的工作通過限制檢索空間至用戶與設(shè)備的歷史互動建立的個性化索引來實現(xiàn)個性化。雖然這種限制性檢索能夠?qū)崿F(xiàn)高精度，但預(yù)測僅限于用戶近期歷史中的實體，因此無法廣泛覆蓋未來的請求。此外，為大量用戶維護單個索引需要既耗費內(nèi)存又難以擴展。
本文提出了一種個性化實體檢索系統(tǒng)，它不局限于個性化索引并對語音噪聲和歧義具有穩(wěn)健性。研究者將用戶的收聽偏好嵌入到檢索中使用的上下文查詢嵌入中。他們展示了提出模型糾正多種錯誤模式的能力，并在實體檢索任務(wù)上比基線提高了 91%。他們還優(yōu)化了端到端方法，使其在保持性能提升的同時，也符合在線延遲的限制。
其他杰出論文獎
除了以上獎項，EMNLP 2023 官方還頒發(fā)了一些賽道的杰出論文獎，如賓夕法尼亞州立大學(xué)研究者的論文《The Sentiment Problem: A Critical Survey towards Deconstructing Sentiment Analysis》獲得了情感分析、文體分析和論據(jù)挖掘賽道的杰出論文獎。
圖源：https://twitter.com/PranavVenkit/status/1733856362214674848
蘇黎世聯(lián)邦理工學(xué)院（ETH）博士后研究員 Ethan Gotlieb Wilcox 參與的兩篇論文獲得了杰出論文獎。
圖源：https://twitter.com/weGotlieb/status/1733794210074243348
蒂爾堡大學(xué)、阿姆斯特丹大學(xué)研究者的論文《Homophone Disambiguation Reveals Patterns of Context Mixing in Speech Transformers》也獲得了杰出論文獎。
圖源：https://twitter.com/gchrupala/status/1733788397976650154
