評(píng)價(jià)準(zhǔn)則的差異極大阻礙了已有小樣本學(xué)習(xí)方法基于統(tǒng)一的標(biāo)準(zhǔn)公平比較，也無(wú)法客觀評(píng)價(jià)該領(lǐng)域的真實(shí)進(jìn)展。近期，來(lái)自清華大學(xué)、DeepMind 等團(tuán)隊(duì)研究者在論文《FewNLU: Benchmarking State-of-the-Art Methods for Few-Shot Natural Language Understanding》中指出：現(xiàn)有小樣本學(xué)習(xí)方法并不穩(wěn)定有效，且目前已有工作不存在單一的小樣本學(xué)習(xí)方法能夠在大多數(shù) NLU 任務(wù)上取得優(yōu)勢(shì)性能。小樣本自然語(yǔ)言理解領(lǐng)域發(fā)展依然面臨著嚴(yán)峻的挑戰(zhàn)！該工作被 ACL2022 主會(huì)接收。

• 論文地址：https://arxiv.org/abs/2109.12742
• 項(xiàng)目地址：https://github.com/THUDM/FewNLU
• Leaderboard 地址：https://fewnlu.github.io/ 

本文貢獻(xiàn)如下：

(1) 該研究提出了一個(gè)新的小樣本自然語(yǔ)言理解評(píng)價(jià)框架 FewNLU，并且從三個(gè)關(guān)鍵方面(即測(cè)試集小樣本學(xué)習(xí)性能、測(cè)試集和驗(yàn)證集相關(guān)性、以及穩(wěn)定性) 量化評(píng)估該評(píng)價(jià)準(zhǔn)則的優(yōu)勢(shì)。 (2) 研究者對(duì)該領(lǐng)域相關(guān)工作進(jìn)行重新評(píng)估，結(jié)果表明：已有工作未準(zhǔn)確估計(jì)現(xiàn)有小樣本學(xué)習(xí)方法的絕對(duì)性能和相對(duì)差距；目前尚不存在單一在大多數(shù) NLU 任務(wù)取得優(yōu)勢(shì)性能的方法；不同方法的增益是優(yōu)勢(shì)互補(bǔ)的，最佳組合模型的性能接近于全監(jiān)督 NLU 系統(tǒng)等關(guān)鍵結(jié)論。(3) 此外本文提出 FewNLU，并構(gòu)建了 Leaderboard，希望幫助促進(jìn)小樣本自然語(yǔ)言理解領(lǐng)域未來(lái)研究工作的發(fā)展。

小樣本自然語(yǔ)言理解評(píng)價(jià)框架

模型選擇對(duì)小樣本學(xué)習(xí)是必要的嗎？

初步實(shí)驗(yàn)結(jié)果表明 (如表格 1 所示)，就如已有大多數(shù)工作那樣基于一組(根據(jù)既往實(shí)驗(yàn)經(jīng)驗(yàn)) 預(yù)先固定的超參數(shù)的實(shí)驗(yàn)設(shè)置，并不是最佳選擇。實(shí)驗(yàn)條件的細(xì)微變化或者擾動(dòng)都會(huì)帶來(lái)性能的急劇波動(dòng)?；谛〉尿?yàn)證集在不同實(shí)驗(yàn)中分別進(jìn)行模型選擇是不可或缺的。

小樣本自然語(yǔ)言理解評(píng)價(jià)框架

基于上述結(jié)論，本文為小樣本自然語(yǔ)言理解提出一種更穩(wěn)健且有效的評(píng)價(jià)框架，如算法 1 所示。

該評(píng)價(jià)框架中有兩個(gè)關(guān)鍵設(shè)計(jì)選擇，分別是如何構(gòu)建數(shù)據(jù)拆分以及確定關(guān)鍵搜索超參數(shù)。

如何構(gòu)建數(shù)據(jù)拆分？

本文首先提出數(shù)據(jù)拆分構(gòu)建的三個(gè)關(guān)鍵指標(biāo): (1) 最終測(cè)試集小樣本學(xué)習(xí)性能、 (2) 測(cè)試集和驗(yàn)證集關(guān)于一個(gè)超參數(shù)空間分布的相關(guān)性、以及 (3) 關(guān)于實(shí)驗(yàn)執(zhí)行次數(shù)的穩(wěn)定性。

基于此，本文對(duì)多種不同的數(shù)據(jù)拆分策略進(jìn)行了量化實(shí)驗(yàn)和討論，包括 (1) K 折交叉驗(yàn)證 (K-Fold CV)[2], (2) 最短描述距離(MDL)[2]，(3) Bagging [9], (4) 隨機(jī)采樣策略 (5) 模型指導(dǎo)的拆分策略 (6) 以及本文提出的多次數(shù)據(jù)劃分(Multi-Splits)。

實(shí)驗(yàn)結(jié)果如表格 2、3 和圖 1 所示。表格 2、3 的實(shí)驗(yàn)結(jié)果表明：從小樣本性能和相關(guān)性看，多次數(shù)據(jù)劃分 (Multi-Splits) 是比其他幾個(gè)基準(zhǔn)方案更好的數(shù)據(jù)拆分策略。 

此外，由圖 1 可知，Multi-Splits 的優(yōu)勢(shì)還源于增大執(zhí)行次數(shù) K 的取值并不會(huì)對(duì)訓(xùn)練集和驗(yàn)證集的數(shù)據(jù)量產(chǎn)生影響，相反會(huì)進(jìn)一步增加該結(jié)果的置信度，故實(shí)驗(yàn)過(guò)程中總可以選擇盡可能增大 K 的取值。然而對(duì)于 CV 和 MDL，較大的 K 值會(huì)導(dǎo)致失敗(Failure Mode)，較小的 K 值導(dǎo)致高隨機(jī)性不穩(wěn)定的結(jié)果；同時(shí)在實(shí)踐中很難先驗(yàn)地知道應(yīng)該如何取值。故 Multi-Splits 是更具實(shí)際使用意義的數(shù)據(jù)拆分策略。

小樣本學(xué)習(xí)方法重新評(píng)價(jià)

基于統(tǒng)一的評(píng)價(jià)框架下，本文對(duì)目前已有最先進(jìn)的小樣本學(xué)習(xí)方法進(jìn)行重新評(píng)價(jià)。本文還嘗試探索了多種不同小樣本學(xué)習(xí)方法和技術(shù)組合可以實(shí)現(xiàn)的最佳性能(如表格 5 中的 "Our Best" 所示)。重新評(píng)價(jià)實(shí)驗(yàn)結(jié)果如表格所示。

重新評(píng)估結(jié)果可揭示如下關(guān)鍵結(jié)論：

• 結(jié)論 1: 小樣本學(xué)習(xí)方法的絕對(duì)性能和相對(duì)性能差異，在先前文獻(xiàn)中未被準(zhǔn)確估計(jì)。此外小樣本方法（例如 ADAPET）在像 DeBERTa 這樣的大型模型上的優(yōu)勢(shì)會(huì)顯著降低。半監(jiān)督小樣本方法（例如 iPET 和 Noisy Student）增益在較大的模型也可以保持一致性。
• 結(jié)論 2: 不同小樣本學(xué)習(xí)方法的增益在很大程度上是互補(bǔ)的。通過(guò)將目前各種先進(jìn)方法加以組合，它們可以在很大程度上實(shí)現(xiàn)優(yōu)于任意單一方法的小樣本學(xué)習(xí)性能。目前最佳組合方法的小樣本學(xué)習(xí)性能，接近 RoBERTa 上實(shí)現(xiàn)的全監(jiān)督性能；然而和目前 DeBERTa 上實(shí)現(xiàn)的最優(yōu)全監(jiān)督性能相比，它仍然存在較大的差異性。
• 結(jié)論 3: 目前已有相關(guān)工作中不存在單一的小樣本學(xué)習(xí)方法能夠在大多數(shù) NLU 任務(wù)上取得主導(dǎo)性優(yōu)勢(shì)性能。這為未來(lái)進(jìn)一步開(kāi)發(fā)出具有跨任務(wù)一致性和魯棒性的小樣本學(xué)習(xí)方法提出新的挑戰(zhàn)。