大家好，我是對白。

本次我挑選了ICLR2021中NLP領(lǐng)域下的六篇文章進(jìn)行解讀，包含了文本生成、自然語言理解、預(yù)訓(xùn)練語言模型訓(xùn)練和去偏、以及文本匹配和文本檢索。從這些論文的思想中借鑒了一些idea用于公司自身的業(yè)務(wù)中，最終起到了一個(gè)不錯的效果。 

任務(wù)：端到端文本生成 

本文要解決的是文本生成任務(wù)中的暴露偏差（exposure bias）問題，即在文本生成自回歸形式的生成任務(wù)中，解碼器的輸入總是ground truth的token，沒有遇到過錯誤的生成結(jié)果。

本文通過引入對比學(xué)習(xí)損失，讓模型從負(fù)樣本中區(qū)分正樣本，使得模型暴露于不同的噪聲情況下，來解決這一問題。然而，完全隨機(jī)生成噪聲樣本會導(dǎo)致模型非常容易區(qū)分，特別是對于預(yù)訓(xùn)練模型而言。因此，本文提出了一種對抗擾動方法，添加擾動使得正樣本具有較高的似然度；是的負(fù)樣本具有較低的似然度。 

任務(wù)：自然語言理解、在fine-tune階段增強(qiáng)文本表示 

本文主要研究文本領(lǐng)域的數(shù)據(jù)增強(qiáng)方法，研究了如下問題：

1. 可以將哪些增強(qiáng)方法應(yīng)用于文本？

2. 這些增強(qiáng)方式是互補(bǔ)的嗎，是否可以找到一些策略來整合它們以產(chǎn)生更多不同的增強(qiáng)示例？

3. 如何有效地將獲得的增強(qiáng)樣本融入訓(xùn)練過程？ 

作者考慮了五種針對于文本的數(shù)據(jù)增強(qiáng)方法：

1. 回譯（back-translation）

2. c-BERT 詞替換

3. mixup

4. cutoff

5. 對抗訓(xùn)練 

進(jìn)一步，作者考慮了三種不同的數(shù)據(jù)增強(qiáng)的策略，以探究問題1和問題2，如上圖所示：

隨機(jī)選擇：為mini-batch內(nèi)的每一條樣本，隨機(jī)選擇一種數(shù)據(jù)增強(qiáng)方法；

mixup：將mini-batch內(nèi)的兩條樣本通過mixup的策略隨機(jī)組合

將不同的增強(qiáng)方法堆疊：

在第三個(gè)問題——如何將其更好地融入finetune任務(wù)上，提出了對比損失。

實(shí)驗(yàn)發(fā)現(xiàn)，兩種增強(qiáng)方式的堆疊能進(jìn)一步增強(qiáng)性能。在GLUE上進(jìn)行了實(shí)驗(yàn)，均分相比Baseline提升了2個(gè)點(diǎn)。 

任務(wù)：預(yù)訓(xùn)練語言模型去偏 

本文將對比學(xué)習(xí)用于消除預(yù)訓(xùn)練語言模型生成的文本表示中的偏見因素（例如性別偏見、種族偏見等）。為了做到這一點(diǎn)，本文訓(xùn)練一個(gè)額外的映射網(wǎng)絡(luò)，將語言模型生成的文本表示轉(zhuǎn)換成另一個(gè)表示，在新生成的表示上能達(dá)到消除偏見的效果。本文的創(chuàng)新點(diǎn)在于：

1. 將原文本中的偏見詞替換成其反義詞（如man<->woman; her<->his; she<->he），這樣可以構(gòu)建一個(gè)增強(qiáng)的文本。通過對比損失，在轉(zhuǎn)換后的表示中，最大化這兩者的互信息；

2. 為了進(jìn)一步消除文本中隱含的偏見，額外提出了一個(gè)損失，去最小化生成的句子表示和偏見詞表示的互信息。 

任務(wù)：語言模型預(yù)訓(xùn)練

本文分析了目前將對比學(xué)習(xí)用于文本表示學(xué)習(xí)存在的問題（2.2節(jié)），包括：

• 對比學(xué)習(xí)中，如果采用KL散度作為訓(xùn)練目標(biāo)，訓(xùn)練過程會不穩(wěn)定；

• 對比學(xué)習(xí)要求一個(gè)較大的負(fù)樣本集合，效率低。

對于第一個(gè)問題，作者添加了一個(gè)Wasserstein約束，來增強(qiáng)其訓(xùn)練時(shí)的穩(wěn)定性；對于第二個(gè)問題，作者提出了只采樣最近的K個(gè)負(fù)樣本，稱為Active Negative-sample selection（和NIPS那篇：Hard Negatives Mixing比較類似）。 

任務(wù)：文本匹配；多標(biāo)簽文本分類

本文主要嘗試解決多標(biāo)簽文本分類問題，特別是其存在的長尾標(biāo)簽問題（即當(dāng)數(shù)據(jù)較少時(shí)，類別分布往往不均勻，會存在大量很多只出現(xiàn)了一兩次的標(biāo)簽，同時(shí)少量類別頻繁出現(xiàn)）。

本文主要將多標(biāo)簽分類任務(wù)建模成類似文本匹配的形式。將采樣不同的正負(fù)標(biāo)簽，同時(shí)也會從句子中采樣文本片段，構(gòu)成偽標(biāo)簽。這四種形式的標(biāo)簽（正標(biāo)簽、負(fù)標(biāo)簽、正偽標(biāo)簽、負(fù)偽標(biāo)簽）編碼后，和句子編碼拼接，經(jīng)過一個(gè)匹配層，通過二分類交叉熵?fù)p失（BCE），或NCE損失（將正例區(qū)別于負(fù)例）訓(xùn)練匹配模型。 

任務(wù)：稠密文本檢索

本文研究文本檢索領(lǐng)域，不同于傳統(tǒng)的利用詞級別進(jìn)行檢索（稀疏檢索），本文通過訓(xùn)練文本表示進(jìn)行文本檢索（稱為Dence Retrieval，DR）。DR包含兩個(gè)階段：

1. 預(yù)訓(xùn)練一個(gè)模型，將文本編碼成一個(gè)向量，訓(xùn)練目標(biāo)是使得similar pairs具有最大的相似度分?jǐn)?shù)；

2. 通過訓(xùn)練好的編碼模型，將文本編碼、索引，根據(jù)query的相似度執(zhí)行檢索。

本文主要關(guān)注于第一階段，即如何訓(xùn)練一個(gè)好的表示。本文從一個(gè)假設(shè)出發(fā)：負(fù)樣本采樣方法是限制DR性能的瓶頸。本文的貢獻(xiàn)：

1. 提出了一種更好的負(fù)采樣方法，用于采樣優(yōu)質(zhì)的dissimilar pairs；

2. 本文提出的效果能讓訓(xùn)練更快收斂；

3. 本文提出的方法相比基于BERT的方法提升了100倍效率，同時(shí)達(dá)到了相似的準(zhǔn)確率。