在過去的幾年中，自然語言處理(NLP)取得了長足的進步，諸如BERT，ALBERT，ELECTRA和XLNet等預訓練語言模型在各種任務(wù)中均取得較高的準確性。預訓練語言模型以Wikipedia這樣的大型文本語料庫為訓練集，通過遮掩一些單詞并對它們進行預測來學習嵌入表示，即遮掩語言建模。實驗結(jié)果表明，通過這樣的方式，可以對不同概念(如外科醫(yī)生和手術(shù)刀)間的豐富語義信息進行編碼。訓練完成后，經(jīng)過微調(diào)就可使模型適用特定任務(wù)的訓練數(shù)據(jù)，通過預訓練嵌入實現(xiàn)分類等特定任務(wù)。鑒于這樣的預訓練表示在不同NLP任務(wù)中得到廣泛采用，作為從業(yè)者，我們需要了解預訓練模型如何對信息編碼以及學習到怎樣的相關(guān)性，這些又會怎樣影響下游應(yīng)用性能，這樣才不至于偏離我們的AI原則。

在“Measuring and Reducing Gendered Correlations in Pre-trained Models”，我們對BERT及精簡版的ALBERT進行實例研究，討論了性別相關(guān)性，并為預訓練語言模型的實踐應(yīng)用提供參考。我們在學術(shù)任務(wù)數(shù)據(jù)集進行實驗，并將結(jié)果與一些常用模型做了對比，以驗證模型實用性，并為進一步的研究提供參考。我們后續(xù)會發(fā)布一系列checkpoints，從而可以在保持NLP任務(wù)準確性的情況下減少性別相關(guān)性。

相關(guān)性衡量

為了解預訓練表征中的相關(guān)性如何影響下游任務(wù)，可以使用多種評估指標來研究性別表征。在這里，我們采用共指消解討論測試結(jié)果，該方法旨在使模型能夠理解句子中給定代詞的正確先行詞， 例圖示句子中，模型要識別出他指護士而不是患者。

OntoNotes(Hovy等，2006)是最常用得標準驗證數(shù)據(jù)集，同時F1分數(shù)用來衡量模型在共指消解中的準確性(Tenney等。2019)。由于OntoNotes僅表示一種數(shù)據(jù)分布，因此我們還使用WinoGender基準測試，該基準提供了一些其他數(shù)據(jù)，通過該基準可以判別性別和職業(yè)何時會產(chǎn)生錯誤的共指消解。WinoGender的得分較高(接近1)，表明模型基于性別與職業(yè)間的關(guān)聯(lián)(如將護士與女性而不是男性關(guān)聯(lián))進行決策;當性別和職業(yè)之間沒有一致的關(guān)聯(lián)時(得分為零)，此時模型決策基于句子結(jié)構(gòu)或語義等其他信息。

研究發(fā)現(xiàn)，BERT或ALBERT在WinoGender上都沒有零得分，而在OntoNotes上獲得了極高的準確性(接近100%)。實驗表明，在一些情況下，模型在推理決策中會考慮性別相關(guān)性。這符合我們的預期，模型可以使用多種線索來理解文本，可以只采用其中的一種或是選擇全部線索。當然，在實際應(yīng)用中我們還是要謹慎，不能寄希望于模型根據(jù)先驗的性別相關(guān)性進行預測，其他可用信息對于預測也非常重要。

實踐指南

鑒于預訓練模型嵌入中的隱式關(guān)聯(lián)有可能影響下游任務(wù)，因此在開發(fā)新的NLP模型時，我們要考慮可以采取哪些措施來減輕這種風險?

• 隱式相關(guān)性的衡量非常重要：雖然可以使用準確性度量來評估模型質(zhì)量，但是這樣度量方式僅從單一角度評估模型，在測試數(shù)據(jù)與訓練數(shù)據(jù)分布相同時其不足尤為顯著。例如，BERT和ALBERT檢查點的準確度相差1%以內(nèi)，但使用性別相關(guān)性進行共指解析的相對偏差為26%。這意味著，對于某些任務(wù)，這樣的差異尤為重要。在處理一些反固定思維的文本時(如男護士)，選擇WinoGender分數(shù)較低的模型更加合理。
• 更改任何模型配置時都要謹慎，哪怕看似影響不大：神經(jīng)網(wǎng)絡(luò)模型訓練由許多超參數(shù)控制，一般通過選擇合理的超參數(shù)以最大化訓練目標。盡管某些參數(shù)選擇看似不會對模型產(chǎn)生什么影響，但我們卻發(fā)現(xiàn)，它們可能會導致性別相關(guān)性發(fā)生重大變化。例如，Dropout正則化用于避免模型的過度擬合，當我們在BERT和ALBERT訓練過程中增大Dropout參數(shù)，即使進行微調(diào)，性別相關(guān)性還是會顯著降低。這意味著微小的配置更改就可以影響訓練模型，從而降低相關(guān)性風險，但同時也表明，在對模型配置進行任何更改時，我們應(yīng)該謹慎行事、仔細評估。

相關(guān)性的緩解：前文以介紹了Dropout對性別相關(guān)性的影響，據(jù)此，我們進一步推論得到通過這樣的方式可能減少額外的相關(guān)性：通過增加dropout參數(shù)，我們可以改進模型對WinoGender的推理方式，而無需手動指定任何內(nèi)容，甚至不需要更改微調(diào)階段。然而，隨著dropout的增加，OneNotes的準確性也會開始下降(見BERT的結(jié)果)，但我們認為可以在預訓練階段避免這種情況，通過更改dropout改進模型，而無需針對特定任務(wù)進行更新。在論文中，我們基于反事實數(shù)據(jù)增強，提出了另一種具有差異化權(quán)重的緩解策略。

展望

我們認為，以上這些實踐指南為開發(fā)強大的NLP系統(tǒng)提供了參考，從而使其適用于更廣泛的語言和應(yīng)用范圍。當然，由于技術(shù)本身的不足，難以捕獲和消除所有潛在的問題。因此，在現(xiàn)實環(huán)境中部署的任何模型都應(yīng)經(jīng)過嚴格測試，即嘗試不同方法，并通過一些保護措施以確保符合道德規(guī)范，如Google的AI原則。我們期待評估框架與數(shù)據(jù)取得更進一步的發(fā)展，使語言模型適用于各種任務(wù)，為更多人提供優(yōu)質(zhì)服務(wù)。

致謝

本文的合作者包括Xuezhi Wang，Ian Tenney，Ellie Pavlick，Alex Beutel，Jilin Chen，Emily Pitler和Slav Petrov。同時感謝Fernando Pereira，Ed Chi，Dipanjan Das，Vera Axelrod，Jacob Eisenstein，Tulsee Doshi和James Wexler等人。