譯者 | 李睿

審校 | 重樓

機(jī)器學(xué)習(xí)領(lǐng)域長期存在的問題之一是錯(cuò)誤相關(guān)性的記憶。例如：假設(shè)開發(fā)人員正在開發(fā)一個(gè)深度神經(jīng)網(wǎng)絡(luò)對(duì)陸地鳥類和海洋鳥類的圖像進(jìn)行分類。他們使用數(shù)千張標(biāo)記過的圖像訓(xùn)練模型，這個(gè)模型在訓(xùn)練集和測(cè)試集上的表現(xiàn)都非常出色。然而，當(dāng)向模型展示一張?jiān)讷F醫(yī)那里接受治療的受傷海鳥的圖片時(shí)，卻錯(cuò)誤地將其歸類為陸地鳥類。

新的訓(xùn)練范式可以防止機(jī)器學(xué)習(xí)模型學(xué)習(xí)虛假相關(guān)性-AI.x社區(qū)

開發(fā)人員最初利用海鳥在海面飛翔的圖像對(duì)模型進(jìn)行訓(xùn)練，這導(dǎo)致了一個(gè)意外的結(jié)果：模型并沒有有效學(xué)習(xí)到海鳥的獨(dú)特特征，反而專注于識(shí)別圖像中是否存在大片水域。因此，當(dāng)向模型展示這張受傷海鳥的圖片時(shí)，其模型錯(cuò)誤地將其歸類為陸地鳥類。

這是機(jī)器學(xué)習(xí)模型學(xué)習(xí)特征和標(biāo)簽之間的虛假相關(guān)性的一個(gè)例子。機(jī)器學(xué)習(xí)模型具有“惰性”，通常會(huì)選擇捷徑以實(shí)現(xiàn)目標(biāo)。在這個(gè)例子中，模型在其訓(xùn)練數(shù)據(jù)中記住了錯(cuò)誤的特征——海鳥圖片中的水域。

記憶虛假相關(guān)性的主要缺點(diǎn)是缺乏泛化能力。該模型可能會(huì)給人一種進(jìn)步的假象，但在現(xiàn)實(shí)情況下可能無法很好地發(fā)揮作用。鳥類分類就是一個(gè)很好的例子。但是，當(dāng)機(jī)器學(xué)習(xí)模型用于醫(yī)療保健或自動(dòng)駕駛汽車等關(guān)鍵應(yīng)用時(shí)，虛假相關(guān)性可能會(huì)造成危害。

如何檢測(cè)機(jī)器學(xué)習(xí)模型是否學(xué)習(xí)了虛假相關(guān)性？蒙特利爾大學(xué)和Meta公司的研究人員日前發(fā)表的一篇新論文探討了機(jī)器學(xué)習(xí)模型中記憶的動(dòng)態(tài)，以及它是如何導(dǎo)致學(xué)習(xí)虛假相關(guān)性的。他們還提出了一種名為“記憶感知訓(xùn)練”（MAT）的新范式，可以幫助防止機(jī)器學(xué)習(xí)模型在訓(xùn)練過程中學(xué)習(xí)虛假相關(guān)性。

ERM的問題

訓(xùn)練神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)方法是經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化（ERM），這是一種學(xué)習(xí)算法旨在致力減少模型在訓(xùn)練數(shù)據(jù)集上的損失。用于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的隨機(jī)梯度下降（SGD）算法是一種解決ERM的優(yōu)化算法。

ERM面臨的一個(gè)問題是，它可能會(huì)促使模型快速捕捉虛假相關(guān)性，而不是深入理解并學(xué)習(xí)問題潛在分布的真正模式。當(dāng)虛假相關(guān)性非常顯著時(shí)（例如，海鳥示例中的大片水域），模型往往會(huì)提前停止學(xué)習(xí)，錯(cuò)過進(jìn)一步挖掘真正有用模式（如圖像中的鳥類特征）的機(jī)會(huì)。這會(huì)降低泛化能力，因?yàn)樵趯?shí)際情況下，虛假的特征可能并不存在，而有用的特征始終存在（例如，遠(yuǎn)離水域的海鳥）。

如果一個(gè)模型有足夠的參數(shù)，它甚至?xí)涀H特定于單個(gè)數(shù)據(jù)點(diǎn)的獨(dú)特特征，而這些特征并不適用于其他示例。這些特征與真正能夠預(yù)測(cè)目標(biāo)變量的核心屬性無關(guān)。

圖1 ERM會(huì)導(dǎo)致機(jī)器學(xué)習(xí)模型記憶虛假的特征，無法推廣到少數(shù)示例

為了驗(yàn)證模型是否學(xué)習(xí)了虛假相關(guān)性，必須在包含少數(shù)示例的保留樣本上進(jìn)行評(píng)估，這些示例不符合神經(jīng)網(wǎng)絡(luò)從大多數(shù)訓(xùn)練數(shù)據(jù)中學(xué)習(xí)的簡單解釋。例如對(duì)奶牛和駱駝的圖像進(jìn)行分類的一個(gè)模型，如果訓(xùn)練集中的大多數(shù)奶牛出現(xiàn)在草地上，大多數(shù)駱駝出現(xiàn)在沙地上，那么沙地上的奶?；虿莸厣系鸟橊劸褪巧贁?shù)示例。

記憶感知訓(xùn)練（MAT）

雖然給出的例子可以幫助發(fā)現(xiàn)記憶虛假相關(guān)性的跡象，但該論文提出了一種使用少數(shù)示例來指導(dǎo)模型學(xué)習(xí)可推廣模式的方法。

這種方法稱為記憶感知訓(xùn)練（MAT），通過使用預(yù)測(cè)來修改模型的邏輯——神經(jīng)網(wǎng)絡(luò)在轉(zhuǎn)換為概率之前輸出的原始預(yù)測(cè)。

圖2 記憶感知訓(xùn)練（MAT）防止機(jī)器學(xué)習(xí)模型學(xué)習(xí)虛假相關(guān)性，并迫使其對(duì)少數(shù)示例進(jìn)行泛化

具體來說，MAT通過引入基于“校準(zhǔn)保留概率”的每個(gè)示例的邏輯移位來修改ERM目標(biāo)。這里的校準(zhǔn)保留概率旨在通過一種機(jī)制，增加那些預(yù)測(cè)錯(cuò)誤且保留概率較高示例的損失，同時(shí)降低那些預(yù)測(cè)正確且保留概率也較高的示例的損失，從而調(diào)整訓(xùn)練重點(diǎn)。通過將這些概率添加到損失函數(shù)中，訓(xùn)練算法可以防止模型記憶虛假相關(guān)性，并優(yōu)先學(xué)習(xí)數(shù)量較少或難以分類的示例，這些示例的泛化能力通常較差。

為了計(jì)算保留概率，MAT使用了一個(gè)通過交叉風(fēng)險(xiǎn)最小化（XRM）訓(xùn)練的輔助模型。XRM是一種訓(xùn)練技術(shù)，旨在通過在兩個(gè)網(wǎng)絡(luò)上對(duì)訓(xùn)練數(shù)據(jù)的隨機(jī)一半進(jìn)行訓(xùn)練來發(fā)現(xiàn)數(shù)據(jù)集內(nèi)的不同環(huán)境。關(guān)鍵思想是鼓勵(lì)每個(gè)網(wǎng)絡(luò)學(xué)習(xí)一個(gè)有偏見的分類器，然后使用一個(gè)模型對(duì)另一個(gè)模型的數(shù)據(jù)所犯的錯(cuò)誤（交叉錯(cuò)誤）來注釋訓(xùn)練和驗(yàn)證示例。

為了跟蹤MAT的有效性，可以比較訓(xùn)練模型的平均準(zhǔn)確率和最差群組準(zhǔn)確率（WGA）之間的差異 (WGA衡量模型在表現(xiàn)最差的子組上的準(zhǔn)確率。這是評(píng)估模型穩(wěn)健性的關(guān)鍵指標(biāo)，特別是在處理虛假關(guān)聯(lián)性和不平衡數(shù)據(jù)集時(shí)）。

圖3 通過縮小平均準(zhǔn)確率（AVG）和最差群組準(zhǔn)確率（WGA）之間的差距，MAT具有更好的泛化能力

在傳統(tǒng)的訓(xùn)練方法中，AVG與WGA之間的差距可能很大。而在MTA中，這一差距減小了（盡管以損失一小部分平均準(zhǔn)確率為代價(jià)），從而更真實(shí)地反映了模型的性能。

盡管大型語言模型（LLM）等領(lǐng)域的發(fā)展備受業(yè)界矚目，但機(jī)器學(xué)習(xí)基礎(chǔ)領(lǐng)域的持續(xù)探索令人耳目一新。MAT等技術(shù)對(duì)于現(xiàn)實(shí)世界的機(jī)器學(xué)習(xí)應(yīng)用至關(guān)重要，因?yàn)殚_發(fā)人員希望機(jī)器學(xué)習(xí)模型在這些應(yīng)用中能夠應(yīng)對(duì)各種復(fù)雜多變的場(chǎng)景。

原文標(biāo)題：New training paradigm prevents machine learning models from learning spurious correlations，作者：Ben Dickson