大數(shù)據(jù)文摘出品

7月份，紐約大學(xué)（NYU）博士后Naomi Saphra撰寫了一篇題為“Interpretability Creationism”，從進(jìn)化論的角度解釋了隨機(jī)梯度下降（SGD）與深度學(xué)習(xí)之間的關(guān)系，解讀視角發(fā)人深思。

例如：“就像人類尾骨一樣，有些現(xiàn)象在模型訓(xùn)練過程中可能已經(jīng)失去了原來的作用，變成了類似退化器官的存在?！?/p>

“無論是在研究寄生育雛行為還是神經(jīng)網(wǎng)絡(luò)的內(nèi)部表現(xiàn)，如果不考慮系統(tǒng)是如何發(fā)展的，就很難分辨哪些是有價值信息?！?/p>

以下是原文，文摘菌做了不改變原意的編譯，請欣賞。

幾個世紀(jì)前，歐洲人布谷鳥蛋出現(xiàn)在鳥巢中是筑巢鳥的榮譽。因為，筑巢鳥熱情地喂養(yǎng)她的“神圣客人”，甚至比喂養(yǎng)自己的（被驅(qū)逐的）雛鳥還要賣力，筑巢鳥的這種行為符合基督教熱情好客的精神。

1859年，查爾斯·達(dá)爾文研究了另一種偶爾寄生的雀科鳥類——雀鳥，從而質(zhì)疑了鳥類行為的樂觀、合作觀念。

如果不從進(jìn)化論角度考慮布谷鳥的角色，人們很難認(rèn)識到筑巢鳥不是布谷鳥幼鳥的慷慨主人，而是一個不幸的受害者。

正如進(jìn)化生物學(xué)家Theodosius Dobzhansky所言：“沒有進(jìn)化的光輝，生物學(xué)中的一切都無法理解?！?/p>

雖然隨機(jī)梯度下降并不是生物進(jìn)化的真正形式，但機(jī)器學(xué)習(xí)中的事后分析與生物學(xué)的科學(xué)方法有很多相似之處，這通常需要理解模型行為的起源。

無論是在研究寄生育雛行為還是神經(jīng)網(wǎng)絡(luò)的內(nèi)部表現(xiàn)，如果不考慮系統(tǒng)是如何發(fā)展的，就很難分辨哪些是有價值信息。

因此，在分析模型時，不僅要關(guān)注訓(xùn)練結(jié)束時的狀態(tài)，還要關(guān)注訓(xùn)練過程中的多個中間檢查點。這樣的實驗開銷很小，但可能帶來有意義的發(fā)現(xiàn)，有助于更好地理解和解釋模型的行為。

恰到好處的故事

人類是因果思考者，喜歡尋找事物之間的因果關(guān)系，即使可能缺乏科學(xué)依據(jù)。

在NLP領(lǐng)域，研究者們也傾向于為觀察到的行為提供一種可解釋的因果解釋，但這種解釋可能并沒有真正揭示模型的內(nèi)部工作原理。例如，人們可能會高度關(guān)注句法注意力分布或選擇性神經(jīng)元等可解釋性工件，但實際上我們并不能確定模型是否真的在使用這些行為模式。

為了解決這個問題，因果建?？梢蕴峁椭?。當(dāng)我們嘗試通過干預(yù)（修改或操作）模型的某些特征和模式來測試它們對模型行為的影響時，這種干預(yù)可能只針對某些明顯的、特定類型的行為。換句話說，在嘗試?yán)斫饽Ｐ腿绾问褂锰囟ㄌ卣骱湍Ｊ綍r，我們可能只能觀察到其中一部分行為，而忽略了其他潛在的、不太明顯的行為。

因此，在實踐中，我們可能只能對表示中的特定單元進(jìn)行某些類型的輕微干預(yù)，無法正確反映特征之間的相互作用。

在嘗試通過干預(yù)（修改或操作）模型的某些特征和模式來測試它們對模型行為的影響時，我們可能會引入分布偏移。顯著的分布偏移可能導(dǎo)致不穩(wěn)定的行為，那么為什么不會導(dǎo)致偽造的可解釋性工件呢？

譯者注：分布偏移指的是模型在訓(xùn)練數(shù)據(jù)上建立的統(tǒng)計規(guī)律與干預(yù)后數(shù)據(jù)之間的差異。這種差異可能導(dǎo)致模型無法適應(yīng)新的數(shù)據(jù)分布，從而表現(xiàn)出不穩(wěn)定的行為。

幸運的是，研究生物進(jìn)化的方法可以幫助我們理解模型中產(chǎn)生的一些現(xiàn)象。就像人類尾骨一樣，有些現(xiàn)象在模型訓(xùn)練過程中可能已經(jīng)失去了原來的作用，變成了類似退化器官的存在。有些現(xiàn)象可能存在相互依賴的關(guān)系，例如，在訓(xùn)練早期出現(xiàn)的某些特征可能影響了后續(xù)其他特征的發(fā)展，就像動物在發(fā)展復(fù)雜的眼睛之前，需要先有基本的光感應(yīng)能力。

還有一些現(xiàn)象可能是由于特征之間的競爭導(dǎo)致的，例如，具有很強嗅覺能力的動物可能不太依賴視覺，因此視覺方面的能力可能會減弱。另外，一些現(xiàn)象可能只是訓(xùn)練過程中的副作用，類似于我們基因組中的垃圾DNA，它們占據(jù)了基因組的很大一部分，但并不直接影響我們的外觀和功能。

在訓(xùn)練模型的過程中，有些未使用的現(xiàn)象可能會出現(xiàn)，我們有很多理論來解釋這種現(xiàn)象。例如，信息瓶頸假說預(yù)測，在訓(xùn)練早期，輸入信息會被記憶下來，然后在模型中進(jìn)行壓縮，只保留與輸出相關(guān)的信息。這些早期記憶在處理未見過的數(shù)據(jù)時可能并不總是有用，但它們對于最終學(xué)習(xí)到特定輸出表示是非常重要的。

我們還可以考慮到退化特征的可能性，因為訓(xùn)練模型的早期和后期行為是很不一樣的。早期的模型更簡單。以語言模型為例，早期的模型類似于簡單的n-gram模型，而后期模型則能表現(xiàn)出更復(fù)雜的語言模式。這種訓(xùn)練過程中的混合可能會產(chǎn)生一些副作用，而這些副作用很容易被誤認(rèn)為是訓(xùn)練模型的關(guān)鍵部分。

進(jìn)化觀點

僅根據(jù)訓(xùn)練結(jié)束后的特征來理解模型的學(xué)習(xí)傾向是非常困難的。根據(jù)Lovering等人的研究成果，觀察訓(xùn)練開始時特征提取的容易程度以及對微調(diào)數(shù)據(jù)的分析，對于理解微調(diào)性能的影響比僅僅在訓(xùn)練結(jié)束時進(jìn)行的分析要深入得多。

語言分層行為是一個典型的基于分析靜態(tài)模型的解釋。有人認(rèn)為在句子結(jié)構(gòu)中位置靠近的單詞在模型中的表示會更接近，而與結(jié)構(gòu)上較遠(yuǎn)的單詞表示相距較遠(yuǎn)。那么，我們?nèi)绾沃滥Ｐ褪峭ㄟ^按照句子結(jié)構(gòu)上的接近程度來對單詞進(jìn)行分組呢？

實際上，我們可以更有把握地說，某些語言模型是分層的，因為早期模型在長短時記憶網(wǎng)絡(luò)（LSTM）和Transformer中編碼了更多的局部信息，并且當(dāng)這些依賴關(guān)系可以分層地堆疊在熟悉的短成分上時，它們更容易學(xué)習(xí)更遠(yuǎn)距離的依賴關(guān)系。

處理解釋性創(chuàng)造主義問題時遇到了一個實際案例。使用不同的隨機(jī)種子多次訓(xùn)練文本分類器時，可以觀察到模型分布在多個不同的簇中。還發(fā)現(xiàn)，可以通過觀察模型在損失表面上與其他模型的連接情況來預(yù)測模型的泛化行為。換句話說，根據(jù)損失表面上的位置，模型的泛化性能可能會有所不同。這種現(xiàn)象可能與訓(xùn)練過程中使用的隨機(jī)種子有關(guān)。

但是真的可以這么說嗎？如果一個簇實際上對應(yīng)于模型的早期階段呢？如果一個簇實際上只是表示了模型的早期階段，那么最終這些模型可能會轉(zhuǎn)向具有更好泛化性能的簇。因此，在這種情況下，觀察到的現(xiàn)象只表示一些微調(diào)過程比其他過程慢。

需要證明訓(xùn)練軌跡可能會陷入損失表面上的一個盆地（basin），從而解釋訓(xùn)練模型中泛化行為的多樣性。實際上，在檢查了訓(xùn)練過程中的幾個檢查點后，發(fā)現(xiàn)位于簇中心的模型會在訓(xùn)練過程中與其簇中的其他模型建立更強的聯(lián)系。然而，有些模型還是能夠成功地轉(zhuǎn)向一個更好的簇。

一個建議

對于研究問題的回答，僅觀察訓(xùn)練過程是不夠的。在尋求因果關(guān)系時，需要進(jìn)行干預(yù)。以生物學(xué)中關(guān)于抗生素耐藥性的研究為例，研究人員需要故意將細(xì)菌暴露于抗生素，而不能依賴自然實驗。因此，基于訓(xùn)練動態(tài)的觀察所做的聲明（statement），需要實驗證實。

并非所有聲明都需要觀察訓(xùn)練過程。在古代人類看來，許多器官都有明顯的功能，如眼睛用于看東西，心臟用于泵血等。在自然語言處理（NLP）領(lǐng)域中，通過分析靜態(tài)模型，我們可以做出簡單的解讀，例如特定神經(jīng)元在特定屬性存在時會激活，或某些類型的信息在模型中仍然可獲取。

然而，訓(xùn)練過程的觀察仍然可以弄明白許多在靜態(tài)模型中進(jìn)行的觀察的含義。這意味著，盡管不是所有問題都需要觀察訓(xùn)練過程，但在許多情況下，了解訓(xùn)練過程對于理解觀察結(jié)果是有幫助的。

建議很簡單：在研究和分析訓(xùn)練模型時，不要僅關(guān)注訓(xùn)練過程中的最終結(jié)果。相反，應(yīng)該將分析應(yīng)用于訓(xùn)練過程中的多個中間檢查點；在微調(diào)模型時，要檢查訓(xùn)練早期和晚期的幾個點。在訓(xùn)練過程中觀察模型行為的變化非常重要，這可以幫助研究人員更好地理解模型策略是否合理，并在觀察到訓(xùn)練早期發(fā)生的情況后對模型策略進(jìn)行評估。

參考鏈接：https://thegradient.pub/interpretability-creationism/