預(yù)訓(xùn)練語言模型在各種自然語言處理任務(wù)上的驚人表現(xiàn)，引起了人們對(duì)其分析的興趣。Probing 是進(jìn)行此類分析所采用的最普遍的方法之一。在典型的 probing 研究中，probing 是一個(gè)插在中間層的淺層神經(jīng)網(wǎng)絡(luò)，通常是一個(gè)分類器層。其有助于探查不同層捕獲的信息。使用輔助任務(wù)對(duì) probing 進(jìn)行訓(xùn)練和驗(yàn)證，以發(fā)現(xiàn)是否捕獲了此類輔助信息。

一般來講，研究者首先凍結(jié)模型的權(quán)重，然后在模型的上下文表示的基礎(chǔ)上訓(xùn)練probe，從而預(yù)測(cè)輸入句子的屬性，例如句法解析（其對(duì)句子結(jié)構(gòu)進(jìn)行分析，理清句子中詞匯之間的連接規(guī)則）。不幸的是，關(guān)于如何設(shè)計(jì)此類 probe 的最佳實(shí)踐仍然存在爭(zhēng)議。

一方面，有研究者傾向于使用簡(jiǎn)單的 probe，這樣就可以將 probe 與 NLP 任務(wù)區(qū)分開來；另一方面，一些人認(rèn)為需要復(fù)雜的 probe 才能從表示中提取相關(guān)信息。此外，還有一些人考慮折中的方法，主張將復(fù)雜性 - 準(zhǔn)確性帕累托曲線上的 probe 考慮在內(nèi)。

本文中，來自劍橋大學(xué)、蘇黎世聯(lián)邦理工學(xué)院的研究者提出架構(gòu)瓶頸原則 (ABP，architectural bottleneck principle) 作為構(gòu)建有用 probe 的指南，并試圖測(cè)量神經(jīng)網(wǎng)絡(luò)中的一個(gè)組件可以從饋送到它的表示中提取多少信息。為了估計(jì)給定組件可以提取多少信息，該研究發(fā)現(xiàn) probe 應(yīng)該與組件完全相同。根據(jù)這一原理，該研究通過注意力 probe 來估計(jì)有多少句法信息可用于 transformer。

論文地址：https://arxiv.org/pdf/2211.06420.pdf

舉例來說，該研究假設(shè) transformer 的注意力頭是其使用句法信息的瓶頸，因?yàn)檫@是 transformer 中唯一可以同時(shí)訪問多個(gè) token 的組件。根據(jù) ABP，該研究提出注意力 probe，就像注意力頭一樣。該 probe 回答了這樣一個(gè)問題：transformer 在計(jì)算其注意力權(quán)重時(shí)可以使用多少句法信息？

結(jié)果表明，大多數(shù)（盡管不是全部）句法信息都可以通過這種簡(jiǎn)單的注意力頭架構(gòu)提取：英語句子平均包含 31.2 bit 的句法樹結(jié)構(gòu)信息，而注意力 probe 可以提取 28.0 bits 信息。更進(jìn)一步，在 BERT、ALBERT 和 RoBERTa 語言模型上，一個(gè)句子的語法樹大部分是可以被 probe 提取的，這表明這些模型在組成上下文表示時(shí)可以訪問句法信息。然而，這些模型是否真的使用了這些信息，仍然是一個(gè)懸而未決的問題。

注意力 Probe 

目前，有許多方法用來設(shè)計(jì)有效的 probe，分類原則大致包括：線性原則、最大信息原則、易提取原則，此外還包括本文提出的 ABP 原則。

可以說 ABP 將前三個(gè)原則聯(lián)系起來。最重要的是，ABP 泛化了線性原則、最大信息原則，此外，ABP 還通過限制 probe 的容量來隱式控信息制提取的難易程度。

該研究重點(diǎn)關(guān)注 transformer 注意力機(jī)制。此前研究人員曾斷言，在計(jì)算注意力權(quán)重時(shí)，transformer 會(huì)使用句法信息。此外，注意力頭是 transformer 中唯一可以同時(shí)訪問多個(gè)單詞的組件。因此，在注意力頭的背景下探索 ABP 是一個(gè)自然的起點(diǎn)。具體而言，根據(jù) ABP，我們可以研究 transformer 的注意力頭可以從輸入表示中提取多少信息。

實(shí)驗(yàn)結(jié)果

對(duì)于數(shù)據(jù)，研究者使用了通用依賴（UD）樹庫。他們分析了四種不同類型的語言，包括巴斯克語、英語、泰米爾語和土耳其語。此外，研究者將分析重點(diǎn)放在未標(biāo)記的依賴樹上，并注意到 UD 使用特定的句法形式，這可能會(huì)對(duì)結(jié)果造成影響。

對(duì)于模型，研究者探討了以上四種語言的多語言 BERT 以及僅支持英語的 RoBERTa 和 ALBERT。根據(jù) ABP，他們保持 probe 的隱藏層大小與 probed 架構(gòu)中的相同。最后，他們還將一個(gè)具有與 BERT 相同架構(gòu)的未訓(xùn)練 transformer 模型作為基線。

下圖 1 展示了主要結(jié)果。首先，研究者的 probe 估計(jì)大多數(shù)句法信息可以在中間層提取。其次，大量句法信息在饋入注意力頭的表示中進(jìn)行編碼。雖然他們估計(jì)使用英語、泰米爾語和巴斯克語句子編碼的信息接近 31 bits，但使用土耳其句子編碼的信息約為 15 bits。研究者懷疑這是因?yàn)橥炼湔Z在語料庫中的句子最短。

研究者還發(fā)現(xiàn)，句子中的幾乎所有句法信息都可用于考慮中的基于 transformer 的模型。例如在英語中，他們發(fā)現(xiàn)信息量最大的層在 BERT、RoBERTa 和 ALBERT 中的 V 系數(shù)分別為 90%、82% 和 89%，具體如下表 1 所示。這意味著這些模型可以訪問一個(gè)句子中約 85% 的句法信息。不過未訓(xùn)練的 BERT 表示并不適合這種情況。

最后，研究者將 BERT 的注意力權(quán)重（通過其預(yù)訓(xùn)練的注意力頭計(jì)算）直接插入到原文公式 (8) 并分析產(chǎn)生的未標(biāo)記附件分?jǐn)?shù)。英語相關(guān)的 BERT 結(jié)果如下圖 2 所示。簡(jiǎn)言之，雖然注意力頭可以使用大量的句法信息，但沒有一個(gè)實(shí)際的頭可以計(jì)算與句法樹非常相似的權(quán)重。

但是，由于 BERT 有 8 個(gè)注意力頭，因此可能以分布式方式使用句法信息，其中每個(gè)頭依賴該信息的子集。