繼 BERT 之后，研究者們注意到了大規(guī)模預(yù)訓(xùn)練模型的潛力，不同的預(yù)訓(xùn)練任務(wù)、模型架構(gòu)、訓(xùn)練策略等被提出。但 BERT 類模型通常存在兩大缺點(diǎn)：一是過分依賴有標(biāo)簽數(shù)據(jù)；二是存在過擬合現(xiàn)象。

具體而言，現(xiàn)在的語言模型都傾向于兩段式框架，即預(yù)訓(xùn)練 + 下游任務(wù)微調(diào)，但是在針對(duì)下游任務(wù)的微調(diào)過程中又需要大量的樣本，否則效果很差，然而標(biāo)注數(shù)據(jù)的成本高昂。還有就是標(biāo)注數(shù)據(jù)有限，模型只能擬合訓(xùn)練數(shù)據(jù)分布，但數(shù)據(jù)較少的話容易造成過擬合，致使模型的泛化能力下降。

作為大模型的開路先鋒，大型預(yù)訓(xùn)練語言模型，特別是 GPT-3 已經(jīng)顯示出令人驚訝的 ICL（In-Context Learning）能力。與微調(diào)需要額外的參數(shù)更新不同，ICL 只需要一些演示「輸入 - 標(biāo)簽」對(duì)，模型就可以預(yù)測標(biāo)簽甚至是沒見過的輸入標(biāo)簽。在許多下游任務(wù)中，一個(gè)大型 GPT 模型可以獲得相當(dāng)好的性能，甚至超過了一些經(jīng)過監(jiān)督微調(diào)的小型模型。

為何 ICL 的表現(xiàn)如此優(yōu)秀，在來自 OpenAI 的一篇長達(dá) 70 多頁的論文《Language Models are Few-Shot Learners》中，他們對(duì) ICL 進(jìn)行了探索，其目的是讓 GPT-3 使用更少的領(lǐng)域數(shù)據(jù)、且不經(jīng)過微調(diào)去解決問題。

如下圖所示，ICL 包含三種分類：Few-shot learning，允許輸入數(shù)條示例和一則任務(wù)說明；One-shot learning，只允許輸入一條示例和一則任務(wù)說明；Zero-shot learning，不允許輸入任何示例，只允許輸入一則任務(wù)說明。結(jié)果顯示 ICL 不需要進(jìn)行反向傳播，僅需要把少量標(biāo)注樣本放在輸入文本的上下文中即可誘導(dǎo) GPT-3 輸出答案。 

GPT-3 in-context learning

實(shí)驗(yàn)證明在 Few-shot 下 GPT-3 有很好的表現(xiàn)：

為什么 GPT 可以在 In-Context 中學(xué)習(xí)？

盡管 ICL 在性能上取得了巨大的成功，但其工作機(jī)制仍然是一個(gè)有待研究的開放性問題。為了更好地理解 ICL 是如何工作的，我們接下來介紹一篇來自北大、清華等機(jī)構(gòu)的研究是如何解釋的。 

• 論文地址：https://arxiv.org/pdf/2212.10559v2.pdf
• 項(xiàng)目地址：https://github.com/microsoft/LMOps

用網(wǎng)友的話來總結(jié)，即：「這項(xiàng)工作表明，GPT 自然地學(xué)會(huì)了使用內(nèi)部優(yōu)化來執(zhí)行某些運(yùn)行。該研究同時(shí)提供了經(jīng)驗(yàn)性證據(jù)來證明 In-Context Learning 和顯式微調(diào)在多個(gè)層面上表現(xiàn)相似?！?/span>

為了更好地理解 ICL 是如何工作的，該研究將語言模型解釋為元優(yōu)化器，ICL 解釋為一個(gè)元優(yōu)化過程，并將 ICL 理解為一種隱式微調(diào)，試圖在基于 GPT 的 ICL 和微調(diào)之間建立聯(lián)系。從理論上講，該研究發(fā)現(xiàn) Transformer 的注意力具有基于梯度下降的對(duì)偶優(yōu)化形式。

在此基礎(chǔ)上，該研究提出了一個(gè)新的視角來解釋 ICL：GPT 首先根據(jù)演示示例生成元梯度，然后將這些元梯度應(yīng)用于原始 GPT 以構(gòu)建 ICL 模型。

如圖 1 所示，ICL 和顯式微調(diào)共享基于梯度下降的對(duì)偶優(yōu)化形式。唯一的區(qū)別是 ICL 通過前向計(jì)算產(chǎn)生元梯度，而微調(diào)通過反向傳播計(jì)算梯度。因此，將 ICL 理解為某種隱式微調(diào)是合理的。

ICR 執(zhí)行隱式微調(diào) 

該研究首先定性分析了松弛線性注意力（relaxed linear attention）形式下的 Transformer 注意力，以找出它與基于梯度下降優(yōu)化之間的對(duì)偶形式。然后，該研究將 ICL 與顯式微調(diào)進(jìn)行比較，并在這兩種優(yōu)化形式之間建立聯(lián)系?；谶@些理論發(fā)現(xiàn)，他們建議將 ICL 理解為一種隱式微調(diào)。

首先該研究將 Transforme 注意力看作元優(yōu)化，將 ICL 解釋為一個(gè)元優(yōu)化過程：（1）一個(gè)基于 Transformer 的預(yù)訓(xùn)練語言模型作為元優(yōu)化器；（2）通過前向計(jì)算根據(jù)實(shí)例生成元梯度；（3）通過注意力，將元梯度應(yīng)用于原始語言模型，構(gòu)建 ICL。

接下來是 ICL 與微調(diào)的比較。通過一系列設(shè)置后，該研究發(fā)現(xiàn) ICL 與微調(diào)有許多共同特性。他們從以下四個(gè)方面來組織這些共性：兩者都執(zhí)行梯度下降；相同的訓(xùn)練信息；訓(xùn)練例子的因果順序相同；都是圍繞注意力展開。

考慮到 ICL 和微調(diào)之間的所有這些共同屬性，該研究認(rèn)為將 ICL 理解為一種隱式微調(diào)是合理的。在本文的其余部分，該研究從多個(gè)方面根據(jù)經(jīng)驗(yàn)比較 ICL 和微調(diào)，以提供支持這種理解的定量結(jié)果。

實(shí)驗(yàn)結(jié)果

該研究進(jìn)行了一系列實(shí)驗(yàn)來全面比較 ICL 的行為和基于實(shí)際任務(wù)的顯式微調(diào)，在六個(gè)分類任務(wù)上，他們比較了預(yù)訓(xùn)練 GPT 在 ICL 和微調(diào)設(shè)置中關(guān)于預(yù)測、注意力輸出和注意力得分的情況。正如預(yù)期的那樣，ICL 在預(yù)測、表示和注意力級(jí)別等方面都與顯式微調(diào)高度相似。這些結(jié)果有力地證明了這一合理性：ICL 執(zhí)行隱式微調(diào)。

 此外，受元優(yōu)化理解的啟發(fā)，該研究通過類比基于動(dòng)量的梯度下降算法設(shè)計(jì)了一種基于動(dòng)量的注意力。它始終優(yōu)于 vanilla attention 的性能。

表 2 顯示了在六個(gè)分類數(shù)據(jù)集上 ZSL（ Zero-Shot Learning ）、ICL 和微調(diào)（FT）設(shè)置中的驗(yàn)證精度。與 ZSL 相比，ICL 和微調(diào)都取得了相當(dāng)大的改進(jìn)，這意味著所做的優(yōu)化都有助于這些下游任務(wù)。此外，該研究發(fā)現(xiàn) ICL 在 Few-shot 場景中比微調(diào)更好。

表 3 中顯示了 6 個(gè)數(shù)據(jù)集上 2 個(gè) GPT 模型的 Rec2FTP 分?jǐn)?shù)。平均而言，ICL 可以從 ZSL 中正確地預(yù)測 87.64% 的微調(diào)能夠糾正的示例。這些結(jié)果表明在預(yù)測層面，ICL 可以覆蓋大多數(shù)正確的微調(diào)行為。

表 3 還顯示了 6 個(gè)數(shù)據(jù)集上 2 個(gè) GPT 模型的示例與層的平均 SimAOU 分?jǐn)?shù)。為了比較，該研究還提供了一個(gè)基線指標(biāo)（Random SimAOU），用來計(jì)算 ICL 更新和隨機(jī)生成更新之間的相似性。從表中可以看出，ICL 更新更類似于微調(diào)更新而非隨機(jī)更新，這意味著在表示層面上，ICL 傾向于按照微調(diào)改變的方向來改變注意力結(jié)果。

最后，表 3 還顯示了 6 個(gè)數(shù)據(jù)集上 2 個(gè) GPT 模型的示例與層的平均 SimAM 分?jǐn)?shù)。作為 SimAM 的基線指標(biāo)，ZSL SimAM 計(jì)算 ICL 注意力權(quán)重和 ZSL 注意力權(quán)重之間的相似性。通過比較這兩個(gè)指標(biāo)，該研究發(fā)現(xiàn)，與 ZSL 相比，ICL 更傾向于生成類似于微調(diào)的注意力權(quán)重。同樣在注意力行為層面，該研究證明 ICL 的行為類似于微調(diào)。

為了更徹底地探究 ICL 和微調(diào)之間的相似性，該研究比較了不同層的 SimAOU 和 SimAM 分?jǐn)?shù)。通過從每個(gè)數(shù)據(jù)集中隨機(jī)抽取 50 個(gè)驗(yàn)證示例，分別繪制了如下圖 2 和圖 3 所示的 SimAOU 和 SimAM 箱形圖。

從圖中可以發(fā)現(xiàn)，SimAOU 和 SimAM 在較低層出現(xiàn)波動(dòng)，并且往往在較高層更加穩(wěn)定。這種現(xiàn)象說明了 ICL 進(jìn)行的元優(yōu)化具有前向累積效應(yīng)，隨著累積的增加，ICL 的行為更類似于較高層的微調(diào)。

總結(jié)

總結(jié)而言，本文旨在解釋基于 GPT 的 ICL 工作機(jī)制。從理論上講，該研究找出了 ICL 的對(duì)偶形式，并建議將 ICL 理解為元優(yōu)化過程。此外，該研究在 ICL 和特定微調(diào)設(shè)置之間建立了聯(lián)系，發(fā)現(xiàn)將 ICL 視為一種隱式微調(diào)是合理的。為了支持對(duì) ICL 執(zhí)行隱式微調(diào)的理解，該研究綜合比較了 ICL 和基于實(shí)際任務(wù)的微調(diào)的行為。結(jié)果證明，ICL 類似于顯式微調(diào)。

此外，受元優(yōu)化的啟發(fā)，該研究設(shè)計(jì)了一種基于動(dòng)量的注意力，以實(shí)現(xiàn)一致的性能改進(jìn)。作者希望該研究能夠幫助更多的人深入了解 ICL 應(yīng)用和模型設(shè)計(jì)。