預訓練已成為一種替代和有效的范式，以克服這些缺點，其中模型首先使用容易獲得的數(shù)據(jù)進行訓練，然后用于解決感興趣的下游任務，標記數(shù)據(jù)比監(jiān)督學習少得多。

使用未標記數(shù)據(jù)進行預訓練，即自監(jiān)督學習，尤其具有革命性，在不同領域取得了成功：文本、視覺、語音等。

這就提出了一個有趣且具有挑戰(zhàn)性的問題：為什么對未標記數(shù)據(jù)進行預訓練應該有助于看似不相關的下游任務?

論文地址：https://dataspace.princeton.edu/handle/88435/dsp01t435gh21h

本文提出了一些工作，提出并建立了一個理論框架，以研究為什么自監(jiān)督學習對下游任務有益。

該框架適用于對比學習、自回歸語言建模和基于自我預測的方法。該框架的核心思想是預訓練有助于學習數(shù)據(jù)的低維表示，這隨后有助于用線性分類器解決感興趣的下游任務，需要較少的標記數(shù)據(jù)。

一個常見的主題是形式化用于構建自監(jiān)督學習任務的無標記數(shù)據(jù)分布的理想屬性。在適當?shù)男问交?，可以表明，近似最小化正確的預訓練目標可以提取在無標記數(shù)據(jù)分布中隱式編碼的下游信號。

最后表明，該信號可以用線性分類器從學習到的表示中解碼，從而為跨任務的「技能和知識」遷移提供了一種形式化。

引言

在尋求設計智能體和數(shù)據(jù)驅動的問題解決方案的過程中，機器學習和人工智能領域在過去十年中取得了巨大的進步。隨著在具有挑戰(zhàn)性的監(jiān)督學習基準上的初步成功，如ImageNet[Deng等人，2009]，深度學習的創(chuàng)新隨后導致模型在不同領域的許多此類基準上具有超人的性能。訓練這種特定于任務的模型當然令人印象深刻，并具有巨大的實用價值。然而，它有一個重要的限制，即需要大量的標記或標注數(shù)據(jù)集，而這通常是昂貴的。此外，從智能的角度來看，人們希望有更通用的模型，就像人類一樣[Ahn和Brewer, 1993]，可以從以前的經(jīng)驗中學習，將它們總結為技能或概念，并利用這些技能或概念來解決新任務，很少或沒有演示。畢竟，在沒有明確監(jiān)督的情況下，嬰兒通過觀察和互動來學習很多東西。這些局限性啟發(fā)了預訓練的另一種范式。

本文的重點是使用通常大量可用的未標記數(shù)據(jù)進行預訓練。使用未標記數(shù)據(jù)的想法一直是機器學習的興趣點，特別是通過無監(jiān)督學習和半監(jiān)督學習。使用深度學習對其進行的現(xiàn)代適應通常稱為自監(jiān)督學習（SSL），并已經(jīng)開始通過對比學習和語言建模等思想改變機器學習和人工智能的格局。自監(jiān)督學習的思想是僅使用未標記的數(shù)據(jù)構建某些任務，并訓練模型在構建的任務上表現(xiàn)良好。這類任務通常需要模型通過從觀察到的或保留的部分預測輸入的未觀察到的或隱藏的部分（或屬性）來編碼數(shù)據(jù)的結構屬性[LeCun和Misra, 2021]。自監(jiān)督學習在許多感興趣的下游任務上顯示出了通用性和實用性，通常比從頭解決任務具有更好的樣本效率，從而使我們離通用智能體的目標更近了一步。事實上，最近，像GPT-3 [Brown等人，2020]等大型語言模型已經(jīng)展示了大規(guī)模出現(xiàn)的令人著迷的「突發(fā)行為」，引發(fā)了人們對自監(jiān)督預訓練想法的更多興趣。

盡管自監(jiān)督學習在經(jīng)驗上取得了成功，并繼續(xù)顯示出巨大的前景，但除了粗略的直覺之外，仍然缺乏對其工作原理的良好理論理解。這些令人印象深刻的成功提出了有趣的問題，因為先驗不清楚為什么在一個任務上訓練的模型應該有助于另一個看似不相關的任務，即為什么在任務a上訓練應該有助于任務b。雖然對SSL（和一般的深度學習）的完整理論理解是具有挑戰(zhàn)性和難以實現(xiàn)的，但在任何抽象層次上理解這種現(xiàn)象都可能有助于開發(fā)更有原則的算法。本文的研究動機是：

為什么在自監(jiān)督學習任務上進行訓練（使用大量未標記數(shù)據(jù)）有助于解決數(shù)據(jù)稀缺的下游任務?如何將「知識和技能」的遷移正式化？

雖然有大量關于監(jiān)督學習的文獻，但來自SSL任務→下游任務的泛化與監(jiān)督學習中來自訓練集→測試集的泛化有本質的不同。對于分類下游任務的監(jiān)督學習，例如，從未知分布中采樣的在輸入-標簽對的訓練集上訓練的模型，可以直接用于對從相同分布中采樣的未見過的測試集的評估。這個基本的分布建立了從訓練集到測試集的聯(lián)系。然而，從SSL任務→下游任務的概念連接就不那么清晰了，因為SSL任務中使用的未標記數(shù)據(jù)沒有關于下游標簽的明確信號。這意味著在SSL任務上預訓練的模型（例如，從其余部分預測輸入的一部分）不能直接用于下游任務（例如，從輸入預測類別標簽）。因此，「知識和技能」的遷移需要使用一些標記數(shù)據(jù)進行額外的訓練步驟，理想情況下比從頭開始監(jiān)督學習所需的少。對SSL任務→下游任務泛化的任何理論理解都需要解決這些問題：「未標記數(shù)據(jù)的內(nèi)在作用是什么？以及「如何將預訓練模型用于下游任務？」本文針對分類的下游任務，通過對無標簽數(shù)據(jù)進行分布假設，并利用表示學習的思想，研究這些問題：

（a）（分布假設）未標記的數(shù)據(jù)分布隱含地包含有關感興趣的下游分類任務的信息。

（b）（表示學習）在適當?shù)腟SL任務上預訓練的模型可以通過學習到的表示對該信號進行編碼，這些表示隨后可以用線性分類器解決下游分類任務。

點（a）表明，未標記的某些結構屬性隱式地為我們提供了有關后續(xù)下游任務的提示，而自監(jiān)督學習可以幫助從數(shù)據(jù)中梳理出這個信號。點（b）提出了一種簡單且經(jīng)驗上有效的方法來使用預訓練模型，利用模型的學習表示。本文識別并在數(shù)學上量化了未標記數(shù)據(jù)的分布屬性，對于不同的SSL方法，如對比學習、語言建模和自我預測，可以證明可以學習到良好的表示。在下一節(jié)中，我們將深入研究表示學習的思想，并形式化解釋為什么自監(jiān)督學習有助于下游任務。