近期，DeepSeek 的發(fā)布在開源社區(qū)引起了廣泛關(guān)注。成功再次將人們的目光聚焦到了模型蒸餾技術(shù)上來。那么，究竟什么是模型蒸餾？為什么它能幫助我們構(gòu)建如此高效的模型？讓我們一起深入探討這個(gè)話題。

LLM Distillation 將大型生成模型定位為 “teacher”，將較小的模型定位為 “student”。student 模型可以是簡(jiǎn)單的模型（如 logistic regression）或基礎(chǔ)模型（如 BERT）。在最基本的 distillation 版本中，數(shù)據(jù)科學(xué)家從未標(biāo)記的數(shù)據(jù)開始，并要求 對(duì)其進(jìn)行LLM標(biāo)記。然后，數(shù)據(jù)科學(xué)家使用合成標(biāo)記的數(shù)據(jù)來訓(xùn)練“student”模型，該模型將反映“teacher”模型在原始數(shù)據(jù)集定義的任務(wù)上的表現(xiàn)。

數(shù)據(jù)科學(xué)家還可以使用蒸餾來微調(diào)較小的生成模型。在這種情況下，他們將向 “teacher” 模型提示提供并捕獲響應(yīng)作為 “student” 的訓(xùn)練目標(biāo)。

為什么要使用LLM蒸餾法？

LLMs與 GPT-4 一樣，Gemini 和 Llama 展示了令人難以置信的能力，但也存在明顯的缺點(diǎn)：

? 成本。 數(shù)十億個(gè)參數(shù)LLMs的托管成本很高，通過 API 訪問的成本更高。

? 速度。 由于所需的計(jì)算數(shù)量，full-size LLMs 可能會(huì)很慢。

? 基礎(chǔ)設(shè)施難題。托管最大可用LLMs版本的私有版本意味著需要整理和協(xié)調(diào)大量資源。

通過提煉 LLM，數(shù)據(jù)科學(xué)團(tuán)隊(duì)可以構(gòu)建更易于托管、運(yùn)行成本更低且響應(yīng)速度更快的衍生模型。

蒸餾的LLM缺點(diǎn)是什么？

雖然蒸餾是一個(gè)強(qiáng)大的捷徑，LLM但它并不是訓(xùn)練新模型的萬靈藥。該技術(shù)面臨四個(gè)主要挑戰(zhàn)：

? 學(xué)生受到老師的限制。 在最簡(jiǎn)單的蒸餾版本中，“學(xué)生”模型將反映“老師”模型的性能。面對(duì)專業(yè)任務(wù)的廣義通常LLMs達(dá)不到生產(chǎn)級(jí)的準(zhǔn)確性。

? 您仍然需要大量未標(biāo)記的數(shù)據(jù)。 這將LLM為您創(chuàng)建標(biāo)簽，但由于多種原因，源數(shù)據(jù)可能供不應(yīng)求。

? 您可能不被允許使用未標(biāo)記的數(shù)據(jù)。 對(duì)于被限制使用客戶數(shù)據(jù)的組織，這可能會(huì)帶來真正的障礙。

? 您可以使用的內(nèi)容LLMs可能會(huì)受到限制。雖然對(duì)于分類任務(wù)來說不是問題，但許多 LLM API 的服務(wù)條款禁止用戶使用其LLMs輸出來訓(xùn)練可能具有競(jìng)爭(zhēng)力的生成模型。

知識(shí)蒸餾的基本原理

知識(shí)蒸餾本質(zhì)上是一種模型壓縮的方法，其核心思想是利用一個(gè)大模型（教師模型）來指導(dǎo)小模型（學(xué)生模型）的訓(xùn)練。在這個(gè)過程中，小模型不僅要學(xué)習(xí)訓(xùn)練數(shù)據(jù)中的硬標(biāo)簽，還要學(xué)習(xí)大模型輸出的軟標(biāo)簽（概率分布）。這個(gè)過程可以用以下數(shù)學(xué)公式來表示：

其中：

這里：

?  是溫度參數(shù)，用于控制軟標(biāo)簽的"軟"程度

?  和  分別是教師模型和學(xué)生模型的logits

?  是平衡軟標(biāo)簽和硬標(biāo)簽的權(quán)重

?  是真實(shí)標(biāo)簽

主流的蒸餾方法及其特點(diǎn)

1. 響應(yīng)蒸餾 (Response Distillation)

這是最基礎(chǔ)的蒸餾方法，主要用于處理分類任務(wù)。在這種方法中，我們直接使用教師模型的輸出作為學(xué)生模型的訓(xùn)練目標(biāo)。以BERT模型家族為例，DistilBERT就是使用這種方法，將原始BERT模型壓縮到原來大小的40%，同時(shí)保持了97%的性能。

具體實(shí)現(xiàn)步驟：

• 使用教師模型對(duì)大量未標(biāo)注數(shù)據(jù)進(jìn)行預(yù)測(cè)
• 收集教師模型的輸出概率分布
• 訓(xùn)練學(xué)生模型來模擬這些概率分布

適用場(chǎng)景：

• 分類任務(wù)
• 序列標(biāo)注任務(wù)
• 文本匹配任務(wù)

2. 特征蒸餾 (Feature Distillation)

特征蒸餾不僅關(guān)注模型的最終輸出，還會(huì)學(xué)習(xí)教師模型中間層的特征表示。這種方法的數(shù)學(xué)表達(dá)式為：

TinyBERT就是采用這種方法的典型代表，它不僅學(xué)習(xí)BERT的輸出層，還學(xué)習(xí)了注意力矩陣和隱層狀態(tài)。

3. 逐步蒸餾 (Progressive Distillation)

逐步蒸餾是一種較新的方法，它將蒸餾過程分解為多個(gè)步驟。每個(gè)步驟都專注于特定的任務(wù)或能力的轉(zhuǎn)移。這種方法的優(yōu)勢(shì)在于可以更好地保持復(fù)雜任務(wù)的性能。

以最近的MinLLM為例，它采用了以下策略：

• 首先學(xué)習(xí)教師模型的基礎(chǔ)語言理解能力
• 然后逐步學(xué)習(xí)更復(fù)雜的任務(wù)相關(guān)能力
• 最后微調(diào)特定任務(wù)的性能

蒸餾方法的詳細(xì)對(duì)比

實(shí)踐中的關(guān)鍵考慮因素

數(shù)據(jù)選擇

數(shù)據(jù)質(zhì)量和數(shù)量對(duì)蒸餾效果有著決定性影響。在實(shí)踐中，我們需要考慮：

• 數(shù)據(jù)的分布是否覆蓋目標(biāo)任務(wù)空間
• 數(shù)據(jù)的質(zhì)量如何保證
• 數(shù)據(jù)量的大小如何確定

架構(gòu)設(shè)計(jì)

學(xué)生模型的架構(gòu)設(shè)計(jì)需要權(quán)衡多個(gè)因素：

• 模型容量：需要足夠大以捕獲必要的知識(shí)，但又要滿足資源約束
• 層次映射：如何將教師模型的層映射到學(xué)生模型
• 注意力機(jī)制：是否需要特殊的注意力結(jié)構(gòu)

訓(xùn)練策略

有效的訓(xùn)練策略通常包括：

• 使用動(dòng)態(tài)溫度參數(shù)
• 采用漸進(jìn)式訓(xùn)練方案
• 結(jié)合多任務(wù)學(xué)習(xí)

技術(shù)發(fā)展趨勢(shì)

當(dāng)前，知識(shí)蒸餾技術(shù)正在向以下幾個(gè)方向發(fā)展：

• 多教師蒸餾：利用多個(gè)專家模型的知識(shí)
• 自蒸餾：模型作為自己的教師
• 在線蒸餾：邊訓(xùn)練邊蒸餾

這些新方向都在嘗試解決現(xiàn)有蒸餾方法的局限性，提供更有效的知識(shí)轉(zhuǎn)移機(jī)制。

本文轉(zhuǎn)載自 ??芝士AI吃魚??，作者： 愛滑冰的咸魚