大家好，我是HxShine

今天分享一篇ACL2024關(guān)于LLM蒸餾的文章，來自Emory University，題為“Explanation-Guided Large Language Models Active Distillation”（解釋引導(dǎo)的大型語(yǔ)言模型主動(dòng)蒸餾）。在大型語(yǔ)言模型（LLMs）的應(yīng)用中，由于其內(nèi)存效率低、計(jì)算需求高以及API推理成本高，限制了其廣泛部署。現(xiàn)有的知識(shí)蒸餾方法雖然能將LLMs的能力轉(zhuǎn)移到較小模型上，但無法確保知識(shí)充分轉(zhuǎn)移，可能導(dǎo)致高成本或蒸餾不完全。本文提出了一個(gè)簡(jiǎn)單卻高效的框架，稱之為ELAD（Explanation-Guided LLMs Active Distillation），其通過主動(dòng)學(xué)習(xí)策略來優(yōu)化注釋成本與模型性能之間的平衡。簡(jiǎn)單來說，ELAD采用了三個(gè)步驟來實(shí)現(xiàn)這一目標(biāo)：1. 解釋引導(dǎo)的樣本選擇：通過利用解釋步驟中的不確定性，識(shí)別對(duì)模型推理具有挑戰(zhàn)性的樣本。2. 定制化的LLM注釋解釋修正：教師模型檢測(cè)并糾正學(xué)生模型推理中的缺陷。3. 模型蒸餾：使用修正后的解釋對(duì)小模型進(jìn)行微調(diào)。在包括GSM8K、AQuA、ANLI、e-SNLI、CommonSenseQA和StrategyQA在內(nèi)的六個(gè)廣泛使用的推理基準(zhǔn)上進(jìn)行的廣泛實(shí)驗(yàn)，展示了顯著的性能提升。

Title: ELAD: Explanation-Guided Large Language Models Active Distillation

URL:??https://arxiv.org/abs/2402.13098??

一、方法

1 整體框架

ELAD框架通過以下步驟優(yōu)化LLMs知識(shí)蒸餾的主動(dòng)學(xué)習(xí)：

• 樣本選擇：使用解釋引導(dǎo)的方法選擇高不確定性的樣本，對(duì)應(yīng)下圖(a)。
• 解釋修正：教師模型對(duì)學(xué)生模型的解釋進(jìn)行審核和修正，對(duì)應(yīng)下圖(b)。
• 模型蒸餾：使用修正后的解釋對(duì)小模型進(jìn)行微調(diào)，對(duì)應(yīng)下圖(c)。

2 解釋引導(dǎo)的樣本選擇方法

文章作者提出了一種新穎的解釋引導(dǎo)樣本選擇方法，通過評(píng)估解釋步驟中的不確定性來選擇具有高不確定性的樣本。具體包括：

2.1 解釋內(nèi)不確定性 解釋內(nèi)不確定性評(píng)估單個(gè)解釋步驟內(nèi)的不確定性。這是通過比較每一步推理步驟對(duì)最終答案的影響來實(shí)現(xiàn)的。具體方法如下：

1. 1. 對(duì)于每個(gè)推理步驟，計(jì)算在不考慮該步驟的情況下生成的答案。
2. 2. 比較包含和不包含該步驟的答案，如果答案變化，則該步驟具有高不確定性。

2.2 解釋間不確定性 解釋間不確定性評(píng)估不同推理路徑之間的不確定性。這是通過多次生成推理路徑，并計(jì)算不同答案的頻率來實(shí)現(xiàn)的。具體方法如下：

• 對(duì)每個(gè)問題進(jìn)行多次解碼，生成不同的推理路徑。
• 計(jì)算每個(gè)唯一答案的頻率，并使用Shannon熵來量化答案分布的不確定性。

3 定制化的LLM注釋解釋修正

在樣本選擇之后，教師模型（LLM）對(duì)學(xué)生模型的解釋進(jìn)行審核，并在需要時(shí)進(jìn)行修正。此過程包括：

?深度優(yōu)先搜索（DFS）策略：教師模型逐步驗(yàn)證并修正學(xué)生模型的推理步驟，直到生成最終答案（如下圖（a）和（b））,圖（c）展示了DFS的過程。具體方法如下：

對(duì)每個(gè)推理步驟，教師模型驗(yàn)證其合理性。如果合理，生成對(duì)應(yīng)的解釋步驟 。

如果某一步推理不合理，教師模型生成剩余的推理步驟和最終答案。

? 解釋修正過程的流程圖

? 解釋修正所使用的Prompt示例

二、實(shí)驗(yàn)

作者在六個(gè)不同的推理數(shù)據(jù)集上進(jìn)行了廣泛的實(shí)驗(yàn)，包括GSM8K、AQuA、ANLI、e-SNLI、StrategyQA和CommonSenseQA。實(shí)驗(yàn)結(jié)果顯示，ELAD框架在各種推理任務(wù)上均顯著提高了注釋效率和模型性能。

1 數(shù)據(jù)集詳情

?GSM8K：包含大約8000個(gè)數(shù)學(xué)單詞問題，測(cè)試數(shù)學(xué)技能。

?AQuA：包含代數(shù)單詞問題，帶有多項(xiàng)選擇答案。

?ANLI：自然語(yǔ)言推理任務(wù)，包括對(duì)抗性示例。

?e-SNLI：提供自然語(yǔ)言推理決策的人工注釋解釋。

?CommonSenseQA：常識(shí)推理問答數(shù)據(jù)集，需要理解日常概念。

?StrategyQA：測(cè)試戰(zhàn)略性問答，特別是隱含策略的推理。

2 實(shí)驗(yàn)結(jié)果

本文在六個(gè)不同的推理數(shù)據(jù)集上評(píng)估了ELAD框架的性能，以下是具體結(jié)果：

結(jié)論：ELAD框架在所有數(shù)據(jù)集上都顯著優(yōu)于基準(zhǔn)方法，尤其是在CommonSenseQA數(shù)據(jù)集上，提升幅度達(dá)到7.87%。這一結(jié)果表明，ELAD框架能夠更有效地進(jìn)行知識(shí)轉(zhuǎn)移，提升小模型的推理性能。此外，ELAD在StrategyQA和e-SNLI數(shù)據(jù)集上分別取得了6.87%和5.84%的提升，進(jìn)一步驗(yàn)證了其在不同類型推理任務(wù)中的廣泛適用性。

3 消融研究

為了驗(yàn)證ELAD框架中每個(gè)組件的重要性，作者進(jìn)行了消融研究。結(jié)果顯示，完整的ELAD框架在所有任務(wù)中均優(yōu)于缺少解釋引導(dǎo)樣本選擇（w/o EGSS）和定制化LLM注釋解釋修正（w/o CLAER）的配置。

三、結(jié)論

本文提出的解釋引導(dǎo)的LLMs主動(dòng)蒸餾（ELAD）框架通過解釋引導(dǎo)的主動(dòng)學(xué)習(xí)方法，顯著提高了LLM知識(shí)蒸餾的效率。這為大規(guī)模語(yǔ)言模型的實(shí)際應(yīng)用提供了新的可能性。

本文轉(zhuǎn)載自 ??NLP PaperWeekly??，作者： NLP PaperWeekly