縮短發(fā)送給大型語言模型(LLM)的提示的長度可以減少推理時(shí)間并降低成本。這是提示壓縮成為LLM研究的一個(gè)熱門領(lǐng)域的原因。

清華大學(xué)和微軟公司的研究人員日前在發(fā)布的一篇論文中介紹了LLMLingua-2，這是一種任務(wù)不可論的新的提示壓縮技術(shù)。LLMLingua-2與其他提示壓縮方法相比更快、更高效，并且需要更少的計(jì)算資源。對于涉及冗長提示和壓縮的LLM應(yīng)用程序來說，它是一個(gè)很好的工具，可以節(jié)省大量成本，并獲得更好的用戶體驗(yàn)。

任務(wù)感知和任務(wù)不可知的提示壓縮

思維鏈(CoT)推理、場景學(xué)習(xí)和檢索增強(qiáng)生成(RAG)等技術(shù)使LLM能夠處理訓(xùn)練數(shù)據(jù)中未包含的復(fù)雜任務(wù)和知識。

然而，冗長提示的好處是以增加計(jì)算和財(cái)務(wù)需求為代價(jià)的。在一些LLM中，較長的提示可能會降低模型處理場景信息能力的準(zhǔn)確性。

提示壓縮通過在保留重要信息的同時(shí)縮短原始文本來解決這些問題。提示壓縮的基本假設(shè)是自然語言包含冗余，這可能對人類理解有用，但對LLM來說不是必要的。

提示壓縮可以分為“任務(wù)感知”和“任務(wù)不可知”兩種方法。任務(wù)感知壓縮根據(jù)下游任務(wù)或當(dāng)前查詢從提示符中刪除令牌。LongLLMLingua是一種流行的方法，它采用問題感知的多步驟方法來估計(jì)令牌的信息熵并刪除冗余部分。其他方法使用強(qiáng)化學(xué)習(xí)來訓(xùn)練模型，以壓縮來自下游任務(wù)的獎(jiǎng)勵(lì)信號的提示。任務(wù)感知壓縮的缺點(diǎn)是它們對其他任務(wù)的推廣能力有限。

另一方面，任務(wù)不可知的方法在不考慮特定任務(wù)的情況下壓縮提示，使其更適合于更廣泛的應(yīng)用程序和黑盒LLM。一些任務(wù)不可知論包括LLMLingua和選擇性場景(Selective Context)。這些方法使用諸如Llama-7B之類的因果小語言模型(SLM)來評估令牌或詞匯單位的熵，并刪除那些不能添加有意義信息的令牌或詞匯單位。

LLMLingua-2是由原始LLMLingua的作者開發(fā)的，是一種任務(wù)不可知的提示壓縮技術(shù)。

LLMLingua-2的工作原理

目前的任務(wù)不可知的壓縮方法有一些局限性，這導(dǎo)致研究人員創(chuàng)建了LLMLingua的后繼者。

微軟高級研究員、論文合著者Qianhui Wu表示：“信息熵可能是一種次優(yōu)的壓縮指標(biāo)，因?yàn)樗c提示壓縮目標(biāo)不一致，并且只利用了單向場景，可能無法捕獲提示壓縮所需的所有基本信息?！?/p>

LLMLingua-2將提示符壓縮重新表述為一個(gè)分類任務(wù)，該任務(wù)指定每個(gè)令牌是應(yīng)該保留還是丟棄。它使用這個(gè)任務(wù)公式來創(chuàng)建一個(gè)提示壓縮訓(xùn)練數(shù)據(jù)集。然后，它使用數(shù)據(jù)集來訓(xùn)練用于壓縮任務(wù)的輕量級雙向Transformer編碼器模型。

Wu說，“通過這種方式，它可以從完全雙向場景中捕獲提示壓縮所需的所有基本信息，并保證壓縮之后的提示與原始提示的忠實(shí)性?！?/p>

LLMLingua-2有幾個(gè)關(guān)鍵的優(yōu)點(diǎn)：首先，使用雙向編碼器確保它可以捕獲所有必要的信息，以進(jìn)行快速壓縮。其次，由于它使用更小的Transformer模型來學(xué)習(xí)壓縮目標(biāo)，因此它具有更低的延遲。第三，它的設(shè)計(jì)是為了忠實(shí)于最初的提示，避免產(chǎn)生幻覺。

圖1 LLMLingua-2

訓(xùn)練壓縮模型

為了生成訓(xùn)練提示壓縮模型的數(shù)據(jù)集，研究人員使用數(shù)據(jù)蒸餾程序從強(qiáng)LLM中提取知識。他們向GPT-4提供提示，并指示它在保留基本信息和避免幻覺的同時(shí)減少令牌。

在獲得成對的原始文本及其壓縮版本之后，他們?yōu)樵嘉谋局械拿總€(gè)令牌分配一個(gè)二進(jìn)制標(biāo)簽，以確定壓縮之后應(yīng)該保留還是丟棄它。研究人員使用MeetingBank數(shù)據(jù)集創(chuàng)建了訓(xùn)練示例。

然后，他們在數(shù)據(jù)集上訓(xùn)練了一個(gè)稍微修改過的xlm-roberta-large和多語言BERT轉(zhuǎn)換模型，將標(biāo)記分類為“保留”或“丟棄”?；贐ERT的模型的優(yōu)點(diǎn)是它們學(xué)習(xí)雙向特征，而不是只知道先前令牌的自回歸解碼器模型。這允許壓縮模型學(xué)習(xí)更豐富的相關(guān)性，從而實(shí)現(xiàn)更好的壓縮。

研究人員寫道：“在推理過程中，我們根據(jù)分類模型計(jì)算出的概率來決定是保留還是丟棄原始提示中的每個(gè)令牌?！?/p>

開發(fā)人員可以在GitHub上找到LLMLingua-2的源代碼。

圖2 LLMLingua-2數(shù)據(jù)蒸餾提示

LLMLingua-2在行動

研究人員在MeetingBank數(shù)據(jù)集以及LongBench、ZeroScrolls、GSM8K和Big Bench Hard等域外數(shù)據(jù)集上測試了壓縮模型。他們使用GPT-3.5-Turbo作為目標(biāo)模型。但是壓縮模型也可以與GPT-4和Claude 3等前沿模型一起使用。他們將LLMLingua-2的壓縮、速度和準(zhǔn)確性與其他方法以及原始提示符進(jìn)行了比較。

研究結(jié)果表明，盡管LLMLingua-2的體積很小，但它的壓縮性能優(yōu)于其他與任務(wù)無關(guān)的基準(zhǔn)，并且從GPT-3.5-Turbo到Mistral-7B都能很好地推廣。

LLM-Lingua-2實(shí)現(xiàn)了2～5倍的壓縮比，與現(xiàn)有的提示壓縮方法相比快了3～6倍。這意味著在需要長時(shí)間系統(tǒng)和場景提示的應(yīng)用程序中使用LLM-Lingua-2可以節(jié)省大量成本。LLMLingua-2還可以將延遲降低1.6～2.9倍，并將GPU內(nèi)存成本降低8倍。

有趣的是，當(dāng)使用Mistral-7B作為目標(biāo)LLM時(shí)，研究人員發(fā)現(xiàn)LLMLingua-2的性能甚至比原始提示更好。研究人員在論文中寫道，“我們推測，Mistral-7B可能不像GPT-3.5-Turbo那樣擅長處理長時(shí)間環(huán)境。我們的方法是通過提供更短的提示和更高的信息密度，有效地提高了Mistral-7B的最終推理性能?！?/p>

Wu說，“LLMLingua-2是一種任務(wù)無關(guān)的提示壓縮方法，這意味著當(dāng)處理一個(gè)過于冗長的場景時(shí)，可以使用LLMLingua-2將其壓縮成一個(gè)更短的場景，以適應(yīng)有限的場景窗口，降低財(cái)務(wù)成本(因?yàn)镺penAI通過令牌向用戶收費(fèi))，并減少LLM的推理時(shí)間?！?/p>

然而，與LongLLMlingua等任務(wù)感知壓縮方法相比，LLMLingua-2在完成特定任務(wù)上存在不足。

研究人員在論文中寫道：“我們將這種表現(xiàn)差距歸因于(任務(wù)感知方法)從問題中獲得的額外信息。然而，我們模型的任務(wù)不可知特性使其在部署到不同場景時(shí)具有良好的可推廣性，并成為一種有效的選擇?！?/p>

原文標(biāo)題：Compress GPT-4 and Claude prompts with LLMLingua-2，作者：Ben Dickson。

文章鏈接：https://bdtechtalks.com/2024/04/01/llmlingua-2-prompt-compression/。