面向大語言模型的控制理論 原創(chuàng)
大型語言模型（LLMs）越來越多地被用作軟件系統(tǒng)的組成部分。我們生活在一個世界里，你可以從你友好的鄰居雪佛蘭汽車銷售機(jī)器人那里得到計(jì)算流體力學(xué)的幫助。你可以要求LLM執(zhí)行自動文獻(xiàn)回顧。你甚至可以用它們來模擬軍事戰(zhàn)略。
隨著像GPT-4、Claude和Gemini這樣的前沿語言模型的零樣本能力不斷增強(qiáng)，我們已經(jīng)看到“LLM驅(qū)動”的軟件系統(tǒng)的大量涌現(xiàn)?？雌饋砦覀兒芸炀湍軌蛲ㄟ^提示一個極其聰明的模型來構(gòu)建超能力的AI系統(tǒng)和代理！
另一方面，LLMs極其難以預(yù)測。微小的提示轉(zhuǎn)變會導(dǎo)致完全不同的性能。更糟糕的是，Yann Lecun表示，LLMs是“指數(shù)發(fā)散的隨機(jī)過程”，這對于我們那些假設(shè)使用LLMs構(gòu)建AGI的人來說是很艱難的。
控制理論可以幫助我們突破障礙，從而能夠構(gòu)建基于LLM的超能力系統(tǒng)。控制理論中關(guān)于可達(dá)性、可控性和穩(wěn)定性的概念很容易應(yīng)用于LLM系統(tǒng)。此外，控制理論的視角自然而然地導(dǎo)致了各種可行的、基礎(chǔ)性的問題，可以使用經(jīng)驗(yàn)和分析方法來解決。
本文集中討論追求LLM控制理論的動機(jī)。
我們當(dāng)前如何理解LLM的能力？
目前，研究和增強(qiáng)LLM能力主要圍繞零樣本和少樣本基準(zhǔn)展開。為了證明一種技術(shù)的實(shí)用性，LLM研究人員經(jīng)常根據(jù)像HellaSwag, MMLU, TruthfulQA, MATH等創(chuàng)意命名的基準(zhǔn)來衡量成功。這些基準(zhǔn)旨在衡量LLM在回答知識、推理和數(shù)學(xué)問題方面的表現(xiàn)?；鶞?zhǔn)是了解模型的有用工具，但它們未能考慮基于LLM的軟件系統(tǒng)的動態(tài)性。LLM系統(tǒng)設(shè)計(jì)者（即提示工程師）會圍繞LLM構(gòu)建軟件以實(shí)現(xiàn)某個目標(biāo)（例如，教學(xué)生、銷售汽車、審查工作申請、進(jìn)行研究等）。軟件與LLM之間的交互會產(chǎn)生非平凡的動態(tài)，因?yàn)長LM根據(jù)當(dāng)前狀態(tài)（上下文）生成文本，影響軟件，軟件進(jìn)而通過修改LLM的狀態(tài)影響后續(xù)的生成。
目前，LLM系統(tǒng)設(shè)計(jì)和提示工程是高度經(jīng)驗(yàn)性的。我們?nèi)狈﹃P(guān)于這些更動態(tài)的LLM系統(tǒng)如何行動的指導(dǎo)原則和理論，特別是當(dāng)我們對輸入具有部分控制（例如，我們直接控制系統(tǒng)提示）但對一些強(qiáng)加的標(biāo)記（例如，用戶輸入或來自工具的程序化反饋）控制不完整時。鑒于可控提示標(biāo)記的有限預(yù)算和一些強(qiáng)加狀態(tài)標(biāo)記，是否存在一種控制輸入，即存在一個控制輸入序列，對于每個狀態(tài)，它將LLM引導(dǎo)到從初始狀態(tài)序列輸出的某個所需輸出？如果沒有，是否存在一些結(jié)構(gòu)決定了哪些輸出是可達(dá)的？我們能否從零樣本提示的角度找到語言模型可控性的模式？這正是我們試圖在我們的論文中回答的問題。
LLM控制理論概述
以控制理論的語言思考對LLM系統(tǒng)開發(fā)中自然產(chǎn)生的問題有了很多清晰的認(rèn)識。控制理論研究如何使用“控制信號”來影響Plant系統(tǒng)朝著所需狀態(tài)發(fā)展，通常在存在干擾和不確定性的情況下。這正是我們構(gòu)建基于LLM的系統(tǒng)時的目標(biāo)。我們有一個奇怪的、有點(diǎn)不可預(yù)測的系統(tǒng)（LLM），我們必須構(gòu)建一個程序控制器來引導(dǎo)它朝著實(shí)現(xiàn)某個目標(biāo)的方向發(fā)展，通常在存在外部干擾的情況下（例如，不可預(yù)測的用戶輸入）。該系統(tǒng)具有內(nèi)部狀態(tài)，并且受到某些外部輸入的影響（例如，用戶輸入、程序化工具如Web瀏覽器和終端）。狀態(tài)通過從LLM中抽樣新標(biāo)記或接收外部輸入標(biāo)記來更新。狀態(tài)的變化影響到未來狀態(tài)的更新，導(dǎo)致非平凡的動態(tài)。
控制理論通常以連續(xù)時間線性常微分方程（ODEs）的術(shù)語來教授。另一方面，LLM系統(tǒng)是以離散標(biāo)記的可變長度字符串操作的，并且通常以隨機(jī)方式運(yùn)行。研究人員強(qiáng)調(diào)了常規(guī)基于ODE的系統(tǒng)與基于LLM的系統(tǒng)之間的以下差異：
- 離散狀態(tài)和時間：LLM系統(tǒng)在離散時間集合上操作離散標(biāo)記序列，與古典控制理論中研究的連續(xù)狀態(tài)空間和時間集合形成對比。
- 轉(zhuǎn)換與增長狀態(tài)動態(tài)：在基于ODE的系統(tǒng)中，系統(tǒng)狀態(tài)隨時間保持固定大小，而LLM系統(tǒng)的系統(tǒng)狀態(tài)會隨著標(biāo)記添加到狀態(tài)序列而增長。
- 控制輸入標(biāo)記與生成標(biāo)記的互斥：LLM系統(tǒng)狀態(tài)每次只寫入一個標(biāo)記。最新的標(biāo)記是從控制輸入中抽樣或由LLM通過抽樣生成的。這與傳統(tǒng)的離散隨機(jī)系統(tǒng)不同，傳統(tǒng)系統(tǒng)的控制序列和內(nèi)部動態(tài)通常同步影響狀態(tài)。
盡管存在這些差異，但控制理論的數(shù)學(xué)機(jī)理仍然適用。研究人員從數(shù)學(xué)系統(tǒng)和控制理論的基本集合論基礎(chǔ)開始，開發(fā)了LLM的控制理論。這使我們能夠?yàn)榛贚LM的系統(tǒng)正式化可達(dá)性、可控性、穩(wěn)定性等概念。重要的是，我們的正式化足夠一般化，適用于具有各種增強(qiáng)功能的LLM系統(tǒng)，包括使用工具、用戶交互和思維鏈?zhǔn)酵评矸桨浮?/p>
LLM控制理論中的開放問題
開發(fā)控制系統(tǒng)的方法是理解系統(tǒng)的一個很好的方式。令人興奮的是，控制理論的視角立即提出了一系列關(guān)于LLM系統(tǒng)性質(zhì)的可處理的基本問題。以下是一些令人興奮的開放問題：
- 鏈?zhǔn)剿伎嫉目刂茖傩裕烘準(zhǔn)剿伎际且环N強(qiáng)大的技術(shù)，其中LLMs被允許在問題和答案之間生成中間標(biāo)記（即“思考”）。利用這些技術(shù)的系統(tǒng)的控制屬性（例如，穩(wěn)定性、可達(dá)性）對于理解和構(gòu)建現(xiàn)實(shí)世界中的LLM系統(tǒng)至關(guān)重要。
- 分布式控制：我們?nèi)绾瓮ㄟ^操作提示來精確控制下一個標(biāo)記的分布？我們是否可以將下一個標(biāo)記的分布與任意所需分布之間的KL-散度強(qiáng)制為零？雖然我們的工作集中于操作概率分布的argmax（即最可能的下一個標(biāo)記），但分布的可控性仍然不清楚。
- 控制的可學(xué)習(xí)性：LLM能夠?qū)W習(xí)彼此控制的程度如何？大型語言模型是人類級別的提示工程師這篇論文表明 - 你猜對了 - LLM能夠進(jìn)行人類級別的提示工程，但是LLM在明確優(yōu)化于LLM控制目標(biāo)時，LLM能否學(xué)會控制另一個LLM尚不清楚。
- 可控子空間：在線性動態(tài)系統(tǒng)的控制中，已知不可控系統(tǒng)通常可以坐標(biāo)轉(zhuǎn)換成一種表示，其中一部分坐標(biāo)可控，一部分不可控。我們的分析結(jié)果顯示，自注意力頭自然地產(chǎn)生可控和不可控的組件。這是否可以推廣到具有非線性和殘差流的變壓器塊？
- 可組合LLM系統(tǒng)：控制理論最大的好處之一是能夠?qū)⒖刂颇K和子系統(tǒng)組合成一個可解釋、可預(yù)測和有效的整體。LLM系統(tǒng)的組合（可能包括非LLM控制模塊）是一個擴(kuò)展超智能系統(tǒng)的令人興奮的途徑。
譯自（有刪改）：https://aman-bhargava.com/ai/2023/12/17/towards-a-control-theory-of-LLMs.html
本文轉(zhuǎn)載自公眾號AIGC最前線
