?摘要

基于大型語言模型的自主代理在量化投資等專業(yè)領(lǐng)域的應(yīng)用面臨挑戰(zhàn)，尤其是構(gòu)建和整合領(lǐng)域特定知識庫。本文提出一個(gè)兩層循環(huán)的框架：內(nèi)層循環(huán)通過知識庫優(yōu)化響應(yīng)，外層循環(huán)在真實(shí)場景中測試響應(yīng)并自動增強(qiáng)知識庫。該方法使代理能夠逐步接近最優(yōu)行為，并具備可證明的效率。通過名為QuantAgent的自主代理實(shí)例化該框架，展示其在挖掘交易信號和提高金融預(yù)測準(zhǔn)確性方面的能力。

簡介

大型語言模型（LLMs）推動了自主智能體的發(fā)展，提升其在復(fù)雜任務(wù)中的能力，尤其在量化投資領(lǐng)域面臨知識整合挑戰(zhàn)。傳統(tǒng)方法依賴于人力構(gòu)建知識庫或通過檢索增強(qiáng)生成技術(shù)，但在某些領(lǐng)域（如金融alpha數(shù)據(jù)庫）難以實(shí)現(xiàn)。

本文提出一個(gè)兩層框架，旨在以最小人力開發(fā)領(lǐng)域特定知識庫，采用內(nèi)外循環(huán)系統(tǒng)進(jìn)行自我改進(jìn)。內(nèi)循環(huán)通過與模擬環(huán)境互動優(yōu)化響應(yīng)，外循環(huán)通過真實(shí)環(huán)境反饋豐富知識庫，促進(jìn)性能提升。理論分析表明，該框架在某些假設(shè)下高效收斂，結(jié)合強(qiáng)化學(xué)習(xí)的分析技術(shù)。實(shí)際應(yīng)用通過QuantAgent實(shí)現(xiàn)，專注于金融信號挖掘，構(gòu)建包含信號、實(shí)施細(xì)節(jié)和績效指標(biāo)的知識庫。實(shí)證結(jié)果驗(yàn)證了QuantAgent的自我改進(jìn)能力，生成了更準(zhǔn)確的金融預(yù)測信號。

整體框架

本文提出的框架采用兩層架構(gòu)：外層與真實(shí)環(huán)境互動，生成的輸出經(jīng)過評估并反饋至知識庫，影響后續(xù)迭代。內(nèi)層為推理循環(huán)，作家與評審組件進(jìn)行對話，利用內(nèi)部知識庫進(jìn)行推理和優(yōu)化，直到產(chǎn)生滿意的解決方案或達(dá)到預(yù)設(shè)閾值。

內(nèi)在推理循環(huán)

內(nèi)循環(huán)模擬推理環(huán)境，LLM或規(guī)則系統(tǒng)與知識庫互動。使用內(nèi)存緩沖區(qū)，初始包含用戶查詢，逐步豐富數(shù)據(jù)。代理向知識庫提問，獲取相關(guān)信息。評估者（規(guī)則集或LLM）檢查信息是否滿足用戶查詢。循環(huán)在形成響應(yīng)或滿足預(yù)設(shè)條件時(shí)結(jié)束。

組件

• 知識庫：存儲代理的輸出記錄、性能評分和反饋，通過查詢提取信息，優(yōu)化性能準(zhǔn)確性與響應(yīng)多樣性。
• 上下文緩沖區(qū)：記錄互動過程中的所有交流，確保一致性和連貫性，利用過去知識指導(dǎo)未來回應(yīng)。
• 寫作器：基于知識庫數(shù)據(jù)構(gòu)建響應(yīng)，逐步改進(jìn)輸出，整合評估反饋以提升質(zhì)量。
• 評估者：對寫作器輸出進(jìn)行評分，評估效果依賴于知識庫質(zhì)量，關(guān)鍵在于提高輸出準(zhǔn)確性。

過程

單次迭代中，作者從知識庫獲取信息，形成回應(yīng)。評審者對回應(yīng)進(jìn)行評分和反饋，反饋被納入上下文以改進(jìn)下一次回應(yīng)。迭代過程依賴信息積累，逐步提升回應(yīng)質(zhì)量，直到達(dá)到預(yù)定性能閾值或確定最佳回應(yīng)。內(nèi)部循環(huán)的原則是通過有效的回應(yīng)生成機(jī)制，作者在多次迭代中積累足夠信息以滿足評審標(biāo)準(zhǔn)，最終產(chǎn)生最佳答案。

外部反饋循環(huán)

• 外循環(huán)：代理與真實(shí)環(huán)境的迭代交互，生成輸出并進(jìn)行評估與改進(jìn)。
• 環(huán)境反饋：提供性能評分和定性評審，注入新見解以提升決策過程。
• 知識更新：反饋后更新知識庫，進(jìn)行完整性檢查，確保信息的相關(guān)性和多樣性。
• 內(nèi)外循環(huán)對比：內(nèi)循環(huán)評估快速且成本低，但精度較低；外循環(huán)反饋更為精準(zhǔn)但資源消耗大。

隨著外循環(huán)迭代增加，內(nèi)循環(huán)評估者積累經(jīng)驗(yàn)，逐步提高評估和反饋的精度。

與現(xiàn)有方法的比較

現(xiàn)有方法可視為我們框架的具體實(shí)現(xiàn)。去掉外循環(huán)后，自我精煉方法可視為兩個(gè)LLM作為演員和評論者的形式，可能有或沒有知識庫。若將內(nèi)循環(huán)簡化為基礎(chǔ)的檢索增強(qiáng)生成過程，則可實(shí)現(xiàn)許多自我改進(jìn)方法，如Voyager和FunSearch。

分析

本節(jié)分析算法的效率，確保其能漸進(jìn)收斂到最優(yōu)解。評估成本，包括代幣成本和推理時(shí)間成本。目的是理解系統(tǒng)設(shè)計(jì)組件的影響，分析其在現(xiàn)實(shí)世界中的可部署性。

效率

代理算法的效率分為內(nèi)循環(huán)和外循環(huán)兩個(gè)層面。

• 內(nèi)循環(huán)效率：代理在當(dāng)前知識庫下能找到最佳答案。
• 外循環(huán)效率：模擬環(huán)境中的最優(yōu)策略與現(xiàn)實(shí)世界的性能差距隨著迭代增加而收斂。

兩者結(jié)合保證策略收斂到全局最優(yōu)，證明代理算法的效率。接下來將介紹問題的具體表述。

建模

生成答案的過程被建模為馬爾可夫決策過程（MDP），由狀態(tài)空間S、動作空間A、轉(zhuǎn)移函數(shù)T、獎(jiǎng)勵(lì)函數(shù)r和折扣因子γ組成。

• 狀態(tài)s_t包含原始問題p和共享上下文信息，初始狀態(tài)為空集，稱為信息狀態(tài)。
• 動作A與作者相關(guān)，包括生成答案和知識庫查詢，影響信息狀態(tài)。
• 轉(zhuǎn)移函數(shù)T描述在當(dāng)前狀態(tài)下執(zhí)行動作后信息狀態(tài)的變化，涉及知識庫響應(yīng)和評審過程。
• 獎(jiǎng)勵(lì)函數(shù)r為信息狀態(tài)分配值，可能是連續(xù)值或0/1值，表示答案的有效性。
• 折扣因子γ影響未來獎(jiǎng)勵(lì)的權(quán)重，確保值函數(shù)V_θ^π(s)有界。

目標(biāo)是學(xué)習(xí)一個(gè)策略，最大化所有狀態(tài)的值函數(shù)，以獲取足夠的信息回答用戶問題。證明代理在內(nèi)外循環(huán)中高效，貝葉斯遺憾R(K)在KT中是次線性的。

內(nèi)循環(huán)

假設(shè)4.1。LLM在上下文推理步驟中隱式執(zhí)行環(huán)境參數(shù)θ的貝葉斯推斷，基于信息狀態(tài)s和預(yù)訓(xùn)練知識p(θ)。

定義4.2。在參數(shù)化為θ的環(huán)境中，策略π滿足?-最優(yōu)性的條件是最大值與策略π的價(jià)值差異小于6。

引理4.3。?內(nèi)循環(huán)中規(guī)劃代理的貝葉斯遺憾在內(nèi)循環(huán)迭代次數(shù)T上是次線性的。

證明直覺。?LLM推斷作為隱式貝葉斯推斷，隨著信息的增加，參數(shù)估計(jì)越來越準(zhǔn)確，最終收斂到最優(yōu)策略。

一次性方法缺乏效率的理論保證，因其信息不隨迭代累積，但在實(shí)踐中效果良好，表明一次性信息差距可能不大。

外循環(huán)

外部循環(huán)的效率源于悲觀假設(shè)，認(rèn)為可以通過悲觀主義訓(xùn)練知識庫上的最優(yōu)策略。離線學(xué)習(xí)的最佳策略與在線最佳策略之間的性能差距可以通過信息差界定，前提是離線策略是通過悲觀學(xué)習(xí)獲得的。

假設(shè)4.4。在由離線知識庫表征的模擬環(huán)境中，可以通過悲觀值迭代(PEVI)獲得最優(yōu)策略π ˉ。

引理4.5。在假設(shè)4.4下，π ˉ與真實(shí)環(huán)境中的最優(yōu)策略π ?之間的性能差距受限于知識庫覆蓋不足引起的內(nèi)在不確定性。

隨著知識庫積累更多關(guān)于真實(shí)環(huán)境的信息，模擬環(huán)境將更接近真實(shí)環(huán)境，使用悲觀方法訓(xùn)練的最優(yōu)策略的性能差距也會收斂。

總體結(jié)果

定理4.6。LLM代理在真實(shí)環(huán)境中的貝葉斯遺憾R(TK)是KT的次線性。

證明概要。性能差距可分解為多個(gè)項(xiàng)，具體包括V_0^*、V_0^f、v_0^π等。

假設(shè)4.4下，項(xiàng)A和B受離線數(shù)據(jù)集內(nèi)在不確定性的限制，次線性于K（在簡單假設(shè)下）。項(xiàng)D受信息差距限制，次線性于K。項(xiàng)C根據(jù)引理4.3，次線性于T。整體左側(cè)和在公式3中求和后，次線性于KT。

成本分析

自我改進(jìn)階段的內(nèi)循環(huán)令牌成本為O(T2H)，外循環(huán)迭代K次的累積成本為O(KT2H)。推理階段的令牌成本為O(T2H)，假設(shè)生成響應(yīng)的復(fù)雜度與訓(xùn)練相似。外循環(huán)每次迭代的時(shí)間成本為O(T(H + Const))，K次迭代的總時(shí)間為O(KTH)。推理階段的時(shí)間復(fù)雜度降低為O(HT)。

實(shí)驗(yàn)

背景

任務(wù)是金融信號挖掘，旨在從金融市場數(shù)據(jù)中計(jì)算出可用于預(yù)測的信號。設(shè)計(jì)金融信號需要市場理解、編碼能力和數(shù)學(xué)技能（如數(shù)值分析）。目標(biāo)是獲得高預(yù)測能力的金融信號。希望獲得多樣化的信號，以便構(gòu)建機(jī)器學(xué)習(xí)模型進(jìn)行更好的預(yù)測。

問題

目標(biāo)。生成反映交易理念且表現(xiàn)良好的金融信號。

交易理念。從分布中采樣，由另一個(gè)LLM生成。

實(shí)現(xiàn)。金融信號為代碼（函數(shù)），遵循預(yù)定義模板。

數(shù)據(jù)集。500只中國A股，2023年市場數(shù)據(jù)（每日收盤價(jià)和成交量）。

基礎(chǔ)LLM。選擇gpt-4-0125-preview版本。

評估指標(biāo)

通過計(jì)算信息系數(shù)（IC）評估金融信號的預(yù)測能力，IC為皮爾遜相關(guān)系數(shù)，跨時(shí)間點(diǎn)平均。使用XGBoost回歸樹模型生成信號，檢驗(yàn)知識庫（KB）作為信號生成基礎(chǔ)數(shù)據(jù)集的有效性。

分析信號的夏普比率，以評估其投資回報(bào)能力。評估信號的數(shù)值質(zhì)量，包括有效和獨(dú)特實(shí)體的數(shù)量，確保信號能區(qū)分股票。通過LLM進(jìn)行信號的對比評估，構(gòu)建勝率矩陣，排名不同代理在信號生成中的表現(xiàn)，反映其對交易理念的捕捉能力。

結(jié)果

自我提升的證據(jù)

訓(xùn)練累積信號和單獨(dú)段落的alpha表現(xiàn)出一致的性能提升，預(yù)測準(zhǔn)確性提高。隨著模型自我改進(jìn)，代理生成更強(qiáng)信號，增強(qiáng)預(yù)測能力。信號質(zhì)量通過生成迭代排序和分組比較，評估其傳達(dá)交易理念的準(zhǔn)確性。勝率分布圖顯示，模型進(jìn)化過程中，代理在生成高質(zhì)量信號方面技能提升。右側(cè)矩陣的遞減模式表明自我提升的有效性。

提高Alpha相關(guān)性

為了衡量信號質(zhì)量，我們根據(jù)生成的迭代對整個(gè)過程中產(chǎn)生的信號進(jìn)行分類，并根據(jù)GPT-4判斷，將它們劃分為數(shù)量相等的組，以便在準(zhǔn)確傳達(dá)潛在交易思想方面進(jìn)行比較。圖4顯示了勝率的分布。勝率累積到右上角的模式表明，隨著模型的發(fā)展，智能體在編寫高質(zhì)量信號方面獲得了更好的技能，驗(yàn)證了內(nèi)循環(huán)和外循環(huán)的有效性。

內(nèi)循環(huán)和外循環(huán)的影響

圖3展示了單一α屬性在整個(gè)過程中的演變。盡管性能差異不明顯，藍(lán)色曲線的趨勢顯示了自我改進(jìn)在各項(xiàng)指標(biāo)上的有效性。

總結(jié)

自主代理在量化投資中表現(xiàn)出自我改進(jìn)和適應(yīng)能力，展示了其在金融分析和風(fēng)險(xiǎn)管理中的潛力。這些技術(shù)可擴(kuò)展至醫(yī)療和物流等復(fù)雜領(lǐng)域，通過定制知識庫和反饋機(jī)制。面臨的挑戰(zhàn)包括對知識庫質(zhì)量的依賴和計(jì)算優(yōu)化需求。未來將致力于提高學(xué)習(xí)效率、拓展應(yīng)用場景及實(shí)時(shí)適應(yīng)動態(tài)環(huán)境。LLM基礎(chǔ)的代理有望革新各行業(yè)的決策過程，推動智能自動化時(shí)代的到來。

本文轉(zhuǎn)載自??靈度智能??，作者：靈度智能