SELA 由 MetaGPT 開源社區(qū)合著，作者分別來自 DeepWisdom、UC Berkeley、港科廣、UCSD、華師、Stanford、港中深、Montreal & MILA 等機(jī)構(gòu)。共同一作池一舟與林義章分別任職 DeepWisdom 實(shí)習(xí)研究員與研究員，他們均畢業(yè)于 UC Berkeley，林義章也是 Data Interpreter 的共同一作。共同通訊作者為 DeepWisdom 創(chuàng)始人兼 CEO 吳承霖（MetaGPT 代碼作者、論文通訊作者）和蒙特利爾大學(xué)與 MILA 實(shí)驗(yàn)室的助理教授劉邦。

AI 智能體可以設(shè)計(jì) AI 嗎？

當(dāng)然可以！

SELA 用 MCTS 設(shè)計(jì) AI 效果在 20 個(gè)數(shù)據(jù)集上達(dá)到了 SoTA。它可以自己從歷史設(shè)計(jì)與實(shí)驗(yàn)中學(xué)習(xí)，設(shè)計(jì)出比之前更好的 AI，并且完全開源。

• arxiv：https://arxiv.org/abs/2410.17238
• 代碼：https://github.com/geekan/MetaGPT/tree/main/metagpt/ext/sela

過去，AI 模型的設(shè)計(jì)和優(yōu)化依賴大量專業(yè)知識(shí)和人力，過程耗時(shí)，易受個(gè)人經(jīng)驗(yàn)影響。盡管 AutoML 技術(shù)有所進(jìn)展，但現(xiàn)有系統(tǒng)只會(huì)對(duì)預(yù)定義的搜索空間進(jìn)行組合搜索，與人類行為不一致。人類會(huì)提出動(dòng)態(tài)搜索空間并求解。隨著大模型技術(shù)的發(fā)展，我們看到了大模型能自主設(shè)計(jì)和調(diào)優(yōu) AI 模型的希望。然而，實(shí)現(xiàn)這一目標(biāo)面臨自主設(shè)計(jì)和持續(xù)調(diào)優(yōu)兩大挑戰(zhàn)。

過去幾個(gè)月，MetaGPT 團(tuán)隊(duì)開源的 Data Interpreter 能夠自主完成多項(xiàng)機(jī)器學(xué)習(xí)任務(wù)，通過增強(qiáng)任務(wù)規(guī)劃、工具集成和推理能力，提升了成功率，但缺乏持續(xù)性調(diào)優(yōu)。weco.ai 團(tuán)隊(duì)的 AIDE 引入了結(jié)果反饋，在 OpenAI 發(fā)布的 MLE-bench 中表現(xiàn)優(yōu)異，但由于采用貪婪搜索，往往只收斂到次優(yōu)結(jié)果。

SELA 由 MetaGPT 團(tuán)隊(duì)聯(lián)合多所頂尖機(jī)構(gòu)推出，是一個(gè)可以進(jìn)行自動(dòng)實(shí)驗(yàn)的智能體。它全面超越了 AIDE 和 Data Interpreter ，在多項(xiàng)機(jī)器學(xué)習(xí)測(cè)試中表現(xiàn)卓越，展現(xiàn)出自動(dòng)化設(shè)計(jì)與優(yōu)化 AI 模型的巨大潛力。

相比于傳統(tǒng) AutoML 框架和基于 LLM 的自動(dòng)機(jī)器學(xué)習(xí)系統(tǒng)，SELA 可以動(dòng)態(tài)地構(gòu)造搜索空間，而不是基于一個(gè)固定的搜索空間進(jìn)行搜索，在動(dòng)態(tài)流水線構(gòu)造表現(xiàn)出了顯著優(yōu)勢(shì)。

同時(shí)，就像 AlphaGo 會(huì)根據(jù)棋局中對(duì)手的動(dòng)作不斷提升，SELA 也會(huì)逐漸在多步中完成機(jī)器學(xué)習(xí)代碼，解決了 AIDE 只能進(jìn)行一步優(yōu)化的問題。

下方動(dòng)圖展示了 SELA 在醫(yī)療數(shù)據(jù)集（smoker-status）上的搜索過程，我們可以清晰地看到 SELA 在機(jī)器學(xué)習(xí)任務(wù)的各個(gè)階段進(jìn)行了多次深入探索。隨著探索輪次的增加，節(jié)點(diǎn)的顏色逐漸加深，這象征著得分的持續(xù)提升。

具體來看，SELA 從最初的解決方案 94.3（根節(jié)點(diǎn)）出發(fā)，通過探索性數(shù)據(jù)分析，敏銳地捕捉到數(shù)據(jù)集中潛藏的異常值，并通過數(shù)據(jù)預(yù)處理環(huán)節(jié)，移除了這些異常值，將得分提升至 96.3。隨后，SELA 在另一次實(shí)驗(yàn)中，通過相關(guān)性分析，精準(zhǔn)地剔除了冗余特征并降低了數(shù)據(jù)維度，使得得分躍升至 97.2。

SELA 是如何實(shí)現(xiàn)這樣的效果的？

SELA 通過將問題描述和數(shù)據(jù)集信息輸入 LLM，生成潛在解決方案的搜索空間，并由 Monte Carlo Tree Search（MCTS）進(jìn)行探索。LLM Agent 進(jìn)一步規(guī)劃、編碼和執(zhí)行實(shí)驗(yàn)，利用模擬反饋優(yōu)化搜索，形成迭代過程，最終產(chǎn)生優(yōu)化的實(shí)驗(yàn)管道。這種方法模擬了人類專家的迭代和反饋驅(qū)動(dòng)過程，提升了機(jī)器學(xué)習(xí)任務(wù)的性能和適應(yīng)性。

在上面的流程中，研究者們提出了三個(gè)重要組件，分別是 1）基于 LLM 的 Insight Proposer；2）基于 MCTS 的搜索策略；3）執(zhí)行實(shí)驗(yàn)方案的 LLM Agent，下面我們會(huì)詳細(xì)展開組件設(shè)計(jì)：

基于 LLM 的 Insight Proposer 

Insight Proposer 負(fù)責(zé)接收問題描述和數(shù)據(jù)集信息，將機(jī)器學(xué)習(xí)過程細(xì)分為探索性數(shù)據(jù)分析、數(shù)據(jù)預(yù)處理、特征工程、模型訓(xùn)練和模型評(píng)估五個(gè)關(guān)鍵階段。并利用大型語(yǔ)言模型為每個(gè)階段生成多樣化的 Insight。這些 Insight 被匯集在見解池中，構(gòu)建起 SELA 的搜索空間。

基于 MCTS 的搜索策略

在 SELA 框架中，研究者們將解決機(jī)器學(xué)習(xí)問題的搜索空間看作一棵樹，每條從根到目標(biāo)節(jié)點(diǎn)的路徑都表示一個(gè)由 Insight 組成的實(shí)驗(yàn)配置。因此，尋找最佳解決方案的任務(wù)可以被視為在樹中搜索最優(yōu)路徑。

SELA 采用蒙特卡洛樹搜索（MCTS）作為核心決策引擎，通過選擇、擴(kuò)展、模擬和反向傳播四個(gè)關(guān)鍵步驟，高效地探索和優(yōu)化解決方案。

• 選擇

在每次迭代中，SELA 使用 UCT 算法的修改版本 UCT-DP ，從搜索樹中選擇一個(gè)節(jié)點(diǎn)。與傳統(tǒng)的 MCTS 不同，SELA 面臨的挑戰(zhàn)在于模型訓(xùn)練等過程引入的大量計(jì)算時(shí)間，因此高效的節(jié)點(diǎn)探索至關(guān)重要。SELA 通過盡早優(yōu)先探索更深入的節(jié)點(diǎn)，減少了探索每個(gè)未訪問節(jié)點(diǎn)的需要，允許在更少的迭代中到達(dá)更深的節(jié)點(diǎn)，使該方法更適合大規(guī)模機(jī)器學(xué)習(xí)實(shí)驗(yàn)。

• 擴(kuò)展

在擴(kuò)展階段，將從所選節(jié)點(diǎn)實(shí)例化一組子節(jié)點(diǎn)以進(jìn)行模擬，子節(jié)點(diǎn)繼承了父節(jié)點(diǎn)的所有屬性，并在此基礎(chǔ)上增加了新的洞察，以進(jìn)一步探索和優(yōu)化解決方案。

• 模擬

擴(kuò)展結(jié)束后，SELA 將從擴(kuò)展的子節(jié)點(diǎn)中隨機(jī)采樣一個(gè)節(jié)點(diǎn)進(jìn)行模擬，SELA 將首先獲取這條路徑對(duì)應(yīng)的配置。這些配置隨后被交給負(fù)責(zé)實(shí)驗(yàn)的 Agent 執(zhí)行，產(chǎn)生模擬分?jǐn)?shù)，該分?jǐn)?shù)作為反向傳播的反饋。

• 反向傳播

在模擬結(jié)束后，SELA 會(huì)收集性能分?jǐn)?shù)（例如，基于驗(yàn)證集的分?jǐn)?shù)），并通過樹結(jié)構(gòu)進(jìn)行反向傳播。這些分?jǐn)?shù)從模擬節(jié)點(diǎn)傳遞到根節(jié)點(diǎn)，更新每個(gè)父節(jié)點(diǎn)的值和訪問計(jì)數(shù)，從而在未來的搜索中優(yōu)先考慮那些代表更有前途解決方案的節(jié)點(diǎn)。同時(shí)，解決方案代碼也會(huì)反向傳播到樹中，并在更新期間根據(jù)父節(jié)點(diǎn)進(jìn)行處理，保存為階段代碼。

執(zhí)行實(shí)驗(yàn)方案的 LLM Agent

SELA 設(shè)計(jì)了一個(gè) LLM Agent 用于執(zhí)行實(shí)驗(yàn)方案，通過自然語(yǔ)言需求構(gòu)建實(shí)用的 pipeline。Agent 首先將搜索模塊提供的 Insight 轉(zhuǎn)化為詳細(xì)計(jì)劃，然后根據(jù)計(jì)劃編寫并執(zhí)行代碼，生成最終的 Pipeline 和執(zhí)行分?jǐn)?shù)。為提升效率，SELA 在階段級(jí)別進(jìn)行代碼緩存，實(shí)現(xiàn)精細(xì)的代碼重用，避免重復(fù)勞動(dòng)，并應(yīng)對(duì) LLM 的非確定性問題，確保實(shí)驗(yàn)的一致性和可預(yù)測(cè)性。

實(shí)驗(yàn)

基準(zhǔn)測(cè)試

SELA 選取了 AutoML 的 13 個(gè)分類任務(wù)和 7 個(gè)回歸任務(wù)，以及 Kaggle 競(jìng)賽的 20 個(gè)數(shù)據(jù)集進(jìn)行評(píng)估。

所有數(shù)據(jù)集按相同比例切分，確保各框架接受相同數(shù)據(jù)?；?LLM 的框架（SELA、Data Interpreter 和 AIDE）采用相同配置和迭代次數(shù)。AutoGluon 和 AutoSklearn 均使用默認(rèn)設(shè)置。由于 AutoGluon 結(jié)果是確定性所以只運(yùn)行一次，其余實(shí)驗(yàn)均運(yùn)行三次。我們對(duì)每個(gè)數(shù)據(jù)集上不同框架的全部運(yùn)行結(jié)果進(jìn)行排名，以比較優(yōu)劣。

圖中展示了多個(gè)自動(dòng)機(jī)器學(xué)習(xí)框架在不同數(shù)據(jù)集上的預(yù)測(cè)表現(xiàn)，橫軸為與 SELA 最佳性能相比的標(biāo)準(zhǔn)化得分（NS）。結(jié)果顯示，SELA 在大多數(shù)數(shù)據(jù)集中表現(xiàn)優(yōu)異，其他框架如 AutoSklearn、AIDE、AutoGluon 和 Data Interpreter 在某些數(shù)據(jù)集上有競(jìng)爭(zhēng)力，但整體上 SELA 展現(xiàn)出更為一致的高性能和適應(yīng)性。

SELA 在所有框架中取得了最高的平均標(biāo)準(zhǔn)化分?jǐn)?shù)和最佳排名，證明了其在多種數(shù)據(jù)類型和任務(wù)上的穩(wěn)健性和卓越表現(xiàn)。

消融實(shí)驗(yàn)

研究者們?cè)O(shè)計(jì)了三個(gè)消融實(shí)驗(yàn)，用來驗(yàn)證 SELA 性能和策略的有效性。首先，是對(duì)探索次數(shù)的消融。實(shí)驗(yàn)結(jié)果顯示，隨著探索次數(shù)的增加，SELA 有效利用了更多的探索機(jī)會(huì)，使平均性能顯著提升。

其次，LLM 的消融研究對(duì)比了 GPT-4o、Claude-3.5-Sonnet 和 DeepSeek-V2.5，結(jié)果表明 Claude-3.5-Sonnet 和 GPT-4o 表現(xiàn)穩(wěn)定且適應(yīng)性強(qiáng)，而 DeepSeek-V2.5 在某些數(shù)據(jù)集上略遜色，但在 Click prediction 和 boston 數(shù)據(jù)集上表現(xiàn)相近，充分說明 SELA 在不同模型上均有出色表現(xiàn)。

此外，研究者們進(jìn)一步驗(yàn)證了 SELA 所采用的 MCTS（蒙特卡洛樹搜索）策略的卓越有效性。相較于 DataInterpreter（無(wú)搜索）和隨機(jī)搜索，MCTS 策略展現(xiàn)出了顯著的優(yōu)勢(shì)，這證明 SELA 最終采用的搜索策略是必要且有效的。

結(jié)語(yǔ)

SELA 提出了一種讓 AI 自主設(shè)計(jì)和持續(xù)優(yōu)化自身的方法，并全面地展示了其取得的不俗效果。研究者們認(rèn)為，該工作表明了 AI 在這一方向的潛力，將為未來的相關(guān)研究提供有價(jià)值的參考。