該論文的第一作者及指導(dǎo)作者均來自德克薩斯大學達拉斯分校，第一作者為博士生 Ruochen Li，指導(dǎo)作者為其博士生導(dǎo)師 Xinya Du，專注于自然語言處理、深度學習和大語言模型的研究。Xinya Du 的工作發(fā)表在包括 ACL、EMNLP 和 ICLR 在內(nèi)的頂級自然語言處理和機器學習會議上，其問題生成工作入選最具影響力的 ACL 論文。他被評為數(shù)據(jù)科學領(lǐng)域的閃亮新星，并獲得了 2024 年的 NSF CAREER 獎項和 WAIC 云帆獎。

科學技術(shù)的快速發(fā)展過程中，機器學習研究作為創(chuàng)新的核心驅(qū)動力，面臨著實驗過程復(fù)雜、耗時且易出錯，研究進展緩慢以及對專門知識需求高的挑戰(zhàn)。近年來，LLM 在生成文本和代碼方面展現(xiàn)出了強大的能力，為科學研究帶來了前所未有的可能性。然而，如何系統(tǒng)化地利用這些模型來加速機器學習研究仍然是一個有待解決的問題?，F(xiàn)有的研究往往只關(guān)注某一階段，如生成研究假設(shè)或執(zhí)行預(yù)定義的實驗，未能涵蓋整個研究過程，也未能充分解決當前研究中的具體問題。

為此，我們提出了 MLR-Copilot 自動化機器學習研究的研究平臺 / 演示工具 (Demonstration)，利用大型語言模型（LLM）作為研究人員的 “副駕駛”，分析研究論文、提取研究問題，以提出新的研究思路和實驗計劃，并自動化執(zhí)行這些實驗以獲得結(jié)果。MLR-Copilot 包括三個階段：研究思路生成、實驗實現(xiàn)和實驗執(zhí)行。該框架在多項機器學習任務(wù)中有效促進了研究進展。

• 源代碼鏈接：https://github.com/du-nlp-lab/MLR-Copilot
• 論文鏈接：https://arxiv.org/pdf/2408.14033
• Demo 鏈接：https://huggingface.co/spaces/du-lab/MLR-Copilot

方法介紹

MLR-Copilot 框架的提出旨在通過 LLM 代理自動生成和執(zhí)行研究思路驗證，實現(xiàn)科研過程的自動化。該框架從單篇科研論文出發(fā)，模仿科研人員的研究思路，收集任務(wù)定義并獲取當前研究工作的最前沿進展，以提出新的研究思路并自動化驗證。

該框架首先從輸入的研究論文中提取任務(wù)定義和研究空白，然后通過 IdeaAgent 生成研究思路（包括研究假設(shè)和實驗計劃），接著由 ExperimentAgent 實現(xiàn)并執(zhí)行這些實驗。在實驗過程中，框架會持續(xù)觀察和記錄結(jié)果，必要時進行調(diào)整和優(yōu)化，最終輸出經(jīng)過驗證的研究成果。這種自動化流程顯著提升了研究效率，確保了實驗的可執(zhí)行性和結(jié)果的可靠性。

在 MLR-Copilot 框架中，整個科研流程分為三個階段：

1. 研究思路生成：通過 IdeaAgent 從現(xiàn)有研究論文中生成假設(shè)和實驗計劃。系統(tǒng)通過分析和提取文獻中的關(guān)鍵信息，提取任務(wù)定義并識別研究問題，并根據(jù)現(xiàn)有研究中的趨勢和研究空白，生成新的研究假設(shè)和實驗計劃，形成初步的研究思路。

2. 實驗實現(xiàn)：ExperimentAgent 將實驗計劃轉(zhuǎn)化為可執(zhí)行的實驗，根據(jù)檢索的原型代碼，并在必要時從 Hugging Face 等平臺獲取模型和數(shù)據(jù)，生成并集成實驗實現(xiàn)方案及搭建實驗環(huán)境。

3. 實驗執(zhí)行：ExperimentAgent 管理實驗的執(zhí)行過程，在自動化的基礎(chǔ)上結(jié)合人類反饋，逐步優(yōu)化實驗實現(xiàn)并迭代調(diào)試，并最終輸出經(jīng)過驗證的研究成果，提高實驗的成功率和研究結(jié)果的可靠性。

實驗與討論

為了評估 MLR-Copilot 框架的性能，論文作者設(shè)計了一系列實驗，涵蓋了五個不同領(lǐng)域的機器學習任務(wù)。這些任務(wù)包括了語義文本關(guān)聯(lián)、情感分析、特征分類以及圖像分類等，代表了機器學習研究中的廣泛應(yīng)用場景，其數(shù)據(jù)集包括：

• SemRel：一個包含多語言語義文本關(guān)聯(lián)任務(wù)的數(shù)據(jù)集，使用 Pearson 相關(guān)系數(shù)作為評估標準。
• IMDB 數(shù)據(jù)集：用于情感分析的電影評論數(shù)據(jù)集。
• Spaceship-Titanic 數(shù)據(jù)集：用于分類任務(wù)的數(shù)據(jù)集，預(yù)測乘客生存情況。
• feedback (ELLIPSE) 數(shù)據(jù)集：用于基于機器學習的課程反饋預(yù)測任務(wù)。
• Identify-Contrails 數(shù)據(jù)集：用于圖像分類任務(wù)，識別衛(wèi)星圖像中的飛行軌跡。

為了更好的評估自動化機器學習研究的的性能，論文作者為 MLR-Copilot 框架量身定制了以下幾個評估維度：

• 研究思路的有效性：對研究思路中的假設(shè)和實驗設(shè)計分別針對不同標準進行進行評估。此評估包含人工評估和 LLM 評分員自動評估，并與僅使用核心論文作為提示的基準線方法比較。
• 實驗實現(xiàn)與執(zhí)行的成功率：通過多次實驗運行的成功率以及對任務(wù)性能的平均提升率來評估實驗階段的效果。

實驗結(jié)果表明：

• 在研究思路生成階段，MLR-Copilot 生成的假設(shè)在清晰度、有效性、嚴謹性、創(chuàng)新性和普遍性方面均優(yōu)于基線模型。主觀評測顯示出 MLR-Copilot 生成的實驗假設(shè)和設(shè)計更符合人類研究者的預(yù)期，較低的相似度也間接體現(xiàn)其創(chuàng)新性。
• 在實驗實現(xiàn)和執(zhí)行階段，MLR-Copilot 能夠顯著提升任務(wù)性能，并在多次試驗中保持較高的成功率。
• 通過案例研究，展示了 MLR-Copilot 在情感分析任務(wù)中的實際應(yīng)用。系統(tǒng)通過對實驗?zāi)_本的檢查、執(zhí)行、模型檢索以及結(jié)果分析，幫助研究人員系統(tǒng)化地生成假設(shè)并執(zhí)行實驗。

總結(jié)與展望

MLR-Copilot 框架展示了通過 LLM 自動化機器學習研究的潛力。它不僅能生成新的研究思路，還能夠?qū)崿F(xiàn)實驗的自動化執(zhí)行，并通過人機交互提高實驗的成功率和研究成果的可靠性。未來的研究可以進一步擴展應(yīng)用場景，并探索更多復(fù)雜的研究任務(wù)。

更多研究細節(jié)，可參考原論文。