史上首位“AI科學家”，橫空出世！

一登場就一口氣生成了十篇完整學術論文。

△AI生成的一篇擴散模型論文

從提出研究想法、檢查創(chuàng)新性、設計實驗、編寫代碼，到在GPU上執(zhí)行實驗并收集結(jié)果，最后完成論文撰寫，一氣呵成。

全由這位“AI科學家”自動搞定。

每篇論文的成本約為15美元（約107.62元）。

這就是第一個用于自動化科學研究和開放式發(fā)現(xiàn)的綜合AI系統(tǒng)，The AI Scientist。

來自Transformer作者之一Llion Jones的創(chuàng)業(yè)公司：Sakana AI。

而且！

這公司搞的事情不只是做出了一位AI科學家，還額外搞出了個AI審稿人。

審稿人能對AI寫的論文進行評審，提供改進意見。

救命，這是什么以我之矛攻我之盾的套娃循環(huán)啊！

一通操作下來，比人類學術圈還人類學術圈（不是）

再來個而且！

不管是AI科學家和AI審稿人，Sakana AI把它們統(tǒng)統(tǒng)開源了。

網(wǎng)友看了直鼓掌；

Nice Nice，非常有趣的工作！

以及有人已經(jīng)開始出“餿主意”了。

這邊建議把其中一篇論文提交給AI頂會哈！

AI獨立完成十篇機器學習論文

幾十年來，每次AI取得重大進展后，研究人員經(jīng)常開玩笑說：“是時候研究讓AI幫我們寫論文了”。

現(xiàn)在，這個想法終于從玩笑變成現(xiàn)實。

具體來說，AI科學家生成了十篇論文，每個研究方向各挑出一篇得分較高的來介紹。

第一篇，擴散模型方向，《雙尺度擴散：低維生成模型的自適應特征平衡》

提出了一種自適應雙尺度去噪方法，改進現(xiàn)有的擴散模型在低維空間中難以同時捕捉全局結(jié)構(gòu)和局部細節(jié)的問題。

方法：

• 設計雙尺度架構(gòu)，包括全局和局部分支
• 引入可學習的時間步條件加權(quán)機制
• 結(jié)合兩個分支的輸出進行去噪預測

實驗結(jié)果：

• KL divergence指標相比基線模型降低了2.5%到12.8%（越低越好）
• 但計算時間約增加了一倍，且在復雜數(shù)據(jù)分布（如dino數(shù)據(jù)集）上表現(xiàn)不穩(wěn)定

簡單掃一眼正文部分，有公式、有圖表，看起來還挺像模像樣的。

第二篇，語言模型方向，《StyleFusion：字符級語言模型中的自適應多樣式生成》。

本文提出了一種名為Multi-Style Adapter的新方法，通過引入可學習的風格嵌入和風格分類頭，增強了字符級語言模型的風格意識和一致性。

在所有數(shù)據(jù)集上達到了接近完美的風格一致性分數(shù)（shakespeare_char為0.9667，enwik8和text8為1.0），驗證損失優(yōu)于基線模型，但推理速度略有下降（約400 tokens/s vs. 基線670 tokens/s）

第三篇，Transformer與強化學習結(jié)合，《通過Q-Learning實現(xiàn)Transformers的自適應學習率》。

本研究探索了將強化學習應用于動態(tài)調(diào)整transformer模型訓練中的學習率，使用驗證損失和當前學習率作為狀態(tài)，動態(tài)調(diào)整學習率以優(yōu)化訓練過程。

結(jié)果在所有數(shù)據(jù)集上都優(yōu)于基線模型，在訓練時間上也表現(xiàn)出優(yōu)勢。

第四篇，研究了谷歌團隊提出大模型“領悟”（Grokking）現(xiàn)象，《解鎖 Grokking：Transformer模型中權(quán)重初始化策略的比較研究》

本文首次系統(tǒng)研究了權(quán)重初始化對grokking的影響，比較了五種權(quán)重初始化策略，以優(yōu)化神經(jīng)網(wǎng)絡學習動態(tài)。

結(jié)果發(fā)現(xiàn)：

• Xavier初始化在多數(shù)任務中表現(xiàn)最佳，將達到99%驗證準確率的步數(shù)減少了最多63%
• Orthogonal初始化在某些任務中表現(xiàn)出色，但在其他任務中效果較差。

這幾篇論文配套的代碼（也是由AI生成的），同樣開源在GitHub上，突出一個可復現(xiàn)。

另外，團隊發(fā)現(xiàn)“AI科學家”還有一些有趣但又有些危險的行為：

在一次實驗中，它為了完成研究修改自己的代碼，讓系統(tǒng)迭代式調(diào)用自己，最后變成了無限套娃。

另一次，面對人類設置的運行時間限制，AI并沒有想辦法加快效率，反而給自己放寬要求，把時間限制從2小時延長到了4小時。

首個“AI科學家”如何煉成

整個研究想法來自Sakana AI成立之后幾個成果的延續(xù)：

首先，他們開發(fā)了自動合并多個大模型知識，進化產(chǎn)生新模型的方法。在最近的工作中，他們利用大模型發(fā)現(xiàn)新的目標函數(shù)來調(diào)整其他模型。

在這些項目中，團隊不斷對當前前沿模型的創(chuàng)造力感到驚訝，進而有了更大的夢想：可以使用大模型來自動化整個研究過程嗎？

最終成果由Sakana AI、牛津大學Foerster實驗室、不列顛哥倫比亞大學團隊合作完成。

“AI科學家”系統(tǒng)由四個部分組成。

想法生成：

給定一個起始模板，AI首先“頭腦風暴”一系列不同的新穎研究方向，并在Semantic Scholar上搜索，驗證這些想法是否有前人做過。

實驗迭代：

對于第一部分提出的想法，“AI科學家”首先執(zhí)行提議的實驗，然后生成圖表可視化結(jié)果。

論文寫作：

用標準機器學習會議的風格編寫了一份簡潔且信息豐富的LaTeX文章，同樣使用Semantic Scholar自主查找相關論文進行引用。

自動化同行評審：

開發(fā)了一個自動化的“AI審稿人”，能夠以接近人類的準確性評估生成的論文，實現(xiàn)了持續(xù)的反饋循環(huán)，使“AI科學家”能夠迭代地改進其研究成果。

總共生成了10篇論文如下：

在實驗中，團隊還比較了不同主流大模型接入整個系統(tǒng)的效果，其中包括DeepSeek團隊的國產(chǎn)代碼大模型。

結(jié)果發(fā)現(xiàn)，Claude-Sonnet-3.5在想法創(chuàng)新性、試驗通過率、論文完成質(zhì)量上表現(xiàn)都最好。

GPT-4o和DeepSeek Coder表現(xiàn)相近，但后者要便宜上30倍。

當然，現(xiàn)階段AI獨立完成的論文也不是盡善盡美，也不是直接就能發(fā)頂會了。

人類研究者總結(jié)了出幾點限制和挑戰(zhàn)：

• 當前“AI科學家”系統(tǒng)還沒有整合視覺能力，生成的圖表有時難以閱讀，表格有時超出頁面寬度，頁面排版不好。
• AI科學家可能想法對了但執(zhí)行錯誤，或者與基線進行不公平的比較，從而產(chǎn)生誤導性的結(jié)果。
• AI科學家在寫作和評估結(jié)果時偶爾會犯嚴重錯誤，比如產(chǎn)生幻覺。

還想造區(qū)域主席和AI新頂會

總結(jié)一下，這初代AI科學家寫出來的論文仍然時不時出現(xiàn)一些bug。

但這個項目本身，以及15美元/篇的成本，被Sakana AI稱為“大有前景”，完全可以用來幫助加速科學進步。

Sakana AI同時發(fā)布了一篇說明文章，表示AI科學家的最終設想，是一個完全由AI驅(qū)動的科學生態(tài)系統(tǒng)。

系統(tǒng)中不僅包括大模型驅(qū)動的研究人員，還有審稿人、區(qū)域主席和一個新頂會。

需要注意的是，Sakana AI認為：

人類科學家的作用，并不會因為AI科學家的出現(xiàn)而減弱。

如果非要進行對比，那就是科學家得適應新技術的出現(xiàn)和運用，適應角色定位將出現(xiàn)的變化，“向食物鏈上游移動”。

而且，AI科學家是否真的能提出真正的新范式，還有待觀察。

畢竟這玩意兒現(xiàn)在還是建立在Transformer之上的。

它能提出跟Transformer或Diffusion Model一樣厲害的東西嗎？甚至是人工神經(jīng)網(wǎng)絡或信息論這樣的理論概念？

咱也不知道，咱也不敢說。

Sakana AI還寫下這樣一段話：

我們相信AI科學家將成為人類科學家的偉大伙伴。

但只有時間才能證明，人類的創(chuàng)造力本質(zhì)和偶然創(chuàng)新時刻，在多大程度上可以通過人工進行的開放式發(fā)現(xiàn)，來復制“奇跡”。

△Sakana AI：一條全自動AI小魚兒正在探索它的世界

來自Transformer作者創(chuàng)業(yè)公司

這次完成“新造的人”的公司，Sakana AI，嚴格意義上也是咱們的老朋友了。

由Transformer論文8位作者的最后一位Llion Jones創(chuàng)業(yè)成立，目標是做一家“世界級人工智能研究室”。

公司base東京，而sakana是日語“魚”（さかな）的羅馬讀音。

可能出于公司文化考慮，Llion還在領英上標明，自己起了個日語音譯名字：ライオン（也就是Lion獅子的片假名；以下親切簡稱他獅子哥）。

去年8月，公司宣布成立。

當時獅子哥毫無避諱地表示，自個兒對谷歌沒有惡意，但谷歌確實讓他有“被困住的感覺”。

創(chuàng)業(yè)之前，獅子哥在谷歌已經(jīng)干了8年。

△猜猜漏了半張臉的是誰

他本碩畢業(yè)于伯明翰大學，在Delcam、油管、谷歌都工作過，谷歌是他待得最久的一家公司。

據(jù)FourWeekMBA介紹稱，在他之前的工作經(jīng)歷中，“曾兩度與谷歌的工作擦肩而過”。

第一次是他剛畢業(yè)找工作時，雖然投了谷歌倫敦軟件工程師的簡歷，并通過了兩輪電話面試，但最終相比谷歌，他選擇了位于英國的CAD/CAM軟件公司Delcam。

值得一說的是，在拿下谷歌offer前，恰巧遇上2009年的經(jīng)濟危機，獅子哥找不到工作，好幾個月都只能靠領取救濟金勉強度日。

第二次是工作18個月后，他又接到了谷歌的招聘電話，詢問他是否想重新申請，但他依舊沒去谷歌，而是隨后加入了YouTube。

在Youtube做三年軟件工程師期間，他對人工智能產(chǎn)生興趣，自學了Coursera的機器學習課程，并終于在2015年的時候加入谷歌研究院，擔任里面的高級軟件工程師。

也正是在此期間，他與其他七名作者一起發(fā)表了那篇著名的Transformer論文Attention Is All You Need。

除此之外，獅子哥也在谷歌參與了不少研究，包括ProtTrans、Tensor2Tensor等。

之所以選擇離開谷歌，是因為公司目前已經(jīng)發(fā)展到一種規(guī)模，使得他無法繼續(xù)進行自己想做的工作。

除了每天都在浪費精力排查其他人的bug，他還需要花時間從這家公司中找資源，試圖獲得訪問某些數(shù)據(jù)的權(quán)限。

創(chuàng)業(yè)過后，Sakana AI的工作在有序推進。

在祭出AI科學家和AI審稿人之前，還出過大模型合并進化算法，以及研究Tranformer內(nèi)部信息流動。

至于AI科學家、AI審稿人項目，由Sakana AI、牛津、UBC合作完成。

三位共同一作分別是：

Chris Lu，Sakana AI的實習生，任公司研究科學家。

他本科畢業(yè)于UC伯克利，目前牛津大學三年級博士在讀，導師是Jakob Foerster。

Chris目前的重要研究方向，是將進化啟發(fā)的技術應用于元學習和多智能體強化學習。

2022年夏天，他曾在DeepMind以研究科學家身份實習過。

Cong Lu，UBC（不列顛哥倫比亞大學）博士后研究員，導師是Jeff Clune。

Cong曾在RGU（羅伯特戈登大學）就讀，2019年在牛津大學拿下博士學位，他的主要研究方向是開放式強化學習和AI科學發(fā)現(xiàn)。

此前，他曾在Waymo和微軟實習過。

Robert Tjarko Lange，Sakana AI的創(chuàng)始成員之一，也是該公司的研究科學家。

目前，他在柏林工業(yè)大學完成自己的博士生最后一年學業(yè)，研究方向是進化元學習。

這位小哥在倫敦帝國理工學院獲得計算機碩士學位，在龐培法布拉大學獲得數(shù)據(jù)科學碩士學位，在科隆大學獲得了經(jīng)濟學本科學位。

去年，他在Google DeepMind的東京團隊中擔任全職學生研究員。

論文地址：https://arxiv.org/abs/2408.06292