2024 臨近尾聲，AI 又給了所有人一個大驚喜，這次可以用來自動發(fā)現(xiàn)新的人工生命形式了。

今年 8 月，Transformer 論文作者之一的 Llion Jones 與前谷歌研究人員 David Ha 共同創(chuàng)立的人工智能公司 Sakana AI 造出了「世界上第一個用于自動化科學(xué)研究和開放式發(fā)現(xiàn)的 AI 系統(tǒng)」。他們稱之為 AI Scientist，即人工智能科學(xué)家，詳情可參閱報道《首個全自動科學(xué)發(fā)現(xiàn) AI 系統(tǒng)，Transformer 作者創(chuàng)業(yè)公司 Sakana AI 推出 AI Scientist》。

而現(xiàn)在，他們又拿出了另一項震撼性的重磅研究成果：使用基礎(chǔ)模型搜索人工生命的系統(tǒng) ASAL。

人工生命（Artificial Life），聽起來很科幻，但其定義并不復(fù)雜：就是被制造出來的生命。數(shù)學(xué)家約翰?何頓?康威在 1970 年提出的著名的「生命游戲」便是一種模擬人工生命系統(tǒng)，其中定義的規(guī)則可讓其中的「細胞」像生命體一樣運作。

研究人工生命的一個核心哲學(xué)理念是我們不僅想要了解「我們所知的生命」，還想要探索「可能存在的生命」。下圖為 ASAL 其中一位作者 Phillip Isola 的推文以及他分享的一種人工生命。

此外，人工生命研究還可以得到有望改變和加速 AI 進步的關(guān)鍵見解。該團隊表示：「通過利用 AI 加速人工生命的發(fā)現(xiàn)，我們可以加速對涌現(xiàn)、進化和智能的理解 —— 這些核心原則可以啟發(fā)下一代 AI 系統(tǒng)！」

該研究發(fā)布后吸引了大量點贊和討論。

知名博主 Aran Komatsuzaki 表示，這是視覺語言模型在人工生命中的首次應(yīng)用，可以跨基質(zhì)發(fā)現(xiàn)多樣性、全新的模擬生命。

目前，人工生命研究主要是通過計算模擬進行，而這種方法必然意味著搜索并描繪出整個可能的模擬空間，而不是研究任何單個模擬。這樣一來，研究者便可以了解不同的模擬配置可以怎樣產(chǎn)生不同的涌現(xiàn)行為。Sakana AI 的這篇論文首次實現(xiàn)了借助基礎(chǔ)模型來自動化這個搜索過程。另外，OpenAI、MIT等其他機構(gòu)和獨立研究者也參與了研究。

• 論文標(biāo)題：Automating the Search for Artificial Life with Foundation Models
• 論文地址：https://arxiv.org/pdf/2412.17799
• 在線論文：https://pub.sakana.ai/asal/
• 項目代碼：https://github.com/SakanaAI/asal/

雖然人工生命模擬的進化和學(xué)習(xí)的具體機制有很多，但迄今為止，該領(lǐng)域取得實質(zhì)性進展的一個主要障礙是：缺乏一種系統(tǒng)的方法來搜索所有可能的模擬配置。如果沒有這種方法，在設(shè)計人工世界最重要的方面（世界本身的規(guī)則）時，研究者就必須依靠直覺。

對此，一部分挑戰(zhàn)在于簡單組件的大規(guī)模相互作用可能會產(chǎn)生復(fù)雜的涌現(xiàn)現(xiàn)象，這些現(xiàn)象很難甚至不可能被提前預(yù)測。

正是由于模擬配置與涌現(xiàn)現(xiàn)象之間缺乏關(guān)聯(lián)，因此研究者很難憑直覺設(shè)計出能展現(xiàn)出自我復(fù)制、類似生態(tài)系統(tǒng)的動態(tài)或具有開放屬性的模擬。因此，這一領(lǐng)域的實際做法往往是針對簡單和預(yù)期的結(jié)果來設(shè)計模擬，這就限制了意外發(fā)現(xiàn)的可能性。

也許，是時候自動化了！這樣，研究者就無需將注意力放在設(shè)定正確的規(guī)則和互動上，而可以關(guān)注更加高層面的問題，比如如何最好地描述我們最終希望涌現(xiàn)的現(xiàn)象，然后讓搜索該現(xiàn)象的過程自動完成即可。

不過，描述目標(biāo)現(xiàn)象本身就極具挑戰(zhàn)性。雖然之前已經(jīng)有一些研究試圖通過復(fù)雜的度量（比如生命、復(fù)雜度、有趣度等）來量化人工生命，但這些度量基本上都無法完全體現(xiàn)人類想要表達的那種微妙的生命概念。

Sakana AI 表示：「雖然我們還不了解我們的宇宙為何或如何變得如此復(fù)雜、豐富和有趣，但我們?nèi)匀豢梢詫⑵渥鳛橹敢?，引?dǎo)我們創(chuàng)建引人入勝的人工生命世界?！?/span>

該團隊認為，在大量自然數(shù)據(jù)上訓(xùn)練得到的基礎(chǔ)模型具備類似于人類的表征，甚至可能基于我們的真實世界統(tǒng)計數(shù)據(jù)得到一個理想化的表征。這種特性使得基礎(chǔ)模型非常適合用于量化人類對人工生命復(fù)雜度的概念。

該團隊的 ASAL（自動搜索人工生命）研究便是基于這一思路開展的。他們表示這是一種人工生命研究的新范式。

既然是新范式，那么肯定需要做一些定義。

首先，該團隊將所需的模擬集合定義為 substrate，即基質(zhì)。然后，如圖 1 所示，ASAL 讓基礎(chǔ)模型可使用三種不同的方法來識別所需的人工生命模擬：

• 監(jiān)督式目標(biāo)：搜索能產(chǎn)生指定目標(biāo)事件或事件序列的模擬，有助于發(fā)現(xiàn)任意世界或與我們自己的世界相似的世界。
• 開放式：在基礎(chǔ)模型的表征空間中搜索會隨時間不斷提供新變化的模擬，由此可以發(fā)現(xiàn)對人類觀察者來說總是很有趣的世界。
• 闡明（Illumination）：搜索一組相關(guān)的多樣化模擬，從而展現(xiàn)對我們來說非常陌生的世界。

研究者基于 Boids、Particle Life（粒子生命）、Game of Life（生命游戲）、Lenia 和 Neural Cellular Automatas（神經(jīng)元胞自動機）等多種人工生命基質(zhì)展現(xiàn)了這種新的自動化方法的有效性。

在每種基質(zhì)中，ASAL 都發(fā)現(xiàn)了以前從未見過的生命形式，并擴展了人工生命中涌現(xiàn)結(jié)構(gòu)的邊界。例如，ASAL 揭示了 Boids 中奇異的群集模式、Lenia 中新的自組織細胞，并找到了像著名的康威生命游戲一樣開放式元胞自動機。

方法：自動搜索人工生命

圖 2 展示了新提出的 ASAL 范式，其中包括三種基于視覺 - 語言基礎(chǔ)模型的算法。每種方法都能通過不同類型的自動搜索發(fā)現(xiàn)人工生命模擬。深入細節(jié)之前，先來看看相關(guān)概念和符號。

人工生命基質(zhì)（substrate），記為 S，其包含任何一組相關(guān)的人工生命模擬（例如，所有 Lenia 模擬的集合）。這些模擬可能在初始狀態(tài)、轉(zhuǎn)換規(guī)則或兩者上有所不同。S 由 θ 參數(shù)化，它定義的單個模擬具有三個分量：

• 初始狀態(tài)分布 Init_θ
• 前向動態(tài)階躍函數(shù) Step_θ
• 渲染函數(shù)，Render_θ，作用是將狀態(tài)轉(zhuǎn)換為圖像

雖然通常而言，并不需要參數(shù)化和搜索渲染函數(shù)，但當(dāng)狀態(tài)值難以先驗地解讀時，就很有必要了。將這些項串到一起，可定義一個 θ 函數(shù)，它對初始狀態(tài) s_0 進行采樣，運行 T 步模擬，并將最終狀態(tài)渲染為圖像：

最后，還有另外兩個函數(shù) VLM_img (?) 和 VLM_txt (?)，它們的作用是 通過視覺 - 語言基礎(chǔ)模型嵌入圖像和自然語言文本，以及相應(yīng)的內(nèi)積 ??,??，以促進該嵌入空間的相似性測量。

監(jiān)督式目標(biāo)

人工生命的一個重要目標(biāo)是找到能讓所需事件或事件序列發(fā)生的模擬。這樣的發(fā)現(xiàn)將使研究者能夠找到與我們自己的世界相似的世界，或測試某些反事實的進化軌跡在給定基質(zhì)中是否可能，從而深入了解某些生命形式的可行性。

為此，ASAL 會搜索一種模擬，該模擬會產(chǎn)生與基礎(chǔ)模型表示中的目標(biāo)自然語言提示詞相匹配的圖像。研究者可以控制在每個時間步驟應(yīng)用哪個提示（如果有的話）。

開放式

人工生命的一大挑戰(zhàn)是尋找開放式模擬。找到這樣的世界才能復(fù)現(xiàn)現(xiàn)實世界中永無止境的有趣新奇事物的爆發(fā)。

盡管開放性是主觀的且難以定義，但正確表示空間的新穎性（novelty）可以體現(xiàn)開放性的一般概念。這樣一來，可將測量開放性的主觀性外包給表征函數(shù)的構(gòu)建。在本文中，視覺 - 語言基礎(chǔ)模型表征充當(dāng)了人類表征的代理。

闡明

人工生命的另一個關(guān)鍵目標(biāo)是自動闡明不同現(xiàn)象構(gòu)成的整個空間，而這些現(xiàn)象是從基質(zhì)涌現(xiàn)出來的?；诖耍梢宰屛覀兞私狻干目赡苣印?。因此，闡明是描繪和分類整體基質(zhì)的第一步。

為了實現(xiàn)這一目標(biāo)，ASAL 會搜索一組模擬并且這些模擬產(chǎn)生的圖像與基礎(chǔ)模型表征中的最近鄰相距甚遠。該團隊發(fā)現(xiàn)最近鄰多樣性比基于方差的多樣性能實現(xiàn)更好的闡明。

實驗表明 ASAL 還真行

該團隊使用不同的基質(zhì)驗證了 ASAL 范式的有效性。

首先，他們使用的基礎(chǔ)模型包括 CLIP 和 DINOv2?；|(zhì)則如下所述：

• Boids：模擬的是 N 個「鳥狀物體（boids）」在 2D 歐幾里得空間中的移動情況。所有 boids 都共享權(quán)重一樣的神經(jīng)網(wǎng)絡(luò)，其會根據(jù)局部參考系中 K 個近鄰 boids 向左或向右操縱每個 boid。該基質(zhì)是神經(jīng)網(wǎng)絡(luò)的權(quán)重空間。
• 粒子生命：模擬 N 個粒子，這些粒子又可分為 K 類；它們在一個 2D 歐幾里得空間運動。該基質(zhì)是 K × K 相互作用矩陣的空間，β 參數(shù)確定了粒子之間的距離。初始狀態(tài)是隨機采樣的，粒子會自組織形成動態(tài)模式。
• 類生命的元胞自動機（CA：將康威生命游戲泛化到所有在 2D 柵格中運作的二元狀態(tài)元胞自動機，其中狀態(tài)轉(zhuǎn)換僅取決于活著的 Moore 鄰居的數(shù)量和細胞的當(dāng)前狀態(tài)。該基質(zhì)有 2^18 = 262,144 種可能的模擬。
• Lenia：將康威生命游戲推廣到連續(xù)空間和時間，允許更高的維度、多個核和多個通道。該團隊使用了 LeniaBreeder 代碼庫，它定義了基質(zhì)，其中動態(tài)維度為 45 個，初始狀態(tài)維度為 32 × 32 × 3 = 3,072 個。其搜索空間以 Bert Wang-Chak Chan 2020 年在論文《Lenia and expanded universe》中找到的解為中心。
• 神經(jīng)元胞自動機（NCA）：通過神經(jīng)網(wǎng)絡(luò)表示局部轉(zhuǎn)換函數(shù)來參數(shù)化任何連續(xù)元胞自動機。該基質(zhì)是神經(jīng)網(wǎng)絡(luò)的權(quán)重空間。

搜索目標(biāo)模擬

其中包括單個目標(biāo)和隨時間變化的目標(biāo)序列。

對于單個目標(biāo)，以下動圖定性地展示 ASAL 的良好效果，可以找到與指定提示詞匹配的模擬。

對于時間目標(biāo)，下圖表明可以找到能產(chǎn)生遵循一系列提示詞的軌跡的模擬。通過指定所需的進化軌跡并使用約束基質(zhì)，ASAL 可以識別體現(xiàn)所需進化過程本質(zhì)的更新規(guī)則。例如，當(dāng)提示詞序列為「一個細胞」然后是「兩個細胞」時，相應(yīng)的更新規(guī)則本質(zhì)上就是實現(xiàn)自我復(fù)制。

搜索開放式模擬

圖 5 展示了 ASAL 在類生命元胞自動機的開放式模擬中的潛力。

根據(jù) 3 式中的開放式指標(biāo)，著名的康威生命游戲位列最開放的元胞自動機（CA）的前 5%。

圖 5a 表明，最開放的 CA 表現(xiàn)了處于混沌邊緣的非平凡動態(tài)模式，因為它們既沒有穩(wěn)定也沒有爆發(fā)。

圖 5b 則描繪了三個 CA 在 CLIP 空間中隨模擬時間的軌跡。由于基礎(chǔ)模型的表征與人類表征相關(guān)，因此通過基礎(chǔ)模型的表征空間在軌跡中產(chǎn)生新穎性也會為人類觀察者產(chǎn)生一系列新穎性。

圖 5c 則可視化了所有類生命元胞自動機，從中可以看到涌現(xiàn)出的有意義的結(jié)構(gòu)：最開放的 CA 緊密地靠在模擬主島外的一個小島上。

闡明整體基質(zhì)

該團隊使用了 Lenia 和 Boids 基質(zhì)來研究公式 4 中的闡明算法的有效性。基礎(chǔ)模型是 CLIP 。他們定制了一個用于搜索的遺傳算法：在每一代，隨機選擇父母，創(chuàng)建變異的孩子，然后保留最多樣化的解子集。

下面的 2 個「Simulation Atlas」展示了生成的模擬集。

此可視化凸顯了按視覺相似性組織的行為的多樣性。使用 Lenia 時，ASAL 發(fā)現(xiàn)了許多前所未見的生命形式，這些生命形式類似于按顏色和形狀組織的細胞和細菌。使用 Boids 時，ASAL 重新發(fā)現(xiàn)了群集行為（flocking behavior），以及其他行為，例如蛇行、分組、盤旋和其它變體。

量化人工生命

基礎(chǔ)模型不僅有助于搜索有趣現(xiàn)象，而且還可以量化以前只能進行定性分析的現(xiàn)象。圖 7 展示了量化這些復(fù)雜系統(tǒng)的涌現(xiàn)行為的不同方法。

在圖 7a 中，對兩個 Boids 模擬之間的參數(shù)進行線性插值。這個中間模擬缺乏任一模擬的特征并且顯得無序，表明了 boids 參數(shù)空間的非線性、混沌性質(zhì)。重要的是，現(xiàn)在可以通過測量中間模擬的最終狀態(tài)與兩個原始模擬的 CLIP 相似性來為這種定性觀察提供定量支持。

圖 7b 則評估了粒子生命中粒子數(shù)量對其表示某些生命形式的能力的影響。在這種情況下，如果搜索「一只毛毛蟲（a caterpillar）」，則可發(fā)現(xiàn)只有在模擬中至少有 1000 個粒子時才能找到它們，這符合 1972 年的「更多即不同（more is different）」的觀察結(jié)果。

在圖 7c 中，通過單獨掃描每個參數(shù)并測量 CLIP 提示詞對齊分數(shù)的結(jié)果標(biāo)準(zhǔn)偏差，量化了粒子生命中每個模擬參數(shù)的重要性。在確定最重要的參數(shù)后，便對應(yīng)上了綠色和黃色粒子之間的相互作用強度，這對于毛毛蟲的形成至關(guān)重要。

圖 7d 給出了對于 Lenia 模擬，CLIP 向量隨模擬時間的變化速度。當(dāng)模擬定性地看起來已成靜態(tài)時，該指標(biāo)恰好穩(wěn)定，因此這可提供有用的模擬停止條件。

對于這項研究，你有什么看法呢？

參考鏈接：

https://x.com/SakanaAILabs/status/1871385917342265592。

https://x.com/phillip_isola/status/1871438128172671086。