聲明：本文來自于微信公眾號機器之心，授權(quán)站長之家轉(zhuǎn)載發(fā)布。

2024臨近尾聲，AI 又給了所有人一個大驚喜，這次可以用來自動發(fā)現(xiàn)新的人工生命形式了。

今年8月，Transformer 論文作者之一的 Llion Jones 與前谷歌研究人員 David Ha 共同創(chuàng)立的人工智能公司 Sakana AI 造出了「世界上第一個用于自動化科學研究和開放式發(fā)現(xiàn)的 AI 系統(tǒng)」。他們稱之為 AI Scientist，即人工智能科學家，詳情可參閱報道《首個全自動科學發(fā)現(xiàn) AI 系統(tǒng)，Transformer 作者創(chuàng)業(yè)公司 Sakana AI 推出 AI Scientist》。

而現(xiàn)在，他們又拿出了另一項震撼性的重磅研究成果:使用基礎(chǔ)模型搜索人工生命的系統(tǒng) ASAL。

人工生命（Artificial Life），聽起來很科幻，但其定義并不復(fù)雜:就是被制造出來的生命。數(shù)學家約翰?何頓?康威在1970年提出的著名的「生命游戲」便是一種模擬人工生命系統(tǒng)，其中定義的規(guī)則可讓其中的「細胞」像生命體一樣運作。

研究人工生命的一個核心哲學理念是我們不僅想要了解「我們所知的生命」，還想要探索「可能存在的生命」。下圖為 ASAL 其中一位作者 Phillip Isola 的推文以及他分享的一種人工生命。

此外，人工生命研究還可以得到有望改變和加速 AI 進步的關(guān)鍵見解。該團隊表示:「通過利用 AI 加速人工生命的發(fā)現(xiàn)，我們可以加速對涌現(xiàn)、進化和智能的理解 —— 這些核心原則可以啟發(fā)下一代 AI 系統(tǒng)!」

該研究發(fā)布后吸引了大量點贊和討論。

知名博主 Aran Komatsuzaki 表示，這是視覺語言模型在人工生命中的首次應(yīng)用，可以跨基質(zhì)發(fā)現(xiàn)多樣性、全新的模擬生命。

目前，人工生命研究主要是通過計算模擬進行，而這種方法必然意味著搜索并描繪出整個可能的模擬空間，而不是研究任何單個模擬。這樣一來，研究者便可以了解不同的模擬配置可以怎樣產(chǎn)生不同的涌現(xiàn)行為。Sakana AI 的這篇論文首次實現(xiàn)了借助基礎(chǔ)模型來自動化這個搜索過程。另外，OpenAI、MIT等其他機構(gòu)和獨立研究者也參與了研究。

• 論文標題:Automating the Search for Artificial Life with Foundation Models

• 論文地址:https://arxiv.org/pdf/2412.17799

• 在線論文:https://pub.sakana.ai/asal/

• 項目代碼:https://github.com/SakanaAI/asal/

雖然人工生命模擬的進化和學習的具體機制有很多，但迄今為止，該領(lǐng)域取得實質(zhì)性進展的一個主要障礙是:缺乏一種系統(tǒng)的方法來搜索所有可能的模擬配置。如果沒有這種方法，在設(shè)計人工世界最重要的方面（世界本身的規(guī)則）時，研究者就必須依靠直覺。

對此，一部分挑戰(zhàn)在于簡單組件的大規(guī)模相互作用可能會產(chǎn)生復(fù)雜的涌現(xiàn)現(xiàn)象，這些現(xiàn)象很難甚至不可能被提前預(yù)測。

正是由于模擬配置與涌現(xiàn)現(xiàn)象之間缺乏關(guān)聯(lián)，因此研究者很難憑直覺設(shè)計出能展現(xiàn)出自我復(fù)制、類似生態(tài)系統(tǒng)的動態(tài)或具有開放屬性的模擬。因此，這一領(lǐng)域的實際做法往往是針對簡單和預(yù)期的結(jié)果來設(shè)計模擬，這就限制了意外發(fā)現(xiàn)的可能性。

也許，是時候自動化了!這樣，研究者就無需將注意力放在設(shè)定正確的規(guī)則和互動上，而可以關(guān)注更加高層面的問題，比如如何最好地描述我們最終希望涌現(xiàn)的現(xiàn)象，然后讓搜索該現(xiàn)象的過程自動完成即可。

不過，描述目標現(xiàn)象本身就極具挑戰(zhàn)性。雖然之前已經(jīng)有一些研究試圖通過復(fù)雜的度量（比如生命、復(fù)雜度、有趣度等）來量化人工生命，但這些度量基本上都無法完全體現(xiàn)人類想要表達的那種微妙的生命概念。

Sakana AI 表示:「雖然我們還不了解我們的宇宙為何或如何變得如此復(fù)雜、豐富和有趣，但我們?nèi)匀豢梢詫⑵渥鳛橹敢?，引導我們?chuàng)建引人入勝的人工生命世界?！?/p>

該團隊認為，在大量自然數(shù)據(jù)上訓練得到的基礎(chǔ)模型具備類似于人類的表征，甚至可能基于我們的真實世界統(tǒng)計數(shù)據(jù)得到一個理想化的表征。這種特性使得基礎(chǔ)模型非常適合用于量化人類對人工生命復(fù)雜度的概念。

該團隊的 ASAL（自動搜索人工生命）研究便是基于這一思路開展的。他們表示這是一種人工生命研究的新范式。

既然是新范式，那么肯定需要做一些定義。

首先，該團隊將所需的模擬集合定義為 substrate，即基質(zhì)。然后，如圖1所示，ASAL 讓基礎(chǔ)模型可使用三種不同的方法來識別所需的人工生命模擬:

1. 監(jiān)督式目標:搜索能產(chǎn)生指定目標事件或事件序列的模擬，有助于發(fā)現(xiàn)任意世界或與我們自己的世界相似的世界。

2. 開放式:在基礎(chǔ)模型的表征空間中搜索會隨時間不斷提供新變化的模擬，由此可以發(fā)現(xiàn)對人類觀察者來說總是很有趣的世界。

3. 闡明（Illumination）:搜索一組相關(guān)的多樣化模擬，從而展現(xiàn)對我們來說非常陌生的世界。

研究者基于 Boids、Particle Life（粒子生命）、Game of Life(生命游戲)、Lenia 和 Neural Cellular Automatas(神經(jīng)元胞自動機)等多種人工生命基質(zhì)展現(xiàn)了這種新的自動化方法的有效性。

在每種基質(zhì)中，ASAL 都發(fā)現(xiàn)了以前從未見過的生命形式，并擴展了人工生命中涌現(xiàn)結(jié)構(gòu)的邊界。例如，ASAL 揭示了 Boids 中奇異的群集模式、Lenia 中新的自組織細胞，并找到了像著名的康威生命游戲一樣開放式元胞自動機。

方法:自動搜索人工生命

圖2展示了新提出的 ASAL 范式，其中包括三種基于視覺 - 語言基礎(chǔ)模型的算法。每種方法都能通過不同類型的自動搜索發(fā)現(xiàn)人工生命模擬。深入細節(jié)之前，先來看看相關(guān)概念和符號。

人工生命基質(zhì)（substrate），記為 S，其包含任何一組相關(guān)的人工生命模擬(例如，所有 Lenia 模擬的集合)。這些模擬可能在初始狀態(tài)、轉(zhuǎn)換規(guī)則或兩者上有所不同。S 由 θ 參數(shù)化，它定義的單個模擬具有三個分量:

• 初始狀態(tài)分布 Init_θ

• 前向動態(tài)階躍函數(shù) Step_θ

• 渲染函數(shù)，Render_θ，作用是將狀態(tài)轉(zhuǎn)換為圖像

雖然通常而言，并不需要參數(shù)化和搜索渲染函數(shù)，但當狀態(tài)值難以先驗地解讀時，就很有必要了。將這些項串到一起，可定義一個 θ 函數(shù)，它對初始狀態(tài) s_0進行采樣，運行 T 步模擬，并將最終狀態(tài)渲染為圖像:

最后，還有另外兩個函數(shù) VLM_img （?） 和 VLM_txt (?)，它們的作用是 通過視覺 - 語言基礎(chǔ)模型嵌入圖像和自然語言文本，以及相應(yīng)的內(nèi)積 ??，??，以促進該嵌入空間的相似性測量。

監(jiān)督式目標

人工生命的一個重要目標是找到能讓所需事件或事件序列發(fā)生的模擬。這樣的發(fā)現(xiàn)將使研究者能夠找到與我們自己的世界相似的世界，或測試某些反事實的進化軌跡在給定基質(zhì)中是否可能，從而深入了解某些生命形式的可行性。

為此，ASAL 會搜索一種模擬，該模擬會產(chǎn)生與基礎(chǔ)模型表示中的目標自然語言提示詞相匹配的圖像。研究者可以控制在每個時間步驟應(yīng)用哪個提示（如果有的話）。

開放式

人工生命的一大挑戰(zhàn)是尋找開放式模擬。找到這樣的世界才能復(fù)現(xiàn)現(xiàn)實世界中永無止境的有趣新奇事物的爆發(fā)。

盡管開放性是主觀的且難以定義，但正確表示空間的新穎性（novelty）可以體現(xiàn)開放性的一般概念。這樣一來，可將測量開放性的主觀性外包給表征函數(shù)的構(gòu)建。在本文中，視覺 - 語言基礎(chǔ)模型表征充當了人類表征的代理。

闡明

人工生命的另一個關(guān)鍵目標是自動闡明不同現(xiàn)象構(gòu)成的整個空間，而這些現(xiàn)象是從基質(zhì)涌現(xiàn)出來的。基于此，可以讓我們了解「生命的可能模樣」。因此，闡明是描繪和分類整體基質(zhì)的第一步。

為了實現(xiàn)這一目標，ASAL 會搜索一組模擬并且這些模擬產(chǎn)生的圖像與基礎(chǔ)模型表征中的最近鄰相距甚遠。該團隊發(fā)現(xiàn)最近鄰多樣性比基于方差的多樣性能實現(xiàn)更好的闡明。

實驗表明 ASAL 還真行

該團隊使用不同的基質(zhì)驗證了 ASAL 范式的有效性。

首先，他們使用的基礎(chǔ)模型包括 CLIP 和 DINOv2。基質(zhì)則如下所述:

• Boids:模擬的是 N 個「鳥狀物體（boids）」在2D 歐幾里得空間中的移動情況。所有 boids 都共享權(quán)重一樣的神經(jīng)網(wǎng)絡(luò)，其會根據(jù)局部參考系中 K 個近鄰 boids 向左或向右操縱每個 boid。該基質(zhì)是神經(jīng)網(wǎng)絡(luò)的權(quán)重空間。

• 粒子生命:模擬 N 個粒子，這些粒子又可分為 K 類;它們在一個2D 歐幾里得空間運動。該基質(zhì)是 K × K 相互作用矩陣的空間，β 參數(shù)確定了粒子之間的距離。初始狀態(tài)是隨機采樣的，粒子會自組織形成動態(tài)模式。

• 類生命的元胞自動機（CA:將康威生命游戲泛化到所有在2D 柵格中運作的二元狀態(tài)元胞自動機，其中狀態(tài)轉(zhuǎn)換僅取決于活著的 Moore 鄰居的數(shù)量和細胞的當前狀態(tài)。該基質(zhì)有2^18=262，144種可能的模擬。

• Lenia:將康威生命游戲推廣到連續(xù)空間和時間，允許更高的維度、多個核和多個通道。該團隊使用了 LeniaBreeder 代碼庫，它定義了基質(zhì)，其中動態(tài)維度為45個，初始狀態(tài)維度為32×32×3=3，072個。其搜索空間以 Bert Wang-Chak Chan2020年在論文《Lenia and expanded universe》中找到的解為中心。

• 神經(jīng)元胞自動機（NCA）:通過神經(jīng)網(wǎng)絡(luò)表示局部轉(zhuǎn)換函數(shù)來參數(shù)化任何連續(xù)元胞自動機。該基質(zhì)是神經(jīng)網(wǎng)絡(luò)的權(quán)重空間。

搜索目標模擬

其中包括單個目標和隨時間變化的目標序列。

對于單個目標，以下動圖定性地展示 ASAL 的良好效果，可以找到與指定提示詞匹配的模擬。

對于時間目標，下圖表明可以找到能產(chǎn)生遵循一系列提示詞的軌跡的模擬。通過指定所需的進化軌跡并使用約束基質(zhì)，ASAL 可以識別體現(xiàn)所需進化過程本質(zhì)的更新規(guī)則。例如，當提示詞序列為「一個細胞」然后是「兩個細胞」時，相應(yīng)的更新規(guī)則本質(zhì)上就是實現(xiàn)自我復(fù)制。

搜索開放式模擬

圖5展示了 ASAL 在類生命元胞自動機的開放式模擬中的潛力。

根據(jù)3式中的開放式指標，著名的康威生命游戲位列最開放的元胞自動機（CA）的前5%。

圖5a 表明，最開放的 CA 表現(xiàn)了處于混沌邊緣的非平凡動態(tài)模式，因為它們既沒有穩(wěn)定也沒有爆發(fā)。

圖5b 則描繪了三個 CA 在 CLIP 空間中隨模擬時間的軌跡。由于基礎(chǔ)模型的表征與人類表征相關(guān)，因此通過基礎(chǔ)模型的表征空間在軌跡中產(chǎn)生新穎性也會為人類觀察者產(chǎn)生一系列新穎性。

圖5c 則可視化了所有類生命元胞自動機，從中可以看到涌現(xiàn)出的有意義的結(jié)構(gòu):最開放的 CA 緊密地靠在模擬主島外的一個小島上。

闡明整體基質(zhì)

該團隊使用了 Lenia 和 Boids 基質(zhì)來研究公式4中的闡明算法的有效性。基礎(chǔ)模型是 CLIP 。他們定制了一個用于搜索的遺傳算法:在每一代，隨機選擇父母，創(chuàng)建變異的孩子，然后保留最多樣化的解子集。

下面的2個「Simulation Atlas」展示了生成的模擬集。

此可視化凸顯了按視覺相似性組織的行為的多樣性。使用 Lenia 時，ASAL 發(fā)現(xiàn)了許多前所未見的生命形式，這些生命形式類似于按顏色和形狀組織的細胞和細菌。使用 Boids 時，ASAL 重新發(fā)現(xiàn)了群集行為（flocking behavior），以及其他行為，例如蛇行、分組、盤旋和其它變體。

?

?

量化人工生命

基礎(chǔ)模型不僅有助于搜索有趣現(xiàn)象，而且還可以量化以前只能進行定性分析的現(xiàn)象。圖7展示了量化這些復(fù)雜系統(tǒng)的涌現(xiàn)行為的不同方法。

在圖7a 中，對兩個 Boids 模擬之間的參數(shù)進行線性插值。這個中間模擬缺乏任一模擬的特征并且顯得無序，表明了 boids 參數(shù)空間的非線性、混沌性質(zhì)。重要的是，現(xiàn)在可以通過測量中間模擬的最終狀態(tài)與兩個原始模擬的 CLIP 相似性來為這種定性觀察提供定量支持。

圖7b 則評估了粒子生命中粒子數(shù)量對其表示某些生命形式的能力的影響。在這種情況下，如果搜索「一只毛毛蟲（a caterpillar）」，則可發(fā)現(xiàn)只有在模擬中至少有1000個粒子時才能找到它們，這符合1972年的「更多即不同(more is different)」的觀察結(jié)果。

在圖7c 中，通過單獨掃描每個參數(shù)并測量 CLIP 提示詞對齊分數(shù)的結(jié)果標準偏差，量化了粒子生命中每個模擬參數(shù)的重要性。在確定最重要的參數(shù)后，便對應(yīng)上了綠色和黃色粒子之間的相互作用強度，這對于毛毛蟲的形成至關(guān)重要。

圖7d 給出了對于 Lenia 模擬，CLIP 向量隨模擬時間的變化速度。當模擬定性地看起來已成靜態(tài)時，該指標恰好穩(wěn)定，因此這可提供有用的模擬停止條件。

對于這項研究，你有什么看法呢?

參考鏈接:

https://x.com/SakanaAILabs/status/1871385917342265592

https://x.com/phillip_isola/status/1871438128172671086

（舉報）