作為今年 AI 圈的頂流，大型語(yǔ)言模型（LLM）擅長(zhǎng)的是組合概念，并且可以通過(guò)閱讀、理解、寫(xiě)作和編碼來(lái)幫助人們解決問(wèn)題。但它們能發(fā)現(xiàn)全新的知識(shí)嗎？

由于 LLM 已被證明存在「幻覺(jué)」問(wèn)題，即生成與事實(shí)不符的信息，因此利用 LLM 來(lái)做可驗(yàn)證的正確發(fā)現(xiàn)是一項(xiàng)挑戰(zhàn)。

現(xiàn)在，來(lái)自 Google DeepMind 的研究團(tuán)隊(duì)提出了一種為數(shù)學(xué)和計(jì)算機(jī)科學(xué)問(wèn)題搜索解決方案的新方法 ——FunSearch。FunSearch 的工作原理是將預(yù)訓(xùn)練的 LLM（以計(jì)算機(jī)代碼的形式提供創(chuàng)造性解決方案）與自動(dòng)「評(píng)估器」配對(duì)，以防止產(chǎn)生幻覺(jué)和錯(cuò)誤思路。通過(guò)在這兩個(gè)組件之間來(lái)回迭代，最初的解決方案演變成了「新的知識(shí)」。相關(guān)論文發(fā)表在《自然》雜志上。

論文地址：https://www.nature.com/articles/s41586-023-06924-6

這項(xiàng)工作是首次利用 LLM 在科學(xué)或數(shù)學(xué)的挑戰(zhàn)性開(kāi)放問(wèn)題方面取得新發(fā)現(xiàn)。

FunSearch 發(fā)現(xiàn)了 cap set 問(wèn)題的全新解決方案，這是數(shù)學(xué)中一個(gè)長(zhǎng)期存在的開(kāi)放問(wèn)題。此外，為了展示 FunSearch 的實(shí)際用途，DeepMind 還用它來(lái)發(fā)現(xiàn)更有效的算法來(lái)解決「裝箱」問(wèn)題，該問(wèn)題應(yīng)用廣泛，比如可以用于提高數(shù)據(jù)中心的效率。

研究團(tuán)隊(duì)認(rèn)為 FunSearch 將成為一個(gè)特別強(qiáng)大的科學(xué)工具，因?yàn)樗敵龅某绦蚪沂玖似浣鉀Q方案是如何構(gòu)建的，而不僅僅是解決方案是什么。這將會(huì)激發(fā)科學(xué)家的進(jìn)一步見(jiàn)解，從而形成科學(xué)改進(jìn)與發(fā)現(xiàn)的良性循環(huán)。

通過(guò)語(yǔ)言模型的進(jìn)化推動(dòng)發(fā)現(xiàn)

FunSearch 采用由 LLM 支持的進(jìn)化方法，鼓勵(lì)并推動(dòng)得分最高的思路想法。這些想法被表達(dá)成計(jì)算機(jī)程序，以便它們可以自動(dòng)運(yùn)行和評(píng)估。

首先，用戶(hù)需要以代碼的形式編寫(xiě)問(wèn)題的描述。該描述包括評(píng)估程序的過(guò)程和用于初始化程序池的種子程序。

FunSearch 是一個(gè)迭代過(guò)程，在每次迭代中，系統(tǒng)都會(huì)從當(dāng)前的程序池中選擇一些程序，并將其饋送到 LLM。LLM 創(chuàng)造性地在此基礎(chǔ)上進(jìn)行構(gòu)建，生成新的程序，并自動(dòng)進(jìn)行評(píng)估。最好的程序?qū)⒈惶砑踊噩F(xiàn)有程序庫(kù)中，從而創(chuàng)建一個(gè)自我改進(jìn)的循環(huán)。FunSearch 使用 Google 的 PaLM 2，但對(duì)其他接受過(guò)代碼訓(xùn)練的方法兼容。

LLM 會(huì)從程序數(shù)據(jù)庫(kù)中檢索出生成的最佳程序，并被要求生成一個(gè)更好的程序。

眾所周知，在不同領(lǐng)域發(fā)現(xiàn)新的數(shù)學(xué)知識(shí)和算法是一項(xiàng)艱巨的任務(wù)，很大程度上超出了當(dāng)前最先進(jìn)人工智能系統(tǒng)的能力。為了讓 FunSearch 做到這一點(diǎn)，該研究引入了多個(gè)關(guān)鍵組件。FunSearch 不是從頭開(kāi)始，而是從關(guān)于問(wèn)題的常識(shí)開(kāi)始一個(gè)進(jìn)化過(guò)程，讓 FunSearch 專(zhuān)注于尋找最關(guān)鍵的想法以獲得新的發(fā)現(xiàn)。

此外，F(xiàn)unSearch 的進(jìn)化過(guò)程使用一種策略來(lái)提高想法的多樣性，以避免出現(xiàn)停滯情況。最后，為了提高系統(tǒng)效率，進(jìn)化過(guò)程是并行運(yùn)行的。

在數(shù)學(xué)領(lǐng)域開(kāi)辟新天地

DeepMind 表示，他們首先要解決的是 Cap set 問(wèn)題，這是一個(gè)開(kāi)放性難題，幾十年來(lái)一直困擾著多個(gè)研究領(lǐng)域的數(shù)學(xué)家。知名數(shù)學(xué)家陶哲軒曾把它描述為自己最喜歡的開(kāi)放性問(wèn)題。DeepMind 選擇與威斯康星大學(xué)麥迪遜分校的數(shù)學(xué)教授 Jordan Ellenberg 合作，他是 Cap set 問(wèn)題的重要突破者。

這個(gè)問(wèn)題包括在一個(gè)高維網(wǎng)格中找到最大的點(diǎn)集（稱(chēng)為 cap set），其中沒(méi)有三個(gè)點(diǎn)位于一條直線(xiàn)上。這個(gè)問(wèn)題之所以重要，是因?yàn)樗梢宰鳛闃O值組合學(xué)中其他問(wèn)題的模型。極值組合學(xué)研究的是數(shù)字、圖或其他對(duì)象的集合可能有多大或多小。暴力解除方法無(wú)法解決這個(gè)問(wèn)題 —— 要考慮的可能性數(shù)量很快就會(huì)超過(guò)宇宙中原子的數(shù)量。

FunSearch 以程序形式生成的解決方案在某些情況下發(fā)現(xiàn)了有史以來(lái)最大的 cap set。這代表了過(guò)去 20 年中 cap set 規(guī)模的最大增長(zhǎng)。此外，F(xiàn)unSearch 的性能超過(guò)了最先進(jìn)的計(jì)算求解器，因?yàn)檫@個(gè)問(wèn)題的規(guī)模遠(yuǎn)遠(yuǎn)超出了它們目前的能力。

交互式圖表顯示了從種子程序（上）到新的高分函數(shù)（下）的演變。每個(gè)圓圈都代表一個(gè)程序，其大小與分配給它的分?jǐn)?shù)成正比。圖中僅顯示底部程序的上級(jí)。FunSearch 為每個(gè)節(jié)點(diǎn)生成的相應(yīng)函數(shù)如右側(cè)所示。

這些結(jié)果表明，F(xiàn)unSearch 技術(shù)可以讓人類(lèi)超越困難組合問(wèn)題的既定結(jié)果，而在這些問(wèn)題上很難建立直覺(jué)。DeepMind 期望這種方法能夠在組合學(xué)中類(lèi)似理論問(wèn)題的新發(fā)現(xiàn)中發(fā)揮作用，并在未來(lái)為通信理論等領(lǐng)域帶來(lái)新的可能性。

FunSearch 偏好簡(jiǎn)潔、可由人類(lèi)理解的程序

盡管發(fā)現(xiàn)新的數(shù)學(xué)知識(shí)本身意義重大，但與傳統(tǒng)的計(jì)算機(jī)搜索技術(shù)相比，F(xiàn)unSearch 方法還展現(xiàn)出了其他的優(yōu)勢(shì)。這是因?yàn)?，F(xiàn)unSearch 并不是一個(gè)只會(huì)生成問(wèn)題解決方案的黑箱。相反，它生成的程序會(huì)描述出這些解決方案是如何得出的。這種「show-your-working」通常是科學(xué)家的工作方式，他們通過(guò)闡述產(chǎn)生新發(fā)現(xiàn)或新現(xiàn)象的過(guò)程來(lái)解釋這些發(fā)現(xiàn)或現(xiàn)象。

FunSearch 更傾向于尋找高度緊湊的程序所代表的解決方案，即具有較低 Kolmogorov 復(fù)雜度的解決方案（Kolmogorov 復(fù)雜度是輸出解的最短計(jì)算機(jī)程序的長(zhǎng)度）。簡(jiǎn)短的程序可以描述非常大的對(duì)象，從而使 FunSearch 能夠擴(kuò)展到非常復(fù)雜的問(wèn)題。此外，這也讓研究人員更容易理解 FunSearch 的程序輸出。Ellenberg 說(shuō)：「FunSearch 為制定打擊策略提供了一種全新的機(jī)制。FunSearch 生成的解決方案在概念上要比單純的數(shù)字列表豐富得多。當(dāng)我研究它們時(shí)，我學(xué)到了一些東西?！?/span>

更重要的是，F(xiàn)unSearch 程序的這種可解釋性可以為研究人員提供可操作的見(jiàn)解。例如，DeepMind 在使用 FunSearch 的過(guò)程中注意到，它的一些高分輸出的代碼中存在耐人尋味的對(duì)稱(chēng)性。這讓 DeepMind 對(duì)問(wèn)題有了新的認(rèn)識(shí)，他們利用這種認(rèn)識(shí)改進(jìn)了引入 FunSearch 的問(wèn)題，從而找到了更好的解決方案。DeepMind 認(rèn)為，這是人類(lèi)與 FunSearch 在數(shù)學(xué)領(lǐng)域的許多問(wèn)題上進(jìn)行合作的典范。

左圖：通過(guò)檢查 FunSearch 生成的代碼，DeepMind 獲得了更多可操作的見(jiàn)解（高亮部分）。右圖：使用（更短的）左圖程序構(gòu)造的原始「可接受」集合。

解決一個(gè)眾所周知的計(jì)算難題

在理論 cap set 問(wèn)題取得成功的鼓舞下，DeepMind 決定將 FunSearch 應(yīng)用于計(jì)算機(jī)科學(xué)中一個(gè)重要的實(shí)際挑戰(zhàn) —— 裝箱問(wèn)題（bin packing），以探索它的靈活性。裝箱問(wèn)題關(guān)注的是如何將不同尺寸的物品打包到最少數(shù)量的箱子中。它是許多現(xiàn)實(shí)世界問(wèn)題的核心，從裝載物品的集裝箱到數(shù)據(jù)中心的計(jì)算工作分配，這些場(chǎng)景都需要最大限度地降低成本。

在線(xiàn)裝箱問(wèn)題通常使用基于人類(lèi)經(jīng)驗(yàn)的算法規(guī)則（啟發(fā)式）來(lái)解決。但是，要為每種特定情況（大小、時(shí)間或容量各不相同）找到一套規(guī)則是非常具有挑戰(zhàn)性的。盡管與 cap set 問(wèn)題非常不同，但為這個(gè)問(wèn)題設(shè)置 FunSearch 很容易。FunSearch 提供了一個(gè)自動(dòng)定制的程序（適應(yīng)數(shù)據(jù)的具體情況），優(yōu)于現(xiàn)有的啟發(fā)式方法 —— 可以使用更少的箱子來(lái)打包相同數(shù)量的物品。

使用現(xiàn)有啟發(fā)式 ——Best-fit 啟發(fā)式（左）和 FunSearch 發(fā)現(xiàn)的啟發(fā)式（右）進(jìn)行裝箱的示例。

像在線(xiàn)裝箱這樣的復(fù)雜組合問(wèn)題可以使用其他人工智能方法來(lái)解決，比如神經(jīng)網(wǎng)絡(luò)和強(qiáng)化學(xué)習(xí)。這些方法也被證明是有效的，但也可能需要大量的資源來(lái)部署。另一方面，F(xiàn)unSearch 輸出的代碼易于檢查和部署，這意味著它的解決方案有可能被應(yīng)用到各種現(xiàn)實(shí)工業(yè)系統(tǒng)中，從而迅速帶來(lái)效益。

DeepMind：用大模型應(yīng)對(duì)科學(xué)挑戰(zhàn)將成普遍做法

FunSearch 證明，如果能防止 LLM 產(chǎn)生幻覺(jué)，那么這些模型的力量不僅可以用來(lái)產(chǎn)生新的數(shù)學(xué)發(fā)現(xiàn)，還可以用來(lái)揭示重要現(xiàn)實(shí)問(wèn)題的潛在解決方案。

DeepMind 認(rèn)為，對(duì)于科學(xué)和工業(yè)領(lǐng)域的許多問(wèn)題 —— 無(wú)論是長(zhǎng)期存在的問(wèn)題還是新問(wèn)題 —— 使用 LLM 驅(qū)動(dòng)的方法生成有效和量身定制的算法將成為普遍做法。

其實(shí)，這僅僅是一個(gè)開(kāi)始。隨著 LLM 不斷取得進(jìn)展，F(xiàn)unSearch 也將不斷完善。DeepMind 表示，他們還將努力擴(kuò)展其功能，以應(yīng)對(duì)社會(huì)上各種緊迫的科學(xué)和工程挑戰(zhàn)。