就在剛剛，MIT物理學(xué)家用AI發(fā)現(xiàn)了物理學(xué)中的新方程。

論文地址：https://arxiv.org/abs/2405.04484

作者表示：這篇論文并沒有解決價(jià)值數(shù)百萬美元的核聚變問題，而是在更簡(jiǎn)單的設(shè)置中，引入一個(gè)有前途的概念驗(yàn)證。

偏微分方程（PDE），可以說是物理學(xué)家的面包和黃油，但它們非常罕見，人類科學(xué)家很難只用紙筆就能發(fā)現(xiàn)。

為此，研究者們推出了一個(gè)名為OptPDE的AI系統(tǒng)。

使用這個(gè)AI，就可以發(fā)現(xiàn)新的、從未見過的可積偏微分方程！

具體來說，使用了5000個(gè)隨機(jī)初始化的PDE系數(shù)值運(yùn)行OptPDE后，研究者發(fā)現(xiàn)了4個(gè)可積偏微分方程，其中是一個(gè)是已知的，而另外三個(gè)是全新的方程。

利用這種首創(chuàng)的機(jī)器學(xué)習(xí)方法，MIT的科學(xué)家們?yōu)槲锢韺W(xué)提供了一種全新的研究模式。

從此，可以由人類向系統(tǒng)提供領(lǐng)域知識(shí)，AI產(chǎn)生希望的假設(shè)，然后再由人類進(jìn)行解釋和驗(yàn)證。

這就實(shí)現(xiàn)了整個(gè)物理學(xué)發(fā)現(xiàn)的閉環(huán)。

網(wǎng)友：AI將顛覆各個(gè)科學(xué)領(lǐng)域

對(duì)于這項(xiàng)研究，網(wǎng)友們紛紛表示震撼。

「太燒腦了！如果我正確理解了他們的意思，那這個(gè)AI實(shí)在是強(qiáng)大到可怕！能夠按需生成模型庫來模擬物理系統(tǒng)，是非常巧妙的技巧，讓我們可以從AI驅(qū)動(dòng)的解決中，節(jié)省大量計(jì)算?！?/span>

「即便只在這些層面上，我們擁有的AI也能為各種科學(xué)領(lǐng)域提供新的見解和想法，它們會(huì)變得更好！」

「我只是點(diǎn)開看看是不是Max Tegmark大牛的研究，果然如此。」

這位網(wǎng)友則給出了更為專業(yè)的解釋——

從本質(zhì)上講，他們是對(duì)偏微分方程應(yīng)用了獎(jiǎng)勵(lì)函數(shù)，因?yàn)槠⒎址匠叹哂休^多的CQs，并且自然系統(tǒng)遵循定律（例如熱力學(xué)）。

由于發(fā)現(xiàn)這些偏微分方程往往非常困難，因此這項(xiàng)工作很有意義，因?yàn)樗峁┝艘粭l將加速計(jì)算的計(jì)算杠桿應(yīng)用于任務(wù)的途徑。

這為生成類似OEIS（整數(shù)序列在線百科全書）的資源提供了機(jī)會(huì)。這就允許來自任何領(lǐng)域的研究搜索這些數(shù)據(jù)庫，看看以前是否已經(jīng)解決了類似的問題，或者相關(guān)的序列或結(jié)構(gòu)是否已經(jīng)存在，而不需要從頭開始。

快速「入門」

當(dāng)PDE具有守恒量時(shí)，它們是可積的（例如，能量是質(zhì)量彈簧的一個(gè)守恒量）。

因此，研究者將OptPDE設(shè)計(jì)為一個(gè)兩部分的系統(tǒng)，它可以——

（1）計(jì)算任何PDE的守恒量（CQ）數(shù)量；

（2）找出使n_CQ最大化的偏微分方程。

下面是（1）在一些熟悉的系統(tǒng)中的實(shí)際應(yīng)用。

因?yàn)檠芯空邔ふ襫_CQ的方法是可微分的，因此要發(fā)現(xiàn)新的可積偏微分方程，只需使PDE中的項(xiàng)系數(shù)可訓(xùn)練，并通過SGD最大化n_CQ即可。

他們以從u_x => u_xxx^3的項(xiàng)為基礎(chǔ)，運(yùn)行了5000次。

下面是解決方案的3D PCA——

研究者發(fā)現(xiàn)，他們得到大多數(shù)解，都是4個(gè)偏微分方程家族的線性組合，其中一個(gè)是KdV方程的一種形式，還有3個(gè)方程完全是新增的，在文獻(xiàn)中并沒有記載！

由此，研究者確認(rèn)，這些新出現(xiàn)的可積偏微分方程中，至少具有一個(gè)守恒量。

也就是，在AI的幫助下，人類科學(xué)家發(fā)現(xiàn)了一些全新的可積偏微分方程！

不過，如果想解釋和分析這些發(fā)現(xiàn)，還是要靠人類科學(xué)家。

研究者仔細(xì)分析了以下紅色偏微分方程的簡(jiǎn)化版本（u_t=u_x^3），發(fā)現(xiàn)它表現(xiàn)出斷裂、無限的CQ，而冪律衰減為了三角波。

從此，物理學(xué)家非常有希望使用OptPDE，來發(fā)現(xiàn)更多新穎的可積偏微分方程，來模擬物理學(xué)中的復(fù)雜現(xiàn)象。

不過，OptPDE要求AI和人類科學(xué)家協(xié)同工作，作者呼吁：如果這種范式能被物理學(xué)界接受，物理學(xué)家很可能用現(xiàn)代AI工具做出以前更多新發(fā)現(xiàn)。

可積系統(tǒng)：極其罕見，難以發(fā)現(xiàn)

可積系統(tǒng)在物理學(xué)和工程系中發(fā)揮著重要作用，因?yàn)橐子谔幚?、可預(yù)測(cè)、可控。

然而，它們極其罕見，難以發(fā)現(xiàn)。

傳統(tǒng)中發(fā)現(xiàn)可積系統(tǒng)的方法是靠紙筆，它側(cè)重于符號(hào)推到，還需要考慮到可能系統(tǒng)和守恒量（CQ）的指數(shù)級(jí)大搜索空間，效率極低。

由此，MIT的物理學(xué)家想到：AI可以做什么嗎？

為此，他們引入了一個(gè)可積系統(tǒng)發(fā)現(xiàn)解決方案OptPDE。

此前，已經(jīng)有許多工作使用極其學(xué)習(xí)從物理數(shù)據(jù)和微分方程中發(fā)現(xiàn)守恒量，但MIT研究者的方法，對(duì)于偏微分方程來說是最可解釋的。

更重要的是，此前的方法并不能主動(dòng)優(yōu)化和設(shè)計(jì)偏微分方程。

然而，這個(gè)AI可以做到！

雖然過去機(jī)器學(xué)習(xí)方法已經(jīng)被用來發(fā)現(xiàn)守恒量，但這項(xiàng)工作第一次提出——

通過驗(yàn)證和解釋可集成系統(tǒng)，AI和人類科學(xué)家可以協(xié)同工作。

論文方法

研究者是通過以下階段構(gòu)建這個(gè)方法的。

1.CQFinder——查找PDE的守恒量。

2.OptPDE——使用CQFinder中的，來發(fā)現(xiàn)可積PDE。

圖1說明了整個(gè)流程。不過需要注意的是，這個(gè)流程需要人類科學(xué)家通過輸入CQ和PDE基礎(chǔ)，和AI協(xié)同工作，這就需要對(duì)該領(lǐng)域知識(shí)的掌握。

OptPDE的可視化管線。給定PDE的項(xiàng)基礎(chǔ)，OptPDE就會(huì)優(yōu)化系數(shù)，從而最大化PDE的守恒量(CQ) 數(shù)量。起初，u會(huì)衰減并且不守恒，但OptPDE會(huì)通過將擴(kuò)散項(xiàng)歸零，來發(fā)現(xiàn)使u更加守恒的系數(shù)。這個(gè)可視化示例很簡(jiǎn)單，但鑒于廣泛的PDE基礎(chǔ)，OptPDE可以幫助人類科學(xué)家發(fā)現(xiàn)新穎的可積系統(tǒng)

為了構(gòu)建OptPDE，必須首先設(shè)計(jì)CQFinder，來準(zhǔn)確計(jì)算任何PDE的CQ。

具體來說，需要一個(gè)具有空間變量x的時(shí)間一階偏微分方程，其形式為。

其中，是u及其空間導(dǎo)數(shù)的集合，且具有自由邊界條件。

研究者需要考慮形式為的守恒量。

對(duì)于一個(gè)CQ量，它必須在u的整個(gè)時(shí)間演化過程中保持恒定。

可以將CQ的時(shí)間不變性表示為：

其中，。

雖然這個(gè)方程看起來很復(fù)雜，但只要考慮一個(gè)簡(jiǎn)單的設(shè)定就可以了，其中h(u′) 是k個(gè)預(yù)定義基函數(shù)的線性組合，即。

在這里，研究者需要處理兩個(gè)無窮大。

1. 理論上，線性方程對(duì)于任何光滑的u都必須成立；在實(shí)踐中，就可以測(cè)試方程是否可以近似這個(gè)無限的函數(shù)集。

2. 理論上積分是在(-∞,∞)上進(jìn)行的；在實(shí)踐中，就需要用有限范圍來近似它(在范圍之外將u強(qiáng)制為零)。

研究者希望，在CQFinder中創(chuàng)建子流程，從而進(jìn)行稀疏化和識(shí)別簡(jiǎn)單解決方案，因?yàn)樗鼈兏菀妆蝗祟惪茖W(xué)家解釋。

具體來說，研究者需要將PDE參數(shù)化為預(yù)定義PDE的線性組合，。

CQFinder采用固定的PDE，并輸出其守恒量的數(shù)量。

由于CQFinder是用PyTorch編寫的，因此它原則上是可微分的，因此，研究者就可以通過自動(dòng)微分，來識(shí)別PDE系數(shù)中的哪些擾動(dòng)會(huì)增加CQ。

然而，可微性的最大挑戰(zhàn)是守恒量本質(zhì)上是離散的（比如，偏微分方程可以具有3或4個(gè)守恒量，而非3.7個(gè)）。

為了反向傳播優(yōu)化系數(shù)， 目標(biāo)函數(shù)就必須是可微的。

為了解決這個(gè)問題，研究者使用sigmoid函數(shù)引入了的平滑版本。

論文結(jié)果

CQFinder基準(zhǔn)測(cè)試

為了驗(yàn)證CQFinder是否如大家設(shè)想的那樣可以工作，研究者在Burgers、Korteweg-DeVries(Kd)和薛定諤方程三個(gè)測(cè)試系統(tǒng)上運(yùn)行了它。

圖2顯示，奇異值曲線顯示出從小到大的急劇相變，從而可以清楚地區(qū)分消失值和非消失值。

這就證明了，CQFinder不僅可以正確計(jì)算守恒量的數(shù)量，而且還可以獲得它們的符號(hào)公式。

AI發(fā)現(xiàn)了三種新穎的可積系統(tǒng)

研究者發(fā)現(xiàn)，通過使用Opt-PDE最大化守恒量，來定位OptPDE的流形，就可以發(fā)現(xiàn)全新的可積系統(tǒng)。

一般選擇PDE為單個(gè)方程，其中，p是最多3次的多項(xiàng)式。

在實(shí)踐中，研究者對(duì)系數(shù)使用廣義球坐標(biāo)，自然地強(qiáng)制歸一化。

在OptPDE中，研究者使用A=0，B=1000，epochs=25000，學(xué)習(xí)率為10^-3，余弦退火，Tmax=5000。

研究者運(yùn)行OptPDE，為其余33個(gè)參數(shù)隨機(jī)選擇5000個(gè)初始化位置。

然后，研究者使用3D PCA可視化返回的參數(shù)值，來分析OptPDE的結(jié)果，如圖3所示。

可以看到，解的流形結(jié)構(gòu)非常有趣：兩側(cè)有兩個(gè)極點(diǎn)，環(huán)狀的解位于中間。

兩個(gè)極點(diǎn)代表，它是可積KdV方程的簡(jiǎn)化形式，而環(huán)狀的解就更為復(fù)雜了。

在這些環(huán)狀的解中，研究者進(jìn)行了插值。

然后，他們找到了作為環(huán)狀子空間基礎(chǔ)的三個(gè)偏微分方程組，如圖3所示。

守恒量可以顯示出，這三個(gè)偏微分方程中的每一個(gè)都是新的，且本質(zhì)上都是有趣的。（如附錄I所示）

研究者將重點(diǎn)放在了下面這個(gè)偏微分方程上，因?yàn)樗男问胶芫o湊——

研究者在該方程的a=1情況下，運(yùn)行了CQFinder，發(fā)現(xiàn)它有一個(gè)非平凡的CQ——經(jīng)過一系列冗長(zhǎng)的代數(shù)操作，研究者從數(shù)值和符號(hào)上驗(yàn)證了，確實(shí)是的CQ。

到這里，研究者可以確信：OptPDE發(fā)現(xiàn)了一個(gè)新的偏微分方程家族，它們承認(rèn)有趣的守恒量——。

人類責(zé)任：對(duì)AI的發(fā)現(xiàn)進(jìn)行解釋

而到這里，MIT的研究者們表示，接下來人類就要扛起責(zé)任了！

人類科學(xué)家需要做的，就是采用AI發(fā)現(xiàn)的偏微分方程家族，并對(duì)其進(jìn)行解釋。

在論文中，研究者僅限于分析a?1的情況，使得

這種特殊情況代表了一個(gè)真正的可積系統(tǒng)，并且具有無限數(shù)量的CQ。也即對(duì)于所有n都是守恒的。

在Mathematica中，研究者繪制了具有高斯和正弦初始條件的偏微分方程的演化，如下圖所示。

從視覺上看，演化似乎是一種波，在break time后就退化為了一種線性分量，此時(shí)，波在某一點(diǎn)就變得不可微分。

研究者推導(dǎo)了break time的符號(hào)形式，并為方程式在break time后的行為，創(chuàng)建了一個(gè)現(xiàn)象學(xué)模型。

Break Time

研究者注意到，通過對(duì)x的兩邊進(jìn)行積分，可以使公式4類似于Burgers公式。

利用特征方程，就可以追蹤出恒定u的路徑，并找到兩個(gè)特征相交的最早時(shí)間。

最終可以得出，Break Time為，這與研究者在附錄L中的模擬結(jié)果大致吻合。

現(xiàn)象學(xué)模型

為了理解波break后的行為，研究者希望建立一個(gè)現(xiàn)象學(xué)模型，來解釋波接近三角波時(shí)的動(dòng)態(tài)。

對(duì)此，研究者進(jìn)行了以下推導(dǎo)。

其中一個(gè)特殊情況就是a=1，當(dāng)曲線沿高度均勻收縮時(shí)，就得到了，這就和正弦波的情況相吻合。

對(duì)其他解的物理理解

從圖3可以看出，研究者所得到的解是高階和非線性的，其立方項(xiàng)由三階導(dǎo)數(shù)組成。

要運(yùn)用物理學(xué)的直覺來處理這些問題，可能會(huì)令人生畏，但研究者注意到，三階導(dǎo)數(shù)出現(xiàn)了在 KdV方程中，或者說，如果推導(dǎo)出具有穩(wěn)定度和其他阻力的弦的波動(dòng)方程，也會(huì)出現(xiàn)三階導(dǎo)數(shù)。

非線性多項(xiàng)式方程在物理學(xué)中并不多見，但確實(shí)存在，比如高速運(yùn)動(dòng)時(shí)的空氣阻力公式。

因此，復(fù)雜微分方程在物理現(xiàn)象建模中，是非常有用的。

至于其他結(jié)果，研究者表示，希望其他科學(xué)家也參與進(jìn)來共同解釋它們。

總之，通過MIT研究者引入的這種人類科學(xué)家和AI協(xié)作的范式，很可能激勵(lì)人類物理學(xué)家為物理學(xué)做出新的發(fā)現(xiàn)！

作者介紹

Subhash Kantamneni

Subhash Kantamneni目前在MIT攻讀物理和計(jì)算機(jī)科學(xué)本科。

他在研究實(shí)驗(yàn)室、高科技創(chuàng)業(yè)公司以及對(duì)沖基金等多樣化的工作環(huán)境中積累了豐富經(jīng)驗(yàn)。