隨著任務(wù)數(shù)量的增加，使用當(dāng)前計算方法來構(gòu)建通用的日常機器人的成本變得過高，人們正在快速尋求一種解決辦法。我們都希望通用機器人可以執(zhí)行一系列復(fù)雜的任務(wù)，例如清潔，維護(hù)和交付

你的「高等數(shù)學(xué)」還好嗎？

微分方程是數(shù)學(xué)中重要的一課。所謂微分方程，就是含有未知函數(shù)的導(dǎo)數(shù)。一般凡是表示未知函數(shù)、未知函數(shù)的導(dǎo)數(shù)與自變量之間關(guān)系的方程，就叫做微分方程。

如果未知函數(shù)是一元函數(shù)的，就叫做常微分方程；

如果未知函數(shù)是多元的，就叫做偏微分方程。

偏微分方程擁有廣泛的應(yīng)用場景，模擬客機在空中的飛行姿勢，地震波在地球上的仿真，傳染病在人群中擴(kuò)散的過程，研究基本力和粒子之間的相互作用等場景，工程師、科學(xué)家和數(shù)學(xué)家們都訴諸于偏微分方程來描述涉及許多獨立變量的復(fù)雜現(xiàn)象。

然而，偏微分方程的求解過程卻是異常艱難的，尤其對于計算機來說，只能以最笨拙的方法去求解。

對于特別復(fù)雜的偏微分方程，可能需要數(shù)百萬個CPU小時才能求解出來一個結(jié)果。隨著問題越來越復(fù)雜，從設(shè)計更優(yōu)秀的火箭發(fā)動機到模擬氣候變化，科學(xué)家們需要一個更「聰明」的求解方法。

或許，可以試試神經(jīng)網(wǎng)絡(luò)？

最近，研究人員通過神經(jīng)網(wǎng)絡(luò)實驗證明了它可以比傳統(tǒng)的偏微分方程求解器更快地求出近似解。

更牛的是，經(jīng)過訓(xùn)練的網(wǎng)絡(luò)，無需再次訓(xùn)練就可以解決一類偏微分方程。

通常，神經(jīng)網(wǎng)絡(luò)將數(shù)據(jù)從一個有限維空間（例如，圖像的像素值）映射或轉(zhuǎn)換為另一個有限維空間（例如，將圖像分類的數(shù)字，例如1代表貓，2代表狗）。

求解偏微分方程的神經(jīng)網(wǎng)絡(luò)從無窮大的空間映射到無窮大的空間。

偏微分方程的用處和他們的復(fù)雜性相伴而生，例如，我們想要觀察空氣在飛機機翼附近的流動二維透視圖，建模人員想知道流體在空間中任何一點（也稱為流場）以及在不同時間的速度和壓力的話，就需要用到偏微分方程。

考慮到能量、質(zhì)量和動量守恒定律，特定的偏微分方程，即Navier-Stokes方程可以對這種流體流動進(jìn)行建模。

在這種情況下，解決方案可能是一個特定公式，可以讓開發(fā)人員在不同時間計算流場的狀態(tài)。

偏微分方程常常是很復(fù)雜的，以至于無法提供通用的分析解決方案。對于Navier-Stokes方程的最通用形式尤其如此：數(shù)學(xué)家尚未證明是否存在唯一解，更不用說實際地通過分析找到它們了。

在這些情況下，建模者會轉(zhuǎn)向數(shù)值方法，將偏微分方程轉(zhuǎn)換為一組易于處理的代數(shù)方程，假定這些方程可保持很小的空間和時間增量。

在超級計算機上，用數(shù)值方式解決復(fù)雜的偏微分方程可能要花費數(shù)月的時間。

而且，如果初始條件或邊界條件或所研究系統(tǒng)的幾何形狀（例如機翼設(shè)計）發(fā)生了變化，就必須重新開始求解。同樣，使用的增量越?。ㄈ缪芯咳藛T所說，網(wǎng)格越細(xì)），模型的精度越高，數(shù)值求解所需的時間就越長。

神經(jīng)網(wǎng)絡(luò)更擅長擬合這樣一個黑盒的未知函數(shù)，輸入是一個向量，而輸出是另一個向量。如果存在將一組輸入向量映射到一組輸出向量的函數(shù)，則可以訓(xùn)練網(wǎng)絡(luò)以學(xué)習(xí)該映射，兩個有限維空間之間的任何函數(shù)都可以通過神經(jīng)網(wǎng)絡(luò)近似。

2016年，研究人員研究了如何將通常用于圖像識別的深度神經(jīng)網(wǎng)絡(luò)用于解決偏微分方程。首先，研究人員生成了用于訓(xùn)練網(wǎng)絡(luò)的數(shù)據(jù)：一個數(shù)值求解器計算了流過xy且大小和方向不同的基本形狀（三角形，四邊形等）的簡單對象上流動的流體的速度場。2D圖像編碼有關(guān)對象幾何形狀和流體初始條件的信息作為輸入，而相應(yīng)速度場的2D快照作為輸出。

從無限空間映射到無限空間

相比2016年的工作，這次的研究更有飛躍性的意義，該網(wǎng)絡(luò)不僅可以學(xué)習(xí)如何近似函數(shù)，還可以學(xué)習(xí)將函數(shù)映射到函數(shù)的「運算符」，而且沒有「維度爆炸」的困擾。例如，如果其他神經(jīng)網(wǎng)絡(luò)或機器學(xué)習(xí)算法，希望錯誤率從10％下降到1％，則所需的訓(xùn)練數(shù)據(jù)量或網(wǎng)絡(luò)規(guī)模可能會成倍爆炸，從而使任務(wù)無法實現(xiàn)。

在數(shù)學(xué)上，操作符的輸入輸出是沒有限制的，例如正弦函數(shù)sin(x)，輸入和輸出端是無窮維的，因為x可以是任何值，函數(shù)可以是作用于x的任何變換。

學(xué)習(xí)近似算子的深度學(xué)習(xí)網(wǎng)絡(luò)可用于一次求解所有相似的偏微分方程，并針對一系列初始條件和邊界條件以及物理參數(shù)對相同現(xiàn)象進(jìn)行建模。

1995年由工作表明，淺層網(wǎng)絡(luò)可以近似操作符算子。由于引入了神經(jīng)網(wǎng)絡(luò)，所以此類算子稱為神經(jīng)算子，即實際算子的近似值。

2019年，研究人員提出DeepONet，基于1995年的工作。它的的獨特之處在于它的分叉架構(gòu)，該架構(gòu)在兩個并行網(wǎng)絡(luò)（一個分支和一個主干）中處理數(shù)據(jù)。前者在輸入端學(xué)習(xí)一些函數(shù)的近似值，而后者在輸出端學(xué)習(xí)相同的函數(shù)。

DeepONet將兩個網(wǎng)絡(luò)的輸出合并，以了解偏微分方程所需的運算符。訓(xùn)練DeepONet并在每次迭代中調(diào)整分支網(wǎng)絡(luò)和主干網(wǎng)絡(luò)中的權(quán)重，直到整個網(wǎng)絡(luò)幾乎沒有出現(xiàn)誤差允許范圍外的錯誤為止。

DeepONet一旦訓(xùn)練后，就可以模擬操作符，可以在輸入端獲取代表偏微分方程的數(shù)據(jù)，其輸出為網(wǎng)絡(luò)訓(xùn)練得到的近似解。

假設(shè)您提供了100個樣本，這些樣本代表了訓(xùn)練數(shù)據(jù)中沒有的初始/邊界條件和物理參數(shù)，以及需要流場的位置，DeepONet可以在幾分之一秒內(nèi)為您提供流場的狀態(tài)。

但，DeepONet的訓(xùn)練過程仍然需要消耗大量算力，并且如何提升精確度，以及縮小步長產(chǎn)生更大的計算，也是一個問題。還能更快嗎？

改變觀點

去年，加州理工學(xué)院和普渡大學(xué)的Anandkumar及其同事建立了一個稱為傅立葉神經(jīng)算子（FNO）的深度神經(jīng)網(wǎng)絡(luò)，他們聲稱這種神經(jīng)網(wǎng)絡(luò)具有更快的速度。

他們的網(wǎng)絡(luò)還將函數(shù)映射到函數(shù)，從無窮維空間到無窮維空間，并且他們在偏微分方程上測試了它們的神經(jīng)網(wǎng)絡(luò)。

他們解決方案的核心是一個傅立葉層。

在他們將訓(xùn)練數(shù)據(jù)推過神經(jīng)網(wǎng)絡(luò)的單層之前，他們先對其進(jìn)行了傅里葉變換。然后，當(dāng)圖層通過線性運算處理了該數(shù)據(jù)時，他們將執(zhí)行傅立葉逆變換，將其轉(zhuǎn)換回原始格式，此轉(zhuǎn)換是著名的傅里葉變換，它將連續(xù)函數(shù)分解為多個正弦函數(shù)。

整個神經(jīng)網(wǎng)絡(luò)由幾個傅立葉層組成。

事實證明，此過程比DeepONet的計算更直接，并且類似于通過執(zhí)行稱為PDE與某些其他函數(shù)之間的卷積的繁瑣數(shù)學(xué)運算來求解PDE。

在傅立葉域中，卷積涉及一個簡單的乘法，相當(dāng)于將經(jīng)過傅立葉變換的數(shù)據(jù)通過一層人工神經(jīng)元（在訓(xùn)練過程中獲得的精確權(quán)重），然后進(jìn)行傅立葉逆變換。

因此，最終結(jié)果還是FNO學(xué)習(xí)了整個偏微分方程的操作符，將函數(shù)映射到函數(shù)。

這種方法顯著提升了求解速度。

在一個相對簡單的示例中，僅需要進(jìn)行30,000次仿真，就能求出之前提到的Navier-Stokes方程的解，對于每個仿真，F(xiàn)NO花費了幾分之一秒的時間，而DeepONet為2.5秒。同樣的精度，傳統(tǒng)的求解器將花費18個小時。

數(shù)學(xué)意義

兩種團(tuán)隊的方法都被證明是成功的，但是與廣泛使用神經(jīng)網(wǎng)絡(luò)一樣，目前尚不清楚它們?yōu)槭裁慈绱顺錾约笆欠裨谒星闆r下都能如此。Mishra和他的同事現(xiàn)在正在對這兩種方法進(jìn)行全面的數(shù)學(xué)理解。

經(jīng)過一年的努力，在2月份，Mishra的團(tuán)隊在Karniadakis的幫助下，對DeepONet架構(gòu)進(jìn)行了長達(dá)112頁的數(shù)學(xué)分析。他們證明了這種方法是真正通用的，因為它可以將輸入端的任何函數(shù)集映射到輸出端的任何函數(shù)集，而不僅僅是PDE，而不必為深入了解Karniadakis定理而做出某些假設(shè)網(wǎng)及其1995年的前身。

該團(tuán)隊尚未完成分析FNO的論文，但是Mishra認(rèn)為它可以比DeepONet更有效地解決某些特定問題。他的團(tuán)隊正在對FNO進(jìn)行詳細(xì)的分析，其中包括與DeepONet的比較。

但是，很明顯的是，這兩種方法都會超越傳統(tǒng)的求解器。對于一些無法寫出偏微分方程的場景中，神經(jīng)算子可能是建模此類系統(tǒng)的唯一方法。

這是科學(xué)機器學(xué)習(xí)的未來。