人大高瓴人工智能學(xué)院孫浩團隊Nature子刊發(fā)文：AI走進工程應(yīng)用，數(shù)據(jù)驅(qū)動多學(xué)科復(fù)雜系統(tǒng)
眾所周知，大到宇宙天體運動、大氣動力演化，小到細胞群、分子運動，復(fù)雜物理系統(tǒng)都滿足著某種特定的規(guī)律。
作為精美的科學(xué)符號語言，數(shù)學(xué)方程可以用于準確描述這些復(fù)雜的現(xiàn)象，如開普勒行星運動定律、牛頓運動定律和納維葉—斯托克斯方程（Navier-Stokes equations）等，它們都可以用一系列經(jīng)典的微分方程來表達。
然而，在實際應(yīng)用中，不少測量數(shù)據(jù)具有 “小樣本、高維度、稀疏、噪聲大” 等特征，這導(dǎo)致現(xiàn)有的提取偏微分方程的方法不再適用。
為此，中國人民大學(xué)高瓴人工智能學(xué)院長聘副教授孫浩帶領(lǐng)其團隊提出了一種新穎的“物理驅(qū)動深度學(xué)習(xí)+稀疏回歸”（Physics-informed Neural Network with Sparse Regression，簡稱 PINN-SR）方法。該方法基于 “小樣本稀疏噪聲”測量數(shù)據(jù)，可準確提取出復(fù)雜系統(tǒng)的控制方程，這種控制方程又被稱為時空偏微分方程簡明解析式。
相關(guān)論文以《從稀缺數(shù)據(jù)中學(xué)習(xí)控制方程的物理學(xué)知識》（Physics-informed learning of governing equations from scarce data）為題發(fā)表在 Nature Communications ，第一作者為陳釗，美國東北大學(xué)機械與工業(yè)工程系助理教授、博導(dǎo)劉揚為共同通訊作者[1]。
圖 | 相關(guān)論文（來源：Nature Communications）
在工程應(yīng)用的研究中，科學(xué)家們通常依賴于完全已知的控制方程，對常規(guī)的物理系統(tǒng)進行建模與仿真。而推導(dǎo)系統(tǒng)狀態(tài)控制方程的傳統(tǒng)方法主要為利用守恒定律、現(xiàn)象觀測與猜想，可能不適用一些復(fù)雜物理系統(tǒng)。
多元化的測量數(shù)據(jù)和深度學(xué)習(xí)的發(fā)展，為解決這一難題帶來了新思路。研究者們從數(shù)據(jù)角度進行探索，可面向復(fù)雜物理系統(tǒng)構(gòu)造出物理可詮釋性的數(shù)據(jù)驅(qū)動模型，這有助于推進系統(tǒng)的建模與仿真，并加深人們對該類系統(tǒng)的認識。
當(dāng)前，通用深度學(xué)習(xí)理論和技術(shù)存在一定的弊端，其雖然擁有強大的信息挖掘和表示能力，但主要依賴大量監(jiān)督數(shù)據(jù)，這樣得到的數(shù)據(jù)驅(qū)動模型并不具備明確的物理含義，且外推和泛化能力普遍較弱，在面臨非理想化數(shù)據(jù)下的科學(xué)問題時往往力不從心。
圖 | 孫浩（來源：孫浩）
孫浩表示，“現(xiàn)有提取偏微分方程的大多數(shù)方法基于稀疏回歸，利用數(shù)值方法求導(dǎo)數(shù)，因此局限于理想化的小噪聲或零噪聲、非稀疏結(jié)構(gòu)性的高質(zhì)量測量數(shù)據(jù)。”
因此，該團隊首先構(gòu)建了一個深度神經(jīng)網(wǎng)絡(luò)，用來近似于偏微分方程，利用自動微分得到導(dǎo)數(shù)解析表達，形成候選代數(shù)項文庫，進而用來表達未知的偏微分控制方程；通過深度神經(jīng)網(wǎng)絡(luò)和偏微分方程的相互約束，形成整體單一型網(wǎng)絡(luò)結(jié)構(gòu)（one-network architecture）。
圖 | PINN-SR 框架的示意圖架構(gòu)（來源：Nature Communications）
由于訓(xùn)練參數(shù)具有異構(gòu)屬性，如深度神經(jīng)網(wǎng)絡(luò)參數(shù)是連續(xù)的、方程代數(shù)項系數(shù)是稀疏的等，會形成 NP-hard 優(yōu)化問題，無法對網(wǎng)絡(luò)參數(shù)進行統(tǒng)一訓(xùn)練。
對此，該團隊提出一種交替方向優(yōu)化（alternating direction optimization）的方法，將神經(jīng)網(wǎng)絡(luò)參數(shù)和方程代數(shù)項系數(shù)進行交替迭代優(yōu)化，從而訓(xùn)練出具有外推能力的高質(zhì)量神經(jīng)網(wǎng)絡(luò)，用來近似系統(tǒng)響應(yīng)，進而提供精確的導(dǎo)數(shù)估值，確保稀疏回歸識別方程系數(shù)的嚴格稀疏性。
圖 | 劉揚（來源：劉揚）
孫浩稱，對于一些未知的復(fù)雜非線性或混沌系統(tǒng)，用作描述其狀態(tài)和響應(yīng)的方程解析表達通常是未知的，如新材料的本構(gòu)關(guān)系、宏觀經(jīng)濟指標(biāo)演化規(guī)律、在特殊培養(yǎng)環(huán)境下細胞群運動規(guī)律、環(huán)境指標(biāo)的時空演化、極端天氣下的大氣動力系統(tǒng)等等。
而該團隊提出的方法，在解決這些挑戰(zhàn)性問題上，有很大的應(yīng)用潛力， 一方面為進一步仿真、了解、控制此類系統(tǒng)提供理論基礎(chǔ)，另一方面利用可詮釋性 AI 技術(shù)推動了此類應(yīng)用學(xué)科的新發(fā)展。
目前，該團隊提出的方法已成功應(yīng)用在各類物理及生物、化學(xué)系統(tǒng)，如流體、反應(yīng)擴散系統(tǒng)、量子系統(tǒng)和細胞群體運動等。
審稿人認為，該方法是一項重要的成果，能夠有效 解決 “從小樣本、高維度、稀疏、高噪聲測量數(shù)據(jù)中準確提取偏微分方程” 這一挑戰(zhàn)性難題，并以實驗充分證明了該方法具有較好的通用性，可用在各類復(fù)雜物理、化學(xué)、生物系統(tǒng)中。
目前，文章的第一作者陳釗在美國太平洋國家實驗室做博士后。此前，他在美國東北大學(xué)取得博士學(xué)位，指導(dǎo)老師為孫浩教授。
圖 | 陳釗（來源：陳釗）
陳釗表示，寫這篇文章的過程中，在工作學(xué)習(xí)、生活娛樂等方面發(fā)生了許多有意思的事情，讓人有 “work hard, play hard” 的感覺。在改進算法、提升結(jié)果的時候，該團隊經(jīng)常會集思廣益，“唇槍舌戰(zhàn)” 也不時發(fā)生過。而在課題構(gòu)思、算法設(shè)計和論文寫作等方面，團隊的老師們都投入了巨大的精力，事無巨細給學(xué)生提供了很有針對性的指導(dǎo)，好像很多細節(jié)都在腦海中提前過了一遍一樣。
此外，陳釗稱，孫浩老師很善于文字表達和視覺設(shè)計，經(jīng)過他修改過的段落或圖片令人印象深刻，很值得學(xué)習(xí)。
