近年來，深度學(xué)習(xí)在偏微分方程（PDEs）求解中展現(xiàn)出前所未有的潛力。從氣象模擬到材料科學(xué)，基于數(shù)據(jù)驅(qū)動(dòng)的神經(jīng)網(wǎng)絡(luò)模型正不斷重塑科學(xué)計(jì)算的邊界。尤其是神經(jīng)場(chǎng)（Implicit Neural Representations，INRs），憑借其連續(xù)參數(shù)化的特性，能夠?qū)崿F(xiàn)跨幾何形態(tài)的高分辨率建模，在復(fù)雜場(chǎng)景下展現(xiàn)出卓越的精度和靈活性。

然而，當(dāng)面對(duì)具有劇烈空間變化的場(chǎng)景時(shí)，現(xiàn)有 INR 方法暴露出明顯的瓶頸。傳統(tǒng)的全局調(diào)控機(jī)制要求模型在所有空間位置共享同一組調(diào)控參數(shù)，這種方式在捕捉局部細(xì)節(jié)特征時(shí)顯得力不從心。隨著場(chǎng)景復(fù)雜度的提升，全局調(diào)控不僅限制了模型精度，還導(dǎo)致泛化能力下降。

為了解決這一難題，清華大學(xué)研究團(tuán)隊(duì)提出了一種創(chuàng)新的空間調(diào)控方法 ——GridMix。靈感來源于譜方法的思想，GridMix 將空間調(diào)控參數(shù)表示為一組網(wǎng)格基函數(shù)的線性組合。GridMix 具備以下特點(diǎn)：

• 保留了空間調(diào)控的細(xì)粒度局部性，確保建模精度；
• 同時(shí)通過共享基函數(shù)提取全局結(jié)構(gòu)信息，有效緩解了過擬合風(fēng)險(xiǎn)。

在一系列挑戰(zhàn)性的 PDE 建模任務(wù)中，GridMix 展現(xiàn)出了顯著的性能提升。特別是在稀疏空間域和時(shí)間外推場(chǎng)景下，其魯棒性表現(xiàn)尤為突出。該研究已被 ICLR 2025 接收，并獲選為 Oral 論文（入選比例 1.8%）。

• 論文標(biāo)題：GridMix: Exploring Spatial Modulation for Neural Fields in PDE Modeling
• 論文地址：https://openreview.net/forum?id=Fur0DtynPX
• 項(xiàng)目主頁：https://github.com/LeapLabTHU/GridMix.git

方法

本文研究聚焦于偏微分方程（PDE）建模任務(wù)，其核心是近似算子。該算子根據(jù)底層 PDE，將輸入空間中的函數(shù)映射到輸出空間。此處表示定義域?yàn)榍抑涤驗(yàn)?/span>的平方可積函數(shù)構(gòu)成的無限維空間。我們重點(diǎn)研究以下兩類典型任務(wù)：

• 動(dòng)態(tài)系統(tǒng)建模：旨在捕捉物理系統(tǒng)在預(yù)測(cè)時(shí)間范圍內(nèi)的動(dòng)態(tài)演化過程。具體表現(xiàn)為建模系統(tǒng)從狀態(tài)到狀態(tài)的轉(zhuǎn)移過程，其中表示時(shí)間步長(zhǎng)。
• 幾何感知預(yù)測(cè)：根據(jù)系統(tǒng)的幾何構(gòu)型預(yù)測(cè)其狀態(tài)。

在幾何預(yù)測(cè)中，每個(gè)數(shù)據(jù)樣本分布于不同的空間域上；而對(duì)于動(dòng)力學(xué)建模，所有樣本使用相同的訓(xùn)練空間域，測(cè)試時(shí)則采用與訓(xùn)練域不同的空間域來評(píng)估模型性能。需特別說明的是，和均為完整域的子集。

基于 INR 的 PDE 建模方法

CORAL 是最具創(chuàng)新性的 INR 方法之一，它通過兩階段訓(xùn)練策略解決偏微分方程建模問題。在第一階段（重構(gòu)階段），該框架采用兩個(gè)神經(jīng)調(diào)控場(chǎng)和分別對(duì)輸入和輸出函數(shù)進(jìn)行參數(shù)化建模。這些神經(jīng)調(diào)控場(chǎng)作為基礎(chǔ)模型，通過不同調(diào)制參數(shù)實(shí)現(xiàn)對(duì)不同函數(shù)的重構(gòu)。具體而言，INR 參數(shù)和在各自函數(shù)空間中共享，而調(diào)制參數(shù)和則是每個(gè)函數(shù)特有的。這些調(diào)制參數(shù)通過超網(wǎng)絡(luò)和從低維調(diào)控向量和中生成：，。經(jīng)訓(xùn)練后，每個(gè)函數(shù)可由低維調(diào)控向量經(jīng)過共享 INR 重構(gòu)，其重構(gòu)誤差代表了表示質(zhì)量。在第二階段（預(yù)測(cè)階段），CORAL 通過處理網(wǎng)絡(luò)學(xué)習(xí)調(diào)控編碼與之間的映射關(guān)系。

圖 1. 基于 INR 的 PDE 建?？蚣?/span>

CORAL 的全局調(diào)控

CORAL 利用 SIRENs 作為其 INR 的骨干網(wǎng)絡(luò)。SIRENs 是具有正弦激活函數(shù)的多層感知機(jī)，可以表示為：

其中，是網(wǎng)絡(luò)權(quán)重和偏置，為固定的放縮因子，，是空間坐標(biāo)下的第層中間表示結(jié)果。

CORAL 通過平移調(diào)控（Shift Modulation）對(duì) SIRENs 進(jìn)行擴(kuò)展，將單個(gè)函數(shù)表示為：

其中表示第 i 層的調(diào)制參數(shù)。需要注意的是，這種全局調(diào)控參數(shù)在不同空間坐標(biāo)之間是共享的。這一特性限制了神經(jīng)調(diào)控場(chǎng)表示復(fù)雜函數(shù)空間的能力。正如先前的研究所展示的，全局調(diào)控?zé)o法捕捉局部細(xì)節(jié)，因?yàn)檎{(diào)控參數(shù)的任何變化都會(huì)導(dǎo)致重構(gòu)函數(shù)的全局?jǐn)_動(dòng)。

圖 2. 不同調(diào)控方式

GridMix

基于網(wǎng)格表征的空間調(diào)控方法在提升 INR 學(xué)習(xí)能力方面展現(xiàn)出顯著優(yōu)勢(shì)，特別是在三維重建領(lǐng)域，其有效性已被廣泛驗(yàn)證。受此啟發(fā)，本文旨在探索空間調(diào)控在 PDE 建模中的的應(yīng)用及其潛在優(yōu)勢(shì)。具體而言，空間調(diào)控引入了一個(gè)基于網(wǎng)格的單通道特征，其中H和W分別表示網(wǎng)格的空間分辨率（以二維空間為例）。我們可以從該網(wǎng)格特征中提取位置相關(guān)的調(diào)控參數(shù)。具體步驟如下：給定空間位置，首先提取圍繞該位置的相鄰網(wǎng)格點(diǎn)（在二維情況下為四個(gè)點(diǎn)）上的特征，其次通過雙線性插值計(jì)算?？臻g調(diào)控對(duì)應(yīng)的平移調(diào)控方法可表示為：

空間調(diào)控引入的位置相關(guān)的調(diào)控參數(shù)雖擅長(zhǎng)捕捉局部信息，卻難以在稀疏 / 不規(guī)則的空間域中建模全局結(jié)構(gòu)，導(dǎo)致未知區(qū)域重建質(zhì)量驟降（如圖 3 所示），從而嚴(yán)重制約跨空間域的泛化能力 —— 而這正是魯棒 PDE 建模的關(guān)鍵要求

圖 3. 重建效果對(duì)比：觀測(cè)數(shù)據(jù)的空間域在訓(xùn)練集之外

為了緩解空間調(diào)控在訓(xùn)練空間域上的過擬合問題，GridMix 將空間調(diào)控參數(shù)表示為一組網(wǎng)格表征的線性組合，如圖 2 (c) 所示。首先，GridMix 定義一組網(wǎng)格表征作為基函數(shù)，再通過這些基函數(shù)的線性組合生成空間調(diào)控參數(shù)。具體而言，每一隱藏層的網(wǎng)格混合表示為

其中。這里表示 M 個(gè)網(wǎng)格基函數(shù)，為第 i 層的線性組合系數(shù)。這些系數(shù)通過超網(wǎng)絡(luò) h 從低維調(diào)控向量 z 中估計(jì)得到。網(wǎng)格基函數(shù)在不同的函數(shù)實(shí)例中共享，并與神經(jīng)調(diào)控場(chǎng)一同優(yōu)化。GridMix 具有以下特點(diǎn)：

• 局部細(xì)節(jié)捕捉：GridMix 保留了網(wǎng)格調(diào)控的局部特性，通過引入額外的可學(xué)習(xí)參數(shù)增強(qiáng)了模型在局部細(xì)節(jié)重建的表達(dá)能力；
• 全局結(jié)構(gòu)建模：GridMix 通過共享基函數(shù)對(duì)調(diào)控空間起到正則化作用。相比一般空間調(diào)控需要為每個(gè)函數(shù)額外學(xué)習(xí)個(gè)獨(dú)立參數(shù)，GridMix 將參數(shù)維度降低至基函數(shù)的個(gè)數(shù)。這種維度壓縮有效減少了過擬合的風(fēng)險(xiǎn)，提升了模型對(duì)全局結(jié)構(gòu)的重建能力，以及在不同空間域上的泛化能力。

實(shí)驗(yàn)

動(dòng)態(tài)系統(tǒng)建模

在 Naviers-Stokes 和 Shallow-Water 兩個(gè)動(dòng)態(tài)系統(tǒng)建模任務(wù)上，GridMix 相比神經(jīng)算子方法（DeepONet 和 FNO）、圖網(wǎng)絡(luò)方法（MP-PDE）以及基于全局調(diào)控的 INR 方法（CORAL）均取得了顯著的性能提升。同時(shí)，GridMix 在稀疏空間域的重建和時(shí)間外推任務(wù)中表現(xiàn)出優(yōu)越的魯棒性，進(jìn)一步驗(yàn)證了其廣泛的適用性。

圖 4. 動(dòng)態(tài)系統(tǒng)建模任務(wù)

圖 5. 稀疏空間域下的 Shallow-Water 可視化結(jié)果

幾何感知推理

在幾何感知推理中，模型根據(jù)給定的幾何結(jié)構(gòu)（例如翼型（NACA-Euler）、水管（Pipe）和彈性材料（Elasticity））預(yù)測(cè)系統(tǒng)的狀態(tài)。相較于全局調(diào)控方法，GridMix 在所有任務(wù)中均實(shí)現(xiàn)了性能提升。

圖 6. 幾何感知推理任務(wù)

總結(jié)

本文的貢獻(xiàn)主要在兩個(gè)方面：

• 提出了一種新穎的空間調(diào)控方式 ——GridMix，它自然地融合了全局調(diào)控的全局結(jié)構(gòu)建模和空間調(diào)控的局部細(xì)節(jié)捕捉能力；
• 在動(dòng)態(tài)系統(tǒng)建模和幾何感知推理等任務(wù)中充分驗(yàn)證了 GridMix 的卓越性能，特別是在稀疏空間域和時(shí)間外推場(chǎng)景下優(yōu)勢(shì)顯著。