微分方程與機(jī)器學(xué)習(xí)作為 AI 領(lǐng)域建模的兩種方法，各自有什么優(yōu)勢？

微分方程（DE）與機(jī)器學(xué)習(xí)（ML）類數(shù)據(jù)驅(qū)動方法都足以驅(qū)動 AI 領(lǐng)域的發(fā)展。二者有何異同呢？本文進(jìn)行了對比。

微分方程模型示例

納維-斯托克斯方程（氣象學(xué)）

這一模型被用于天氣預(yù)測。它是一個混沌模型，當(dāng)輸入存在一點點不準(zhǔn)確，預(yù)測結(jié)果就會大相徑庭。這就是為什么天氣預(yù)報經(jīng)常是錯誤的，天氣模擬使用超級計算機(jī)完成。

愛因斯坦場方程（物理學(xué)）

愛因斯坦場方程描述了重力定律，也是愛因斯坦廣義相對論的數(shù)學(xué)基礎(chǔ)。

Black-Scholes（金融）

Black-Scholes 模型在股票市場為金融衍生品定價。

SIR 模型（流行病學(xué)）

SIR 是基礎(chǔ)的房室模型，可以描述傳染病的傳播情況。

為什么以上 4 個方程都是微分方程？因為它們都包含某些未知函數(shù)的導(dǎo)數(shù)（即變化率）。這些未知函數(shù)（如 SIR 模型中的 S(t)、I(t) 和 R(t)）被稱為微分方程的解。

我們再來看一個模型。

Murray-Gottman（心理學(xué)）

這個模型用來預(yù)測浪漫關(guān)系的期限。根據(jù)心理學(xué)家 John Gottman 的開創(chuàng)性研究成果，持續(xù)的樂觀氛圍是預(yù)測婚姻成功的重要指標(biāo)。

請注意 Murray-Gottman「愛情模型」實際上是一個差分方程（微分方程的一種姊妹模型）。差分方程輸出離散的數(shù)字序列（例如，每 5 年的人口普查結(jié)果），而微分方程則建模連續(xù)數(shù)值（即持續(xù)發(fā)生的事件）。

上述 5 個模型（微分和差分方程）都是機(jī)械模型，我們可以在其中自行選擇系統(tǒng)的邏輯、規(guī)則、結(jié)構(gòu)或機(jī)制。當(dāng)然，并不是每次試驗都會成功，反復(fù)試驗在數(shù)學(xué)建模中非常重要。

納維 - 斯托克斯方程假定大氣是流動的流體，上述方程式就是來自流體動力學(xué)。廣義相對論假設(shè)在一種特殊的幾何形態(tài)下，時空會發(fā)生扭曲。愛因斯坦提出關(guān)于時空扭曲的一些重要想法，數(shù)學(xué)家 Emmy Noether 和 David Hilbert 將這些想法整合到愛因斯坦場方程中。SIR 模型假設(shè)病毒是通過感染者與未感染者之間的直接接觸傳播的，并且感染者會以固定的速率自動恢復(fù)。

使用機(jī)械模型時，觀察和直覺會指導(dǎo)模型的設(shè)計，而數(shù)據(jù)則用于后續(xù)驗證假設(shè)。

所有這些都與經(jīng)驗?zāi)Ｐ突驍?shù)據(jù)驅(qū)動模型形成鮮明對比，經(jīng)驗或數(shù)據(jù)驅(qū)動模型首先從數(shù)據(jù)出發(fā)。這其中就包括機(jī)器學(xué)習(xí)模型，其算法通過輸入足夠的高質(zhì)量樣本來學(xué)習(xí)系統(tǒng)的基礎(chǔ)邏輯或規(guī)則。當(dāng)人類很難分析或定義系統(tǒng)的機(jī)制時，這樣的方法是很明智的。

數(shù)學(xué)模型的分類

機(jī)械模型對驅(qū)動系統(tǒng)的底層機(jī)制進(jìn)行了假設(shè)，在物理學(xué)中很常用。實際上，數(shù)學(xué)建模是從 17 世紀(jì)人們試圖解開行星運動規(guī)律時才開始發(fā)展的。

經(jīng)驗或數(shù)據(jù)驅(qū)動型建模，特別是機(jī)器學(xué)習(xí)，能夠讓數(shù)據(jù)來學(xué)習(xí)系統(tǒng)的結(jié)構(gòu)，這個過程就叫做「擬合」。機(jī)器學(xué)習(xí)對于人類不確定如何將信號從噪聲中分離出來的復(fù)雜系統(tǒng)格外有效，只需要訓(xùn)練一種聰明的算法，讓它來代替你做繁瑣的事情。

機(jī)器學(xué)習(xí)任務(wù)廣義上可以分為：

監(jiān)督學(xué)習(xí)（即回歸與分類）

無監(jiān)督學(xué)習(xí)（即聚類和降維）

強(qiáng)化學(xué)習(xí)

如今機(jī)器學(xué)習(xí)和人工智能系統(tǒng)在日常生活中隨處可見。從亞馬遜、蘋果和谷歌的語音助手到 Instagram、Netflix 和 Spotify 的推薦引擎，再到 Facebook 和 Sony 的人臉識別技術(shù)，甚至特斯拉的自動駕駛技術(shù)，所有這些都是由嵌入在大量代碼下的數(shù)學(xué)與統(tǒng)計模型驅(qū)動的。

我們可以進(jìn)一步將機(jī)械模型和經(jīng)驗?zāi)Ｐ头譃榇_定性模型（預(yù)測是固定的）和隨機(jī)性模型（預(yù)測包含隨機(jī)性）。

確定性模型忽略隨機(jī)變化，在相同的初始條件下，總會預(yù)測出相同的結(jié)果。

隨機(jī)模型則考慮了隨機(jī)變化，如系統(tǒng)中單個主體的異質(zhì)性，比如人、動物、細(xì)胞之間就存在細(xì)微的差別。

隨機(jī)性通常會在模型中引入一些現(xiàn)實性，但同時也存在一定的代價。在數(shù)學(xué)建模中，我們需要考慮模型的復(fù)雜性：簡單的模型易于分析，但可能缺乏預(yù)測能力；復(fù)雜的模型具有現(xiàn)實性，但嘗試弄清楚模型背后的原理也很重要。因此，我們需要在簡單性和可分析性之間進(jìn)行權(quán)衡，正如統(tǒng)計學(xué)家 George Box 所說：

所有的模型都是錯誤的，但其中一些是有用的。

在機(jī)器學(xué)習(xí)和統(tǒng)計學(xué)中，模型復(fù)雜度被稱為「偏差 - 方差權(quán)衡」。高偏差模型過于簡單，導(dǎo)致欠擬合，高方差模型存儲的是噪聲而不是信號（即系統(tǒng)的實際結(jié)構(gòu)），會導(dǎo)致過擬合。

微分方程與機(jī)器學(xué)習(xí)示例對比

logistic 微分方程

該方程涉及農(nóng)業(yè)、生物學(xué)、經(jīng)濟(jì)學(xué)、生態(tài)學(xué)、流行病學(xué)等領(lǐng)域。

繪制 dP/dt 對 t 的曲線：

logistic 模型的一個例子是哈伯特峰值石油模型。1956 年，石油地質(zhì)學(xué)家 Marion Hubbert 為德克薩斯州的石油生產(chǎn)量創(chuàng)建了一個預(yù)測數(shù)學(xué)模型。

令 P 表示德克薩斯州的產(chǎn)油量。

如果右邊是 rP，則石油生產(chǎn)量將會成倍增長。但是 Hubbert 知道油量一共只有 K=200 gigabarrels。隨著時間的流逝，開采石油變得越來越困難，因此生產(chǎn)率 dP/dt 有所下降。(1-P/K) 項說明了資源有限的觀察結(jié)果。注意，在考慮實際數(shù)據(jù)之前，我們就已經(jīng)推斷出石油開采的機(jī)制。

代表生產(chǎn)率的參數(shù) r=0.079 是從 50 年的數(shù)據(jù)中推斷出來的。

代表石油總量的參數(shù) K=200，這是系統(tǒng)的穩(wěn)定狀態(tài)。

機(jī)器學(xué)習(xí)模型很難學(xué)習(xí)嵌入到微分方程中的邏輯所捕獲的潛在機(jī)制。從本質(zhì)上講，任何算法都需要僅基于 1956 年之前存在的數(shù)據(jù)（綠色）預(yù)測能夠出現(xiàn)的最大值：

完整起見，本文作者訓(xùn)練了一些多項式回歸、隨機(jī)森林、梯度提升樹。注意只有多項式回歸會外推超出原始數(shù)據(jù)范圍。

隨機(jī)森林

多項式回歸

多項式回歸可以很好地捕獲信號，但是這種二次函數(shù)（圖像為拋物線）在 1970 年達(dá)到 Peak Oil 之后，不可能再度凹回去。紅色曲線只會越來越高，表示采油量接近無窮大。

哈伯特的機(jī)械模型解決了這一建模難題。

當(dāng)人類很難捕捉和定義系統(tǒng)的規(guī)則和機(jī)制時，機(jī)器學(xué)習(xí)方法就會大放異彩。也就是說，從噪聲中提取信號的方法超出了人們的努力范疇，更好的方法是讓機(jī)器通過使用高質(zhì)量示例來學(xué)習(xí)規(guī)則和信號，這就是用數(shù)據(jù)訓(xùn)練機(jī)器。數(shù)據(jù)越好，結(jié)果就越好。神經(jīng)網(wǎng)絡(luò)作為學(xué)術(shù)和應(yīng)用機(jī)器學(xué)習(xí)領(lǐng)域的先鋒，能夠捕捉到驚人的復(fù)雜性。

求解 logistic 微分方程，并繪制 P(t) 和 P’(t)

上文介紹了 logistic 微分方程，并立即繪制了其解 P(t) 及其導(dǎo)數(shù) dP/dt。這中間省略了一些步驟，詳細(xì)操作方法如下。

方法 1：數(shù)值模擬

首先將微分方程編程到 Python 或 Matlab 中，在將 dP/dt 繪制為 t 的函數(shù)之前，使用數(shù)值求解器獲得 P(t)。此處使用了 Python。

方法 2：獲取解析解

該系統(tǒng)可以使用分離變量法求得解析解。請注意：大多數(shù)微分方程無法求得解析解。對此，數(shù)學(xué)家一直在尋找求解析解的方法。以新西蘭科學(xué)家 Roy Kerr 為例，他發(fā)現(xiàn)了愛因斯坦場方程的一組精確解，進(jìn)而使人類發(fā)現(xiàn)了黑洞。但還好，logistic 微分方程中有一些是具有確切解的。

首先把所有含有 P 的項移到等式左邊，含有 t 的項移到等式右邊：

將二者整合到一起可得到通解，即滿足微分方程的一組無窮多個函數(shù)。

微分方程總是有無窮多個解，由一系列曲線以圖像的方式給出。

將 P 重新排列，得到：

微分得到：

這兩個公式對應(yīng)上述 logistic 曲線和類高斯曲線。

總結(jié)

在機(jī)械建模中，對驅(qū)動系統(tǒng)的基本機(jī)制進(jìn)行假設(shè)之前，研究者會仔細(xì)觀察并研究現(xiàn)象，然后用數(shù)據(jù)驗證模型，驗證假設(shè)是否正確。如果假設(shè)正確，皆大歡喜；如果錯誤，也沒關(guān)系，建模本身就是要反復(fù)試驗的，你可以選擇修改假設(shè)或者從頭開始。

在數(shù)據(jù)驅(qū)動的建模中，我們讓數(shù)據(jù)來構(gòu)建系統(tǒng)的藍(lán)圖。人類要做的是為機(jī)器提供高質(zhì)量、有代表性并且數(shù)量足夠多的數(shù)據(jù)。這就是機(jī)器學(xué)習(xí)。在人類難以觀察到現(xiàn)象本質(zhì)時，機(jī)器學(xué)習(xí)算法可以從噪聲中提取信號。神經(jīng)網(wǎng)絡(luò)和強(qiáng)化學(xué)習(xí)是當(dāng)下熱門的研究領(lǐng)域，它們能夠創(chuàng)建具有驚人復(fù)雜性的模型。而 AI 革命尚在繼續(xù)。