機器學(xué)習(xí)與微分方程的淺析
大家都已經(jīng)使用機器學(xué)習(xí)了，尤其是基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)，chatGPT甚囂塵上，還需要深入理解微分方程么？不論答案是啥，都會涉及到二者的對比，那么，機器學(xué)習(xí)與微分方程的區(qū)別又是什么呢？
從愛情模型的微分方程說起
這兩個方程預(yù)測了夫妻戀愛關(guān)系的長久性，基于心理學(xué)家 John Gottman 的開創(chuàng)性工作，該模型預(yù)測持續(xù)的積極情緒是婚姻成功的有力因素。關(guān)于模型的更多解讀，可以參考《幸福的婚姻》一書，作者還給出了維護婚姻幸福的7個法則：
- 完善你的愛情地圖
- 培養(yǎng)你對配偶的喜愛和贊美
- 彼此靠近而不是遠離
- 讓配偶影響你的決定
- 以溫和開場，用妥協(xié)收場
- 學(xué)會和問題和諧相處
- 創(chuàng)造共同意義
疫情三年，大家親身經(jīng)歷，冷暖自知。那么，如何用微分方程描述患者與傳染者的關(guān)系呢？
SIR 模型假設(shè)病毒是通過感染者和未感染者之間的直接接觸傳播的，患病者自動以某種固定的速率恢復(fù)。
這些微分方程都包含了一些未知函數(shù)的導(dǎo)數(shù)(即變化率)，這些未知函數(shù)，例如 SIR 模型中的 S (t) ，I (t)和 R (t) ，稱為該微分方程的解?；谶@些方程的機制，我們可以得到模型的設(shè)計方式，而數(shù)據(jù)稍后將用于驗證我們的假設(shè)。
數(shù)學(xué)模型的分類
類似微分方程這樣的數(shù)學(xué)模型是預(yù)先對系統(tǒng)的基本機制進行假設(shè)，建模始于物理學(xué)，實際上，整個數(shù)學(xué)建模領(lǐng)域都始于17世紀對解開行星運動背后的基本動力學(xué)的探索。從那時起，基于數(shù)學(xué)的機制模型開啟了許多現(xiàn)象的關(guān)鍵見解，從生物學(xué)和工程學(xué)到經(jīng)濟學(xué)以及社會科學(xué)。這樣的機制模型可以分為基于方程的模型 ，如微分方程，或基于Agent的模型。
基于經(jīng)驗或數(shù)據(jù)驅(qū)動的建模，例如機器學(xué)習(xí)，是通過豐富的數(shù)據(jù)來了解系統(tǒng)的結(jié)構(gòu)。機器學(xué)習(xí)對于復(fù)雜的系統(tǒng)特別有用，因為我們真的不知道如何從噪聲中分離出信號，這時候，只要訓(xùn)練一個聰明的算法就可以幫助解決難題。
機器學(xué)習(xí)任務(wù)可大致分為以下幾類:
- 監(jiān)督式學(xué)習(xí)(例如，回歸和分類) ;
- 非監(jiān)督式學(xué)習(xí)(例如，聚類及降維) ;
- 強化學(xué)習(xí)
先進的機器學(xué)習(xí)和人工智能系統(tǒng)如今在我們的日常生活中無處不在，從基于智能音箱的會話助手（例如 小度）到 各種推薦引擎，再到人臉識別技術(shù)，甚至特斯拉(Tesla)的自動駕駛汽車。所有這些都是由嵌入在堆積如山的代碼下的數(shù)學(xué)和統(tǒng)計建模驅(qū)動的。
進一步，可以將這些模型分為“確定性”(預(yù)測是固定的)或“隨機性”(預(yù)測包括隨機性)的。
確定性模型忽略隨機變量，在相同的起始條件下總是預(yù)測相同的結(jié)果。一般的，機器學(xué)習(xí)和基于方程的模型都是確定性的，輸出總是可預(yù)測的。換句話說，輸出完全由輸入決定。
隨機模型通過在模型中引入概率來考慮總體的隨機變化。捕捉這些變化的一種方法是讓每個實體成為模型中一個單獨的Agent，并為這些Agent定義允許的行為和機制，這些行為和機制具有一定的概率。這些是基于Agent的模型。
然而，對個體行為者進行建模的可實現(xiàn)性是有代價的，而基于代理的模型則更為現(xiàn)實。由于計算代價的高昂以模型的可解釋性，這激發(fā)了數(shù)學(xué)建模中的一個關(guān)鍵概念: 模型復(fù)雜度。
模型復(fù)雜度
模型復(fù)雜度的困境是所有建模者都要面對的現(xiàn)實，我們的目標(biāo)是構(gòu)建并優(yōu)化既不太簡單也不太復(fù)雜的模型。簡單的模型容易分析，但往往缺乏預(yù)測能力。復(fù)雜的模型可能是超現(xiàn)實的，但有可能試圖了解復(fù)雜問題的背后真相。
我們需要在簡單性和易于分析性之間進行權(quán)衡。復(fù)雜的機器學(xué)習(xí)模型在努力學(xué)習(xí)信號(即系統(tǒng)的真實結(jié)構(gòu))的同時排除噪音(即干擾)。這導(dǎo)致模型在新數(shù)據(jù)上表現(xiàn)不佳。換句話說，機器學(xué)習(xí)模型的普遍性較差。
平衡模型復(fù)雜度的微妙行為是一種“藝術(shù)”，試圖尋找一個既不太簡單也不太復(fù)雜的最佳位置。這個理想的模型可以沖刷掉噪音，捕捉到正在發(fā)生的事情的潛在動態(tài)，并且是可以合理解釋的。
需要注意的是，這意味著一個好的數(shù)學(xué)模型并不總是正確的。不過沒關(guān)系。可推廣性是目標(biāo)，可以向受眾解釋模型為什么這么做，無論他們是學(xué)者、工程師還是商業(yè)領(lǐng)袖。
所有的模型都是錯誤的，但有些是有用的?！獑讨?博克斯(George Box)，1976
在機器學(xué)習(xí)和統(tǒng)計學(xué)中，模型復(fù)雜度稱為偏差-方差的折衷。高偏差模型過于簡單，導(dǎo)致擬合不足，而高方差模型記憶噪聲而不是信號，導(dǎo)致過度擬合。數(shù)據(jù)科學(xué)家努力通過精心選擇訓(xùn)練算法和調(diào)整相關(guān)的超參數(shù)來達到這種微妙的平衡。
微分方程與機器學(xué)習(xí)的對比
在機制建模中，我們在對系統(tǒng)的潛在機制做出假設(shè)之前，會仔細地觀察和審查一種現(xiàn)象，然后用數(shù)據(jù)驗證模型。我們的假設(shè)正確嗎？如果是這樣，既然是親自挑選的機制，完全可以向任何人解釋是什么模型的這種行為。如果假設(shè)是錯誤的，那也沒關(guān)系，只是浪費了一些時間，沒什么大不了的。建模畢竟是反復(fù)試驗。修補這些假設(shè)，甚至從頭開始。機制模型，通常是微分方程等形式的方程，甚至是基于主體的模型。
在數(shù)據(jù)驅(qū)動建模中，我們是先讓數(shù)據(jù)開始工作，為我們構(gòu)建系統(tǒng)的全景。我們要做的就是滿足那臺機器的數(shù)據(jù)質(zhì)量，希望有足夠的數(shù)據(jù)。這便是機器學(xué)習(xí)。如果普通人很難搞清楚一個現(xiàn)象，可以調(diào)整一臺機器來篩選噪音，為我們學(xué)習(xí)那難以捉摸的信號。標(biāo)準的機器學(xué)習(xí)任務(wù)包括回歸和分類，它們使用一系列度量標(biāo)準進行評估。神經(jīng)網(wǎng)絡(luò)和強化學(xué)習(xí)也已經(jīng)流行了起來，它們能夠創(chuàng)建模型并學(xué)習(xí)令人驚嘆的復(fù)雜信號。
盡管機器學(xué)習(xí)從20世紀50年代就已經(jīng)存在，但隨著計算機變得越來越強大，數(shù)據(jù)在爆炸式增長，使得人們?nèi)绾卫萌斯ぶ悄塬@得競爭優(yōu)勢、提高洞察力和增長利潤展開了廣泛的實踐。對于不同的應(yīng)用場景，機器學(xué)習(xí)與微分方程都有著廣泛的場景。?
