數(shù)學(xué)在機(jī)器學(xué)習(xí)中非常重要，但我們通常只是借助它理解具體算法的理論與實際運(yùn)算過程。近日加州大學(xué)圣巴巴拉分校的 Paul J. Atzberger 回顧了機(jī)器學(xué)習(xí)中的經(jīng)驗風(fēng)險與泛化誤差邊界，他認(rèn)為在科學(xué)和工程領(lǐng)域中，我們需要從基本理論與數(shù)學(xué)出發(fā)高效使用現(xiàn)有方法，或開發(fā)新方法來整合特定領(lǐng)域與任務(wù)所需要的先驗知識。

[[240406]]

近期研究人員越來越多地關(guān)注將機(jī)器學(xué)習(xí)方法應(yīng)用到科學(xué)、工程應(yīng)用中。這主要是受自然語言處理(NLP)和圖像分類(IC)領(lǐng)域近期發(fā)展的影響。但是，科學(xué)和工程問題有其獨特的特性和要求，對高效設(shè)計和部署機(jī)器學(xué)習(xí)方法帶來了新挑戰(zhàn)。這就對機(jī)器學(xué)習(xí)方法的數(shù)學(xué)基礎(chǔ)，以及其進(jìn)一步的發(fā)展產(chǎn)生了強(qiáng)大需求，以此來提高所使用方法的嚴(yán)密性，并保證更可靠、可解釋的結(jié)果。正如近期當(dāng)前***結(jié)果和統(tǒng)計學(xué)習(xí)理論中「沒有免費的午餐」定理所述，結(jié)合某種形式的歸納偏置和領(lǐng)域知識是成功的必要因素。因此，即使是現(xiàn)有廣泛應(yīng)用的方法，也對進(jìn)一步的數(shù)學(xué)研究有強(qiáng)需求，以促進(jìn)將科學(xué)知識和相關(guān)歸納偏置整合進(jìn)學(xué)習(xí)框架和算法中。本論文簡單討論了這些話題，以及此方向的一些思路。

在構(gòu)建機(jī)器學(xué)習(xí)方法的理論前，簡要介紹開發(fā)和部署機(jī)器學(xué)習(xí)方法的多種模態(tài)是非常重要的。監(jiān)督學(xué)習(xí)感興趣的是在不***條件下找出輸入數(shù)據(jù) x 的標(biāo)注與輸出數(shù)據(jù)之間的函數(shù)關(guān)系 f，即 y = f ( x) + ξ，不***條件包括數(shù)據(jù)有限、噪聲 ξ 不等于 0、維度空間過大或其他不確定因素。其他模態(tài)包括旨在發(fā)現(xiàn)數(shù)據(jù)內(nèi)在結(jié)構(gòu)、找到簡潔表征的無監(jiān)督學(xué)習(xí)，使用部分標(biāo)注數(shù)據(jù)的半監(jiān)督學(xué)習(xí)，以及強(qiáng)化學(xué)習(xí)。本文聚焦監(jiān)督學(xué)習(xí)，不過類似的挑戰(zhàn)對于其他模態(tài)也會存在。

應(yīng)該強(qiáng)調(diào)近期很多機(jī)器學(xué)習(xí)算法的成功(如 NLP、IC)，都取決于合理利用與數(shù)據(jù)信號特質(zhì)相關(guān)的先驗知識。例如，NLP 中的 Word2Vec 用于在預(yù)訓(xùn)練步驟中獲取詞標(biāo)識符的詞嵌入表示，這種表示編碼了語義相似性 。在 IC 中，卷積神經(jīng)網(wǎng)絡(luò)(CNN)的使用非常普遍，CNN 通過在不同位置共享卷積核權(quán)重而整合自然圖像的先驗知識，從而獲得平移不變性這一重要的屬性。先驗知識的整合甚至包括對這些問題中數(shù)據(jù)信號的內(nèi)在層級和構(gòu)造本質(zhì)的感知，這促進(jìn)了深層架構(gòu)這一浪潮的興起，深層架構(gòu)可以利用分布式表征高效捕捉相關(guān)信息。

在科學(xué)和工程領(lǐng)域中，需要類似的思考才能獲取對該領(lǐng)域的洞察。同時我們需要對機(jī)器學(xué)習(xí)算法進(jìn)行調(diào)整和利用社區(qū)近期進(jìn)展，以便高效使用這些算法。為了準(zhǔn)確起見，本文對監(jiān)督學(xué)習(xí)進(jìn)行了簡要描述。

與傳統(tǒng)的逼近理論(approximation theory)相反，監(jiān)督學(xué)習(xí)的目的不僅是根據(jù)已知數(shù)據(jù)逼近***解 f，還要對抗不確定因素，使模型在未見過的數(shù)據(jù)上也能獲得很好的泛化性能。這可以通過最小化損失函數(shù) L 來獲得，其中 L 的期望定義了真實風(fēng)險。L 有很多不同的度量方法，如最小二乘法中的 ℓ (x, y, f) = (f (x) − y)^2，或***似然方法 ℓ (x, y, f) = − log(p (y|x, f))。但是，R (f) 在實踐中是無法計算的，因為模型從數(shù)據(jù)中獲得的關(guān)于分布 D 的信息有限，這促進(jìn)我們在實踐中使用替代誤差(surrogate error)，如經(jīng)驗風(fēng)險。

從統(tǒng)計學(xué)上來說，使用經(jīng)驗風(fēng)險也有很大的成本，因為當(dāng)數(shù)據(jù)量不夠大時 R hat 可能不會均勻地收斂至真實風(fēng)險 R(f)。但是，因為 f 來自離散假設(shè)空間 H，且 H 在任意選擇的復(fù)雜度 c(f) 下可能都是***空間，若 c (f) 滿足時，你可以在 m 個樣本上推出泛化誤差邊界：

其中，概率 1 − δ 適用于隨機(jī)數(shù)據(jù)集。類似的邊界也可以從具備其他復(fù)雜度(如 VC 維或 Rademacher 復(fù)雜度)的連續(xù)假設(shè)空間中推導(dǎo)出。這在數(shù)學(xué)層面上捕捉了當(dāng)前很多對應(yīng) RHS 優(yōu)化的訓(xùn)練方法和學(xué)習(xí)算法。常見的選擇是適用于有限空間的經(jīng)驗風(fēng)險最小化，使用 c(f) = log(|H|)，其中 c 不再在正則化中發(fā)揮作用。

我們可以了解到如何通過對假設(shè)空間 H 和 c(f) 的謹(jǐn)慎選擇來實現(xiàn)更好的泛化與更優(yōu)的性能。對于科學(xué)和工程應(yīng)用而言，這可能包括通過設(shè)計 c(f) 或限制空間 H 來整合先驗信息。例如限制 H 僅保持符合物理對稱性的函數(shù)、滿足不可壓縮等限制、滿足守恒定律，或者限制 H 滿足更常見的線性或非線性 PDE 的類別。這可以更好地對齊優(yōu)秀的 c(f) 和 R hat，并確保更小的真實風(fēng)險 R(f)。盡管傳統(tǒng)上這是機(jī)器學(xué)習(xí)的重點，但這不是唯一策略。

正如近期深度學(xué)習(xí)方法所展示的那樣，你可以使用復(fù)雜的假設(shè)空間，但不再依賴于隨機(jī)梯度下降等訓(xùn)練方法，而是支持更低復(fù)雜度的模型以僅保留與預(yù)測 Y 相關(guān)的輸入信號 X。類似的機(jī)會也存在于科學(xué)和工程應(yīng)用中，這些應(yīng)用可獲得關(guān)于輸入信號相關(guān)部分的大量先驗知識。例如，作為限制假設(shè)空間的替代方法，訓(xùn)練過程中你可以在輸入數(shù)據(jù)上執(zhí)行隨機(jī)旋轉(zhuǎn)，以確保選擇的模型可以在對稱情況下保持預(yù)測結(jié)果不變。還有很多利用對輸入數(shù)據(jù)和最終目標(biāo)的洞察來結(jié)合這些方法的可能性。

我們看到即使在本文提到的泛化邊界類型方面也可以獲取大量新觀點。針對改進(jìn)邊界和訓(xùn)練方法做進(jìn)一步的數(shù)學(xué)研究，可能對高效使用現(xiàn)有方法或開發(fā)新方法來整合先驗知識方面大有裨益。我們希望本文可以作為在一般理論和當(dāng)前訓(xùn)練算法中進(jìn)行數(shù)學(xué)研究的開端，開發(fā)出更多框架和方法來更好地適應(yīng)科學(xué)和工程應(yīng)用。

原文地址：https://arxiv.org/pdf/1808.02213.pdf

【本文是51CTO專欄機(jī)構(gòu)“機(jī)器之心”的原創(chuàng)文章，微信公眾號“機(jī)器之心( id: almosthuman2014)”】

戳這里，看該作者更多好文