[[431567]]

長久以來一個(gè)觀點(diǎn)就是在測試集上表現(xiàn)更好的模型，泛化性一定更好，但事實(shí)真是這樣嗎？LeCun團(tuán)隊(duì)最近發(fā)了一篇論文，用實(shí)驗(yàn)證明了在高維空間下，測試集和訓(xùn)練集沒有關(guān)系，模型做的一直只有外推沒有內(nèi)插，也就是說訓(xùn)練集下的模型和測試集表現(xiàn)沒關(guān)系！如此一來，刷榜豈不是毫無意義？

內(nèi)插（interpolation）和外推（extrapolation）是機(jī)器學(xué)習(xí)、函數(shù)近似（function approximation）中兩個(gè)重要的概念。

在機(jī)器學(xué)習(xí)中，當(dāng)一個(gè)測試樣本的輸入處于訓(xùn)練集輸入范圍時(shí)，模型預(yù)測過程稱為「內(nèi)插」，而落在范圍外時(shí)，稱為「外推」。

一直以來深度學(xué)習(xí)的研究都依賴于兩個(gè)概念：

1. 最先進(jìn)的算法之所以工作得這么好，是因?yàn)樗鼈兡軌蛘_地內(nèi)插訓(xùn)練數(shù)據(jù)；
2. 在任務(wù)和數(shù)據(jù)集中只有內(nèi)插，而沒有外推。

但圖領(lǐng)獎(jiǎng)得主Yann LeCun團(tuán)隊(duì)在arxiv掛了一篇論文公開質(zhì)疑這兩個(gè)概念是錯(cuò)誤的！

他們在論文中表示，從理論上和經(jīng)驗(yàn)上來說，無論是合成數(shù)據(jù)還是真實(shí)數(shù)據(jù)，幾乎可以肯定的是無論數(shù)據(jù)流形（data manifold）的基本本征維數(shù)（intrinstic dimension）如何，內(nèi)插都不會(huì)出現(xiàn)在高維空間（>100）中。

本征維度即在降維或者壓縮數(shù)據(jù)過程中，為了讓你的數(shù)據(jù)特征最大程度的保持，你最低限度需要保留哪些features，它同時(shí)也告訴了我們可以把數(shù)據(jù)壓縮到什么樣的程度，所以你需要了解哪些 feature 對(duì)你的數(shù)據(jù)集影響是最大的。

考慮到當(dāng)前計(jì)算能力可以承載的實(shí)際數(shù)據(jù)量，新觀察到的樣本極不可能位于該數(shù)據(jù)集的convex hull中。因此，他們得出了兩個(gè)結(jié)論：

1. 目前使用和研究的模型基本都是外推的了；
2. 鑒于這些模型所實(shí)現(xiàn)的超越人類的性能，外推機(jī)制也不一定非要避免，但這也不是泛化性能的指標(biāo)。

文中研究的第一階段主要包括理解環(huán)境維度（即數(shù)據(jù)所在空間的維度）的作用，還包括基本數(shù)據(jù)流形內(nèi)在維度（即數(shù)據(jù)最小表示所需的變量數(shù)量）的作用，以及包含所有數(shù)據(jù)流形的最小仿射子空間的維數(shù)。

可能有人認(rèn)為像圖像這樣的數(shù)據(jù)可能位于低維流形上，因此從直覺和經(jīng)驗(yàn)上認(rèn)為無論高維環(huán)境空間如何，內(nèi)插都會(huì)發(fā)生。但這種直覺會(huì)產(chǎn)生誤導(dǎo)，事實(shí)上，即使在具有一維流形的極端情況下，底層流形維度也不會(huì)變化。

在描述新樣本處于內(nèi)插區(qū)域的概率演變時(shí)，上圖給出了在對(duì)數(shù)尺度上看到的不斷增加的數(shù)據(jù)集大小，以及基于對(duì)500000次試驗(yàn)的蒙特卡羅估計(jì)的各種環(huán)境空間維度（d），左側(cè)圖為從高斯密度N(0, Id)中采樣數(shù)據(jù)，中間圖從具有1的本征維數(shù)的非線性連續(xù)流形采樣數(shù)據(jù)，右圖從高斯密度恒定維數(shù)4的仿射子空間中采樣數(shù)據(jù)，而環(huán)境維數(shù)增加。

從這些數(shù)字可以清楚地看出，為了保持內(nèi)插區(qū)域的恒定概率，不管潛在的內(nèi)在流形維度訓(xùn)練集的大小必須隨d呈指數(shù)增長，其中d是包含整個(gè)數(shù)據(jù)流形的最低維仿射子空間的維數(shù)。

在所有情況下，該數(shù)據(jù)集的本征維度均為1，流形是連續(xù)的、非線性的、分段光滑的，對(duì)應(yīng)于單純形的遍歷。

因此可以得出結(jié)論，為了增加處于內(nèi)插區(qū)域的概率，應(yīng)該控制d, 而不是控制流形基礎(chǔ)維度和環(huán)境空間維度。

在研究像素空間中的測試集外推時(shí)，研究人員首先研究了MNIST、CIFAR和Imagenet序列集中處于插值狀態(tài)的測試集的比例。

為了掌握數(shù)據(jù)維度的影響，使用從兩種策略獲得的不同數(shù)量的維度來計(jì)算該比例。第一種策略只從圖像的中心保留一定數(shù)量的維度，它的優(yōu)點(diǎn)是保留流形幾何體，同時(shí)只考慮有限的維數(shù)；第二種策略對(duì)圖像進(jìn)行平滑和子采樣，它的優(yōu)點(diǎn)是能夠保留流形的整體幾何體，同時(shí)刪除高頻結(jié)構(gòu)（圖像細(xì)節(jié)）并壓縮較少維數(shù)的信息。

在這兩種情況下都看到，盡管自然圖像具有數(shù)據(jù)流形幾何結(jié)構(gòu)，但相對(duì)于數(shù)據(jù)維度d，在內(nèi)插區(qū)域中查找樣本還是非常困難。

在降維空間中研究測試集外推時(shí)，一組實(shí)驗(yàn)使用非線性或線性降維技術(shù)來可視化高維數(shù)據(jù)集。為了明確地了解所用的降維技術(shù)是否保留了內(nèi)插或外推信息時(shí)，研究人員創(chuàng)建了一個(gè)數(shù)據(jù)，該數(shù)據(jù)由d=8,12的d維超立方體的2d頂點(diǎn)組成。

這些數(shù)據(jù)集具有特定性，即任何樣本相對(duì)于其他樣本都處于外推狀態(tài)。并且使用8種不同的常用降維技術(shù)對(duì)這些頂點(diǎn)進(jìn)行二維表示?？梢杂^察到降維方法會(huì)丟失內(nèi)插/外推信息，并導(dǎo)致明顯偏向插值的視覺誤解。

內(nèi)插和外推提供了一種關(guān)于給定數(shù)據(jù)集的新樣本位置的直觀幾何特征，這些術(shù)語通常被用作幾何代理來預(yù)測模型在看不見的樣本上的性能。從以往的經(jīng)驗(yàn)來看似乎已經(jīng)下了定論，即模型的泛化性能取決于模型的插值方式。這篇文章通過實(shí)驗(yàn)證明了這個(gè)錯(cuò)誤觀念。

并且研究人員特別反對(duì)使用內(nèi)插和外推作為泛化性能的指標(biāo)，從現(xiàn)有的理論結(jié)果和徹底的實(shí)驗(yàn)中證明，為了保持新樣本的插值，數(shù)據(jù)集大小應(yīng)該相對(duì)于數(shù)據(jù)維度呈指數(shù)增長。簡而言之，模型在訓(xùn)練集內(nèi)的行為幾乎不會(huì)影響該模型的泛化性能，因?yàn)樾聵颖編缀蹩隙ㄎ挥谠撏拱╟onvex）之外。

無論是考慮原始數(shù)據(jù)空間還是嵌入，這一觀察結(jié)果都是成立的。所以研究人員認(rèn)為，這些觀察為構(gòu)建更適合的內(nèi)插和外推幾何定義打開了大門，這些定義與泛化性能相一致，特別是在高維數(shù)據(jù)的情況下