毫無(wú)疑問(wèn)機(jī)器學(xué)習(xí)是大數(shù)據(jù)分析不可或缺的一部分，在使用機(jī)器學(xué)習(xí)技術(shù)的時(shí)候工程師除了要選擇合適的算法之外還需要選擇合適的樣本數(shù)據(jù)。那么工程師到底應(yīng)該選擇哪些樣本數(shù)據(jù)、選擇多少樣本數(shù)據(jù)才最合適呢?來(lái)自于Google的軟件工程師Malay Haldar最近發(fā)表了一篇題為《數(shù)據(jù)模型需要多少訓(xùn)練數(shù)據(jù)》的文章對(duì)此進(jìn)行了介紹。

訓(xùn)練數(shù)據(jù)的質(zhì)量和數(shù)量通常是決定一個(gè)模型性能的最關(guān)鍵因素。一旦訓(xùn)練數(shù)據(jù)準(zhǔn)備好，其他的事情就順理成章了。但是到底應(yīng)該準(zhǔn)備多少訓(xùn)練數(shù)據(jù)呢?答案是 這取決于要執(zhí)行的任務(wù)，要滿足的性能，所擁有的輸入特征、訓(xùn)練數(shù)據(jù)中的噪音、提取特征中的噪音以及模型的復(fù)雜程度等因素。而找出這些變量之間相互關(guān)系的方 法就是在不同數(shù)據(jù)量的訓(xùn)練數(shù)據(jù)上訓(xùn)練模型并繪制學(xué)習(xí)曲線。但是這僅僅適合于已經(jīng)有一定數(shù)量的訓(xùn)練數(shù)據(jù)的情況，如果是最開(kāi)始的時(shí)候，或者說(shuō)只有很少一點(diǎn)訓(xùn)練 數(shù)據(jù)的情況，那應(yīng)該怎么辦呢?

與死板地給出所謂精確的“正確”答案相比，更靠譜的方法是通過(guò)估算和具體的經(jīng)驗(yàn)法則。例如本文將要介紹的實(shí)證方法：首先自動(dòng)生成很多邏輯回歸問(wèn)題。 然后對(duì)生成的每一個(gè)問(wèn)題，研究訓(xùn)練數(shù)據(jù)的數(shù)量與訓(xùn)練模型的性能之間的關(guān)系。***通過(guò)觀察這兩者在這一系列問(wèn)題上的關(guān)系總結(jié)出一個(gè)簡(jiǎn)單的規(guī)則。

生成一系列邏輯回歸問(wèn)題并研究不同數(shù)據(jù)量的訓(xùn)練數(shù)據(jù)所造成的影響的代碼可以從GitHub上獲取。相關(guān)代碼是基于Tensorflow實(shí)現(xiàn)的，運(yùn)行這些代碼不需要任何特殊的軟件或者硬件，用戶可以在自己的筆記本上運(yùn)行整個(gè)實(shí)驗(yàn)。代碼運(yùn)行之后生成的圖表如下：

其 中，X軸是訓(xùn)練樣本的數(shù)量與模型參數(shù)數(shù)量的比率。Y軸是訓(xùn)練模型的得分(f-score)。不同顏色的曲線表示不同參數(shù)數(shù)量的模型。例如，紅色曲線代表模 型有128個(gè)參數(shù)，曲線的軌跡表明了隨著訓(xùn)練樣本從128 x 1到 128 x 2并不斷增長(zhǎng)的過(guò)程中該模型的得分變化。

通過(guò)該圖表，我們能夠發(fā)現(xiàn)模型得分并不會(huì)隨著參數(shù)規(guī)模的變化而變化。但是這是針對(duì)線性模型而言，對(duì)于一些隱藏的非線性模型并不適合。當(dāng)然，更大的模 型需要更多的訓(xùn)練數(shù)據(jù)，但是對(duì)于一個(gè)給定的訓(xùn)練模型數(shù)量與模型參數(shù)數(shù)量比率其性能是一樣的。該圖表還顯示，當(dāng)訓(xùn)練樣本的數(shù)量與模型參數(shù)數(shù)量的比率達(dá)到 10:1之后，模型得分基本穩(wěn)定在0.85，該比率便可以作為良好性能模型的一種定義。根據(jù)該圖表我們可以總結(jié)出10X規(guī)則，也就是說(shuō)一個(gè)優(yōu)秀的性能模型 需要訓(xùn)練數(shù)據(jù)的數(shù)量10倍于該模型中參數(shù)的數(shù)量。

10X規(guī)則將估計(jì)訓(xùn)練數(shù)據(jù)數(shù)量的問(wèn)題轉(zhuǎn)換成了需要知道模型參數(shù)數(shù)量的問(wèn)題。對(duì)于邏輯回歸這樣的線性模型，參數(shù)的數(shù)量與輸入特征的數(shù)量相等，因?yàn)槟Ｐ蜁?huì)為每一個(gè)特征分派一個(gè)相關(guān)的參數(shù)。但是這樣做可能會(huì)有一些問(wèn)題：

特征可能是稀疏的，因而可能會(huì)無(wú)法直接計(jì)算出特征的數(shù)量。

由于正則化和特征選擇技術(shù)，很多特征可能會(huì)被拋棄，因而與原始的特征數(shù)相比，真正輸入到模型中的特征數(shù)會(huì)非常少。

避免這些問(wèn)題的一種方法是：必須認(rèn)識(shí)到估算特征的數(shù)量時(shí)并不是必須使用標(biāo)記的數(shù)據(jù)，通過(guò)未標(biāo)記的樣本數(shù)據(jù)也能夠?qū)崿F(xiàn)目標(biāo)。例如，對(duì)于一個(gè)給定的大文 本語(yǔ)料庫(kù)，可以在標(biāo)記數(shù)據(jù)進(jìn)行訓(xùn)練之前通過(guò)生成單詞頻率的歷史圖表來(lái)理解特征空間，通過(guò)歷史圖表廢棄長(zhǎng)尾單詞進(jìn)而估計(jì)真正的特征數(shù)，然后應(yīng)用10X規(guī)則來(lái) 估算模型需要的訓(xùn)練數(shù)據(jù)的數(shù)據(jù)量。

需要注意的是，神經(jīng)網(wǎng)絡(luò)構(gòu)成的問(wèn)題集與邏輯回歸這樣的線性模型并不相同。為了估算神經(jīng)網(wǎng)絡(luò)所需要的參數(shù)數(shù)量，你需要：

如果輸入是稀疏的，那么需要計(jì)算嵌套層使用的參數(shù)的數(shù)量。參照word2vec的Tensorflow教程示例。

計(jì)算神經(jīng)網(wǎng)絡(luò)中邊的數(shù)量

由于神經(jīng)網(wǎng)絡(luò)中參數(shù)之間的關(guān)系并不是線性的，所以本文基于邏輯回歸所做的實(shí)證研究并不適合神經(jīng)網(wǎng)絡(luò)。但是在這種情況下，可以將10X規(guī)則作為訓(xùn)練數(shù)據(jù)所需數(shù)據(jù)量的下限。

盡管有上面的問(wèn)題，根據(jù)Malay Haldar的經(jīng)驗(yàn)，10X規(guī)則對(duì)于大部分問(wèn)題還是適用的，包括淺神經(jīng)網(wǎng)絡(luò)。如果有疑問(wèn)，可以在Tensorflow的代碼中插入自己的模型和假設(shè)，然后運(yùn)行代碼進(jìn)行驗(yàn)證研究。