數(shù)據(jù)模型需要多少訓(xùn)練數(shù)據(jù)

毫無疑問機器學(xué)習(xí)是大數(shù)據(jù)分析不可或缺的一部分，在使用機器學(xué)習(xí)技術(shù)的時候工程師除了要選擇合適的算法之外還需要選擇合適的樣本數(shù)據(jù)。那么工程師到底應(yīng)該選擇哪些樣本數(shù)據(jù)、選擇多少樣本數(shù)據(jù)才最合適呢?來自于Google的軟件工程師Malay Haldar最近發(fā)表了一篇題為《數(shù)據(jù)模型需要多少訓(xùn)練數(shù)據(jù)》的文章對此進(jìn)行了介紹。

訓(xùn)練數(shù)據(jù)的質(zhì)量和數(shù)量通常是決定一個模型性能的最關(guān)鍵因素。一旦訓(xùn)練數(shù)據(jù)準(zhǔn)備好，其他的事情就順理成章了。但是到底應(yīng)該準(zhǔn)備多少訓(xùn)練數(shù)據(jù)呢?答案是這取決于要執(zhí)行的任務(wù)，要滿足的性能，所擁有的輸入特征、訓(xùn)練數(shù)據(jù)中的噪音、提取特征中的噪音以及模型的復(fù)雜程度等因素。而找出這些變量之間相互關(guān)系的方法就是在不同數(shù)據(jù)量的訓(xùn)練數(shù)據(jù)上訓(xùn)練模型并繪制學(xué)習(xí)曲線。但是這僅僅適合于已經(jīng)有一定數(shù)量的訓(xùn)練數(shù)據(jù)的情況，如果是最開始的時候，或者說只有很少一點訓(xùn)練數(shù)據(jù)的情況，那應(yīng)該怎么辦呢?

與死板地給出所謂精確的“正確”答案相比，更靠譜的方法是通過估算和具體的經(jīng)驗法則。例如本文將要介紹的實證方法：首先自動生成很多邏輯回歸問題。然后對生成的每一個問題，研究訓(xùn)練數(shù)據(jù)的數(shù)量與訓(xùn)練模型的性能之間的關(guān)系。最后通過觀察這兩者在這一系列問題上的關(guān)系總結(jié)出一個簡單的規(guī)則。

生成一系列邏輯回歸問題并研究不同數(shù)據(jù)量的訓(xùn)練數(shù)據(jù)所造成的影響的代碼可以從GitHub上獲取。相關(guān)代碼是基于Tensorflow實現(xiàn)的，運行這些代碼不需要任何特殊的軟件或者硬件，用戶可以在自己的筆記本上運行整個實驗。代碼運行之后生成的圖表如下：

其中，X軸是訓(xùn)練樣本的數(shù)量與模型參數(shù)數(shù)量的比率。Y軸是訓(xùn)練模型的得分(f-score)。不同顏色的曲線表示不同參數(shù)數(shù)量的模型。例如，紅色曲線代表模型有128個參數(shù)，曲線的軌跡表明了隨著訓(xùn)練樣本從128 x 1到 128 x 2并不斷增長的過程中該模型的得分變化。

通過該圖表，我們能夠發(fā)現(xiàn)模型得分并不會隨著參數(shù)規(guī)模的變化而變化。但是這是針對線性模型而言，對于一些隱藏的非線性模型并不適合。當(dāng)然，更大的模型需要更多的訓(xùn)練數(shù)據(jù)，但是對于一個給定的訓(xùn)練模型數(shù)量與模型參數(shù)數(shù)量比率其性能是一樣的。該圖表還顯示，當(dāng)訓(xùn)練樣本的數(shù)量與模型參數(shù)數(shù)量的比率達(dá)到10:1之后，模型得分基本穩(wěn)定在0.85，該比率便可以作為良好性能模型的一種定義。根據(jù)該圖表我們可以總結(jié)出10X規(guī)則，也就是說一個優(yōu)秀的性能模型需要訓(xùn)練數(shù)據(jù)的數(shù)量10倍于該模型中參數(shù)的數(shù)量。

10X規(guī)則將估計訓(xùn)練數(shù)據(jù)數(shù)量的問題轉(zhuǎn)換成了需要知道模型參數(shù)數(shù)量的問題。對于邏輯回歸這樣的線性模型，參數(shù)的數(shù)量與輸入特征的數(shù)量相等，因為模型會為每一個特征分派一個相關(guān)的參數(shù)。但是這樣做可能會有一些問題：

特征可能是稀疏的，因而可能會無法直接計算出特征的數(shù)量。

由于正則化和特征選擇技術(shù)，很多特征可能會被拋棄，因而與原始的特征數(shù)相比，真正輸入到模型中的特征數(shù)會非常少。

避免這些問題的一種方法是：必須認(rèn)識到估算特征的數(shù)量時并不是必須使用標(biāo)記的數(shù)據(jù)，通過未標(biāo)記的樣本數(shù)據(jù)也能夠?qū)崿F(xiàn)目標(biāo)。例如，對于一個給定的大文本語料庫，可以在標(biāo)記數(shù)據(jù)進(jìn)行訓(xùn)練之前通過生成單詞頻率的歷史圖表來理解特征空間，通過歷史圖表廢棄長尾單詞進(jìn)而估計真正的特征數(shù)，然后應(yīng)用10X規(guī)則來估算模型需要的訓(xùn)練數(shù)據(jù)的數(shù)據(jù)量。

需要注意的是，神經(jīng)網(wǎng)絡(luò)構(gòu)成的問題集與邏輯回歸這樣的線性模型并不相同。為了估算神經(jīng)網(wǎng)絡(luò)所需要的參數(shù)數(shù)量，你需要：

如果輸入是稀疏的，那么需要計算嵌套層使用的參數(shù)的數(shù)量。參照word2vec的Tensorflow教程示例。

計算神經(jīng)網(wǎng)絡(luò)中邊的數(shù)量

由于神經(jīng)網(wǎng)絡(luò)中參數(shù)之間的關(guān)系并不是線性的，所以本文基于邏輯回歸所做的實證研究并不適合神經(jīng)網(wǎng)絡(luò)。但是在這種情況下，可以將10X規(guī)則作為訓(xùn)練數(shù)據(jù)所需數(shù)據(jù)量的下限。

盡管有上面的問題，根據(jù)Malay Haldar的經(jīng)驗，10X規(guī)則對于大部分問題還是適用的，包括淺神經(jīng)網(wǎng)絡(luò)。如果有疑問，可以在Tensorflow的代碼中插入自己的模型和假設(shè)，然后運行代碼進(jìn)行驗證研究。