機(jī)器學(xué)習(xí)基本原理和概念

1. VC dimension（VC維，非常重要的概念）

能夠shutter 二分類問題的上限。也是衡量模型復(fù)雜度的工具（類似自由度的概念）。之所以這個(gè)概念比較重要是它能夠解釋為什么機(jī)器能夠?qū)W習(xí)。

1），以概率統(tǒng)計(jì)中常用的手段：用sample來估計(jì)整體，機(jī)器學(xué)習(xí)也是如此，就是說，通過對采樣得到的sample進(jìn)行學(xué)習(xí)，能夠用來對out of sample進(jìn)行估計(jì)、處理、預(yù)測、分類等等。所謂的學(xué)習(xí)就是從一堆Hypothesis（set）中，利用sample，通過learning algorithm賽選出合適的hypothesis - g的過程。

2）塞選的標(biāo)準(zhǔn)通常是各種類型的error（0/1error，square error...），這些誤差是用來調(diào)節(jié)W權(quán)重，最后得到比較小Error （in sample）的hypothesis（g）。

3）這個(gè)g只是在in sample上表現(xiàn)比較好，其實(shí)在in sample上表現(xiàn)好并沒什么卵用，因?yàn)槿绻阒皇翘幚韎n sample數(shù)據(jù)的話就沒有必要進(jìn)行機(jī)器學(xué)習(xí)，之所以使用機(jī)器學(xué)習(xí)，就是因?yàn)椴豢赡艿玫剿械膁ata，你只能sample一部分的sample。所以最好的g應(yīng)當(dāng)是在out of sample上表現(xiàn)好的。因?yàn)椋覀儾⒉荒軠y得error in sample，所以最好的辦法就是建立error in sample 與error out of sample的聯(lián)系，能不能有一個(gè)upper bound來衡量兩者之間的關(guān)系呢？答案是肯定，那就是Hoeffding's 不等式。

4）hoeffding不等式說明了一個(gè)問題，如果Hypothesis set中hypothesis能shutter很多種類（就是VC dimension很大），就會導(dǎo)致這個(gè)Error in sample與Error out of sample相差很大，也就是指模型復(fù)雜度很大。這樣error in sample 你能做的很小，但是error out of sample會很大。

5）VC維大=>模型復(fù)雜度高=>error in sample 小=>模型不夠平滑=>generalization能力弱=>error out of sample大=>overfitting=>模型并沒有卵用。

2. Generalization（泛化能力）

1）衡量模型在out of sample上的表現(xiàn)；

2）通常曲線越平滑，泛化能力越強(qiáng)，但error in sample就可能越大，underfitting；曲線也復(fù)雜，error in sample就可能做的越小，但泛化能力越弱，overfitting；

3. Regularization（正則化）

1）用來控制模型復(fù)雜度，從而實(shí)現(xiàn)Error in sample與Error out  of sample的逼近，也就是使得既具有較好的精度，又有較好的泛化能力；

2）不同的regularizer對應(yīng)不同的回歸方法：L1，L2,...實(shí)際上就是一種懲罰措施。用來權(quán)衡是要好的error和好的generalization能力；

4. Validation

用來衡量機(jī)器學(xué)習(xí)泛化能力的一種方法。因?yàn)?a href='/map/jiqixuexi/' style='color:#000;font-size:inherit;'>機(jī)器學(xué)習(xí)得到的Hypothesis是為了在out of sample上進(jìn)行處理，而不是在in sample上處理。所以，用來評價(jià)機(jī)器學(xué)習(xí)是否學(xué)到位的一種手段就是從validation。一般的做法是將先驗(yàn)的數(shù)據(jù)集分開為訓(xùn)練集和驗(yàn)證集，用訓(xùn)練集進(jìn)行Hypothesis的學(xué)習(xí)，用驗(yàn)證集決定學(xué)習(xí)的終止條件，并給出學(xué)習(xí)的Hypothesis性能指標(biāo)。但是如果將數(shù)據(jù)集分開，那么用于訓(xùn)練的樣本就變少了。我們知道訓(xùn)練集的樣本數(shù)N是機(jī)器學(xué)習(xí)中防止overfitting的一重大的因素。如果模型復(fù)雜度較高的話，通常需要增加訓(xùn)練樣本的數(shù)量來克服由于模型復(fù)雜度導(dǎo)致的overfitting的風(fēng)險(xiǎn)。比如神經(jīng)網(wǎng)絡(luò)就是一種典型的例子。所以最好是能夠不減少訓(xùn)練集的樣本數(shù)，而且還能進(jìn)行validation。這樣就提出了leave one out的validation和N-folder validation。

除了以上四個(gè)我覺得極為重要的概念和思想，還有一些主要內(nèi)容比如：導(dǎo)致overfitting的幾種原因：過度使用vc dimension，noise和limited data size N，解決overfitting的幾種方法、技巧：validation（cross validation，leave one out validation, N-folder valiation...），data hinting, data cleaning/pruning, regularization, start from simple model等等。這里都不再進(jìn)行總結(jié)