機器學(xué)習(xí)分為：監(jiān)督學(xué)習(xí)，無監(jiān)督學(xué)習(xí)，半監(jiān)督學(xué)習(xí)（也可以用hinton所說的強化學(xué)習(xí)）等。

在這里，主要理解一下監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)。

監(jiān)督學(xué)習(xí)（supervised learning）

從給定的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)出一個函數(shù)（模型參數(shù)），當(dāng)新的數(shù)據(jù)到來時，可以根據(jù)這個函數(shù)預(yù)測結(jié)果。監(jiān)督學(xué)習(xí)的訓(xùn)練集要求包括輸入輸出，也可以說是特征和目標(biāo)。訓(xùn)練集中的目標(biāo)是由人標(biāo)注的。監(jiān)督學(xué)習(xí)就是最常見的分類（注意和聚類區(qū)分）問題，通過已有的訓(xùn)練樣本（即已知數(shù)據(jù)及其對應(yīng)的輸出）去訓(xùn)練得到一個最優(yōu)模型（這個模型屬于某個函數(shù)的集合，最優(yōu)表示某個評價準(zhǔn)則下是最佳的），再利用這個模型將所有的輸入映射為相應(yīng)的輸出，對輸出進(jìn)行簡單的判斷從而實現(xiàn)分類的目的。也就具有了對未知數(shù)據(jù)分類的能力。監(jiān)督學(xué)習(xí)的目標(biāo)往往是讓計算機去學(xué)習(xí)我們已經(jīng)創(chuàng)建好的分類系統(tǒng)（模型）。

監(jiān)督學(xué)習(xí)是訓(xùn)練神經(jīng)網(wǎng)絡(luò)和決策樹的常見技術(shù)。這兩種技術(shù)高度依賴事先確定的分類系統(tǒng)給出的信息，對于神經(jīng)網(wǎng)絡(luò)，分類系統(tǒng)利用信息判斷網(wǎng)絡(luò)的錯誤，然后不斷調(diào)整網(wǎng)絡(luò)參數(shù)。對于決策樹，分類系統(tǒng)用它來判斷哪些屬性提供了最多的信息。

常見的有監(jiān)督學(xué)習(xí)算法：回歸分析和統(tǒng)計分類。最典型的算法是KNN和SVM。

有監(jiān)督學(xué)習(xí)最常見的就是：regression&classification

Regression：Y是實數(shù)vector?；貧w問題，就是擬合(x,y)的一條曲線，使得價值函數(shù)(costfunction) L最小

Classification：Y是一個有窮數(shù)(finitenumber)，可以看做類標(biāo)號，分類問題首先要給定有l(wèi)able的數(shù)據(jù)訓(xùn)練分類器，故屬于有監(jiān)督學(xué)習(xí)過程。分類過程中cost function l(X,Y)是X屬于類Y的概率的負(fù)對數(shù)。

其中fi(X)=P(Y=i/X)。

?

無監(jiān)督學(xué)習(xí)（unsupervised learning）

輸入數(shù)據(jù)沒有被標(biāo)記，也沒有確定的結(jié)果。樣本數(shù)據(jù)類別未知，需要根據(jù)樣本間的相似性對樣本集進(jìn)行分類（聚類，clustering）試圖使類內(nèi)差距最小化，類間差距最大化。通俗點將就是實際應(yīng)用中，不少情況下無法預(yù)先知道樣本的標(biāo)簽，也就是說沒有訓(xùn)練樣本對應(yīng)的類別，因而只能從原先沒有樣本標(biāo)簽的樣本集開始學(xué)習(xí)分類器設(shè)計。

非監(jiān)督學(xué)習(xí)目標(biāo)不是告訴計算機怎么做，而是讓它（計算機）自己去學(xué)習(xí)怎樣做事情。非監(jiān)督學(xué)習(xí)有兩種思路。第一種思路是在指導(dǎo)Agent時不為其指定明確分類，而是在成功時，采用某種形式的激勵制度。需要注意的是，這類訓(xùn)練通常會置于決策問題的框架里，因為它的目標(biāo)不是為了產(chǎn)生一個分類系統(tǒng)，而是做出最大回報的決定，這種思路很好的概括了現(xiàn)實世界，agent可以對正確的行為做出激勵，而對錯誤行為做出懲罰。

無監(jiān)督學(xué)習(xí)的方法分為兩大類：

(1)????一類為基于概率密度函數(shù)估計的直接方法：指設(shè)法找到各類別在特征空間的分布參數(shù)，再進(jìn)行分類。

(2)????另一類是稱為基于樣本間相似性度量的簡潔聚類方法：其原理是設(shè)法定出不同類別的核心或初始內(nèi)核，然后依據(jù)樣本與核心之間的相似性度量將樣本聚集成不同的類別。

利用聚類結(jié)果，可以提取數(shù)據(jù)集中隱藏信息，對未來數(shù)據(jù)進(jìn)行分類和預(yù)測。應(yīng)用于數(shù)據(jù)挖掘，模式識別，圖像處理等。

????PCA和很多deep learning算法都屬于無監(jiān)督學(xué)習(xí)。?

兩者的不同點

1.??????有監(jiān)督學(xué)習(xí)方法必須要有訓(xùn)練集與測試樣本。在訓(xùn)練集中找規(guī)律，而對測試樣本使用這種規(guī)律。而非監(jiān)督學(xué)習(xí)沒有訓(xùn)練集，只有一組數(shù)據(jù)，在該組數(shù)據(jù)集內(nèi)尋找規(guī)律。

2.??????有監(jiān)督學(xué)習(xí)的方法就是識別事物，識別的結(jié)果表現(xiàn)在給待識別數(shù)據(jù)加上了標(biāo)簽。因此訓(xùn)練樣本集必須由帶標(biāo)簽的樣本組成。而非監(jiān)督學(xué)習(xí)方法只有要分析的數(shù)據(jù)集的本身，預(yù)先沒有什么標(biāo)簽。如果發(fā)現(xiàn)數(shù)據(jù)集呈現(xiàn)某種聚集性，則可按自然的聚集性分類，但不予以某種預(yù)先分類標(biāo)簽對上號為目的。

3.??????非監(jiān)督學(xué)習(xí)方法在尋找數(shù)據(jù)集中的規(guī)律性，這種規(guī)律性并不一定要達(dá)到劃分?jǐn)?shù)據(jù)集的目的，也就是說不一定要“分類”。

這一點是比有監(jiān)督學(xué)習(xí)方法的用途要廣。??? 譬如分析一堆數(shù)據(jù)的主分量，或分析數(shù)據(jù)集有什么特點都可以歸于非監(jiān)督學(xué)習(xí)方法的范疇。

4.??????用非監(jiān)督學(xué)習(xí)方法分析數(shù)據(jù)集的主分量與用K-L變換計算數(shù)據(jù)集的主分量又有區(qū)別。后者從方法上講不是學(xué)習(xí)方法。因此用K-L變換找主分量不屬于無監(jiān)督學(xué)習(xí)方法，即方法上不是。而通過學(xué)習(xí)逐漸找到規(guī)律性這體現(xiàn)了學(xué)習(xí)方法這一點。在人工神經(jīng)元網(wǎng)絡(luò)中尋找主分量的方法屬于無監(jiān)督學(xué)習(xí)方法。?

何時采用哪種方法

? 簡單的方法就是從定義入手，有訓(xùn)練樣本則考慮采用監(jiān)督學(xué)習(xí)方法；無訓(xùn)練樣本，則一定不能用監(jiān)督學(xué)習(xí)方法。但是，現(xiàn)實問題中，即使沒有訓(xùn)練樣本，我們也能夠憑借自己的雙眼，從待分類的數(shù)據(jù)中，人工標(biāo)注一些樣本，并把它們作為訓(xùn)練樣本，這樣的話，可以把條件改善，用監(jiān)督學(xué)習(xí)方法來做。對于不同的場景，正負(fù)樣本的分布如果會存在偏移（可能大的偏移，可能比較小），這樣的話，監(jiān)督學(xué)習(xí)的效果可能就不如用非監(jiān)督學(xué)習(xí)了。