【機器學(xué)習(xí)】半監(jiān)督學(xué)習(xí)幾種方法

1.Self-training algorithm(自訓(xùn)練算法)

這個是最早提出的一種研究半監(jiān)督學(xué)習(xí)的算法，也是一種最簡單的半監(jiān)督學(xué)習(xí)算法．

2.Multi-view algorithm(多視角算法)

一般多用于可以進行自然特征分裂的數(shù)據(jù)集中．考慮特殊情況（每個數(shù)據(jù)點表征兩個特征）：每一個數(shù)據(jù)點看成是兩個特征的集合，然后利用協(xié)同訓(xùn)練(Co-training algorithm)進行處理．協(xié)同訓(xùn)練（co-training）算法，此類算法隱含地利用了聚類假設(shè)或流形假設(shè)，它們使用兩個或多個學(xué)習(xí)器，在學(xué)習(xí)過程中，這些學(xué)習(xí)器挑選若干個置信度高的未標記示例進行相互標記，從而使得模型得以更新。

Balcan and Blum (2006) show that co-training can be quite effective, that in the extreme case only one labeled point is needed to learn the classifier. Zhou et al. (2007) give a co-training algorithm using Canonical Correlation Analysis which also need only one labeled point. Dasgupta et al. (Dasgupta et al., 2001) provide a PAC-style th-eoretical analysis.

3.Generative Models(生成模型)

以生成式模型為分類器，將未標記示例屬于每個類別的概率視為一組缺失參數(shù)，然后采用EM算法來進行標記估計和模型參數(shù)估計，此類算法可以看成是在少量有標記示例周圍進行聚類，是早期直接采用聚類假設(shè)的做法。EM算法的貪心本質(zhì)使其容易陷入局部極值，因此算法對初始值的選擇具有很強的依賴性．常用的解決方法是采用多組初值進行重復(fù)運算，并從中選擇最好的一組解，或者通過復(fù)雜的優(yōu)化算法(如分裂合并EM算法)獲取參數(shù)的優(yōu)化解．這些做法盡管降低了對初始值選擇的敏感性，但卻引入了過多的運算負擔(dān)。

具體算法這里不說，我這里只說一下生成模型（Generative Models）和判別模型（Discriminative Models）的區(qū)別．

對于分類和聚類問題而言．①判別模型只關(guān)心類的決定邊界在哪里；生成模型關(guān)心的是類本身而非決定邊界．②判別模型只能判定數(shù)據(jù)點屬于哪個類別，無法將過程描述出來；生成模型可以將過程描述．③生成模型可以得到判別模型；判別模型推不出生成模型．④判別模型估計的是條件概率分布（Conditional distribution）；生成模型估計的是聯(lián)合概率分布（Joint probability distribution）．

常見的判別模型有：Linear discriminate analysis, Support vector machines, Boosting, Conditional random fields, Logistic regression.

常見的生成模型有：Gaussian distribution, Gaussian mixture model, Multinomial distribution, Hidden Markov model, Na?ve Bayes, Latent Dirichlet allocation.

4.Transductive SVM(轉(zhuǎn)導(dǎo)SVM)

強調(diào)一點，根據(jù)Vapnik的Statistical Learning Theory中提出統(tǒng)計學(xué)習(xí)中考慮兩種不同類型的推理：歸納推理（Inductive inference）和轉(zhuǎn)導(dǎo)推理(Transductive inference)．轉(zhuǎn)導(dǎo)推理的目的是估計某一未知預(yù)測函數(shù)在給定興趣點上的值（而不是在該函數(shù)的全部定義域上的值）．關(guān)鍵是，通過求解要求較低的問題，可以得到更精確的解．

傳統(tǒng)的推理方法是歸納－演繹方法，人們首先根據(jù)用已有的信息定義一個一般規(guī)則，然后用這個規(guī)則來推斷所需要的答案．也就是說，首先從特殊到一般，然后從一般到特殊．但是在轉(zhuǎn)導(dǎo)模式中，我們進行直接的從特殊到特殊的推理，避免了推理中的不適定部分．

5.Graph-Based Algorithms(基于圖的算法)

是基于圖正則化框架的半監(jiān)督學(xué)習(xí)算法，此類算法直接或間接地利用了流形假設(shè)，它們通常先根據(jù)訓(xùn)練例及某種相似度度量建立一個圖，圖中結(jié)點對應(yīng)了（有標記或未標記）示例，邊為示例間的相似度，然后，定義所需優(yōu)化的目標函數(shù)并使用決策函數(shù)在圖上的光滑性作為正則化項來求取最優(yōu)模型參數(shù)

Which method should I choose ?

This may be difficult in reality. Nonetheless we can try the following checklist: Do the classes producewell clustered data? If yes, EM with generative mixture models may be a good choice; Do the features naturally split into two sets? If yes, co-training may be appropriate; Is it true that two points with similar features tend to be in the same class? If yes, graph-based methods can be used; Already using SVM? Transductive SVM is a natural extension; Is the existing supervised classifier complicated and hard to modify? Self-training is a practical wrapper method.

Where can I learn more?

A: An existing survey can be found in (Seeger, 2001).