【機(jī)器學(xué)習(xí)】半監(jiān)督學(xué)習(xí)幾種方法

1.Self-training algorithm(自訓(xùn)練算法)

這個(gè)是最早提出的一種研究半監(jiān)督學(xué)習(xí)的算法，也是一種最簡(jiǎn)單的半監(jiān)督學(xué)習(xí)算法．

2.Multi-view algorithm(多視角算法)

一般多用于可以進(jìn)行自然特征分裂的數(shù)據(jù)集中．考慮特殊情況（每個(gè)數(shù)據(jù)點(diǎn)表征兩個(gè)特征）：每一個(gè)數(shù)據(jù)點(diǎn)看成是兩個(gè)特征的集合，然后利用協(xié)同訓(xùn)練(Co-training algorithm)進(jìn)行處理．協(xié)同訓(xùn)練（co-training）算法，此類算法隱含地利用了聚類假設(shè)或流形假設(shè)，它們使用兩個(gè)或多個(gè)學(xué)習(xí)器，在學(xué)習(xí)過程中，這些學(xué)習(xí)器挑選若干個(gè)置信度高的未標(biāo)記示例進(jìn)行相互標(biāo)記，從而使得模型得以更新。

Balcan and Blum (2006) show that co-training can be quite effective, that in the extreme case only one labeled point is needed to learn the classifier. Zhou et al. (2007) give a co-training algorithm using Canonical Correlation Analysis which also need only one labeled point. Dasgupta et al. (Dasgupta et al., 2001) provide a PAC-style th-eoretical analysis.

3.Generative Models(生成模型)

以生成式模型為分類器，將未標(biāo)記示例屬于每個(gè)類別的概率視為一組缺失參數(shù)，然后采用EM算法來進(jìn)行標(biāo)記估計(jì)和模型參數(shù)估計(jì)，此類算法可以看成是在少量有標(biāo)記示例周圍進(jìn)行聚類，是早期直接采用聚類假設(shè)的做法。EM算法的貪心本質(zhì)使其容易陷入局部極值，因此算法對(duì)初始值的選擇具有很強(qiáng)的依賴性．常用的解決方法是采用多組初值進(jìn)行重復(fù)運(yùn)算，并從中選擇最好的一組解，或者通過復(fù)雜的優(yōu)化算法(如分裂合并EM算法)獲取參數(shù)的優(yōu)化解．這些做法盡管降低了對(duì)初始值選擇的敏感性，但卻引入了過多的運(yùn)算負(fù)擔(dān)。

具體算法這里不說，我這里只說一下生成模型（Generative Models）和判別模型（Discriminative Models）的區(qū)別．

對(duì)于分類和聚類問題而言．①判別模型只關(guān)心類的決定邊界在哪里；生成模型關(guān)心的是類本身而非決定邊界．②判別模型只能判定數(shù)據(jù)點(diǎn)屬于哪個(gè)類別，無法將過程描述出來；生成模型可以將過程描述．③生成模型可以得到判別模型；判別模型推不出生成模型．④判別模型估計(jì)的是條件概率分布（Conditional distribution）；生成模型估計(jì)的是聯(lián)合概率分布（Joint probability distribution）．

常見的判別模型有：Linear discriminate analysis, Support vector machines, Boosting, Conditional random fields, Logistic regression.

常見的生成模型有：Gaussian distribution, Gaussian mixture model, Multinomial distribution, Hidden Markov model, Na?ve Bayes, Latent Dirichlet allocation.

4.Transductive SVM(轉(zhuǎn)導(dǎo)SVM)

強(qiáng)調(diào)一點(diǎn)，根據(jù)Vapnik的Statistical Learning Theory中提出統(tǒng)計(jì)學(xué)習(xí)中考慮兩種不同類型的推理：歸納推理（Inductive inference）和轉(zhuǎn)導(dǎo)推理(Transductive inference)．轉(zhuǎn)導(dǎo)推理的目的是估計(jì)某一未知預(yù)測(cè)函數(shù)在給定興趣點(diǎn)上的值（而不是在該函數(shù)的全部定義域上的值）．關(guān)鍵是，通過求解要求較低的問題，可以得到更精確的解．

傳統(tǒng)的推理方法是歸納－演繹方法，人們首先根據(jù)用已有的信息定義一個(gè)一般規(guī)則，然后用這個(gè)規(guī)則來推斷所需要的答案．也就是說，首先從特殊到一般，然后從一般到特殊．但是在轉(zhuǎn)導(dǎo)模式中，我們進(jìn)行直接的從特殊到特殊的推理，避免了推理中的不適定部分．

5.Graph-Based Algorithms(基于圖的算法)

是基于圖正則化框架的半監(jiān)督學(xué)習(xí)算法，此類算法直接或間接地利用了流形假設(shè)，它們通常先根據(jù)訓(xùn)練例及某種相似度度量建立一個(gè)圖，圖中結(jié)點(diǎn)對(duì)應(yīng)了（有標(biāo)記或未標(biāo)記）示例，邊為示例間的相似度，然后，定義所需優(yōu)化的目標(biāo)函數(shù)并使用決策函數(shù)在圖上的光滑性作為正則化項(xiàng)來求取最優(yōu)模型參數(shù)

Which method should I choose ?

This may be difficult in reality. Nonetheless we can try the following checklist: Do the classes producewell clustered data? If yes, EM with generative mixture models may be a good choice; Do the features naturally split into two sets? If yes, co-training may be appropriate; Is it true that two points with similar features tend to be in the same class? If yes, graph-based methods can be used; Already using SVM? Transductive SVM is a natural extension; Is the existing supervised classifier complicated and hard to modify? Self-training is a practical wrapper method.

Where can I learn more?

A: An existing survey can be found in (Seeger, 2001).