考慮一種棘手的情況：訓(xùn)練數(shù)據(jù)中大部分樣本沒有標(biāo)簽。此時(shí)，我們可以考慮使用半監(jiān)督學(xué)習(xí)方法來處理。半監(jiān)督學(xué)習(xí)能夠利用這些額外的未標(biāo)記數(shù)據(jù)，更好地捕捉數(shù)據(jù)分布的潛在形狀，并在新樣本上的泛化能力更強(qiáng)。當(dāng)我們只有非常少量的已標(biāo)記數(shù)據(jù)，同時(shí)有大量未標(biāo)記數(shù)據(jù)點(diǎn)時(shí)，這種算法可以表現(xiàn)得非常出色。

在sklearn中，基于圖算法的半監(jiān)督學(xué)習(xí)有Label Propagation和Label Spreading兩種。他們的主要區(qū)別是第二種方法帶有正則化機(jī)制。

一、Label Propagation

基本原理：

Label Propagation算法基于圖理論。算法首先構(gòu)建一個(gè)圖，其中每個(gè)節(jié)點(diǎn)代表一個(gè)數(shù)據(jù)點(diǎn)，無論是標(biāo)記的還是未標(biāo)記的。節(jié)點(diǎn)之間的邊代表數(shù)據(jù)點(diǎn)之間的相似性。算法的目的是通過圖傳播標(biāo)簽信息，使未標(biāo)記數(shù)據(jù)獲得標(biāo)簽。

關(guān)鍵特點(diǎn)：

相似性度量：通常使用K近鄰（KNN）或者基于核的方法來定義數(shù)據(jù)點(diǎn)之間的相似性。

標(biāo)簽傳播：標(biāo)簽信息從標(biāo)記數(shù)據(jù)點(diǎn)傳播到未標(biāo)記數(shù)據(jù)點(diǎn)，通過迭代過程實(shí)現(xiàn)。

適用場(chǎng)景：適合于數(shù)據(jù)量較大、標(biāo)記數(shù)據(jù)稀缺的情況。

二、Label Spreading

基本原理：

Label Spreading和Label Propagation非常相似，但在處理標(biāo)簽信息和正則化方面有所不同。它同樣基于構(gòu)建圖來傳播標(biāo)簽。

關(guān)鍵特點(diǎn)：

正則化機(jī)制：Label Spreading引入了正則化參數(shù)，可以控制標(biāo)簽傳播的過程，使算法更加健壯。

穩(wěn)定性：由于正則化的存在，Label Spreading在面對(duì)噪聲數(shù)據(jù)時(shí)通常比Label Propagation更穩(wěn)定。

適用場(chǎng)景：同樣適用于有大量未標(biāo)記數(shù)據(jù)的情況，尤其當(dāng)數(shù)據(jù)包含噪聲時(shí)。

本文首先介紹Label Propagation，帶有正則的Label Spreading 將在下篇介紹。首先生成一些凹的數(shù)據(jù)。

# 生成環(huán)形數(shù)據(jù)
import numpy as np
from sklearn.datasets import make_circles
X, y = make_circles(n_samples=200, shuffle=False)
outer, inner = 0, 1
labels = np.full(200, -1.0)
labels[0] = outer
labels[-1] = inner

# 畫圖
import matplotlib.pyplot as plt
plt.figure(figsize=(4, 4))
plt.scatter(X[labels == outer, 0], X[labels == outer, 1],)
plt.scatter(X[labels == inner, 0], X[labels == inner, 1],)
plt.scatter(X[labels == -1, 0], X[labels == -1, 1], marker=".",);

標(biāo)簽處理是CDA數(shù)據(jù)分析師二級(jí)考試的核心內(nèi)容，在給工商銀行等銀行做內(nèi)訓(xùn)時(shí)，這一部分技能是銀行最重視的，因?yàn)殂y行防作弊放欺詐最核心的就是對(duì)用戶打標(biāo)簽，如果大家想提升這塊的能力，點(diǎn)擊下方鏈接。

Label Propagation算法的迭代計(jì)算過程是基于圖論原理的。在這個(gè)過程中，算法首先構(gòu)建一個(gè)圖，其中每個(gè)節(jié)點(diǎn)代表一個(gè)數(shù)據(jù)點(diǎn)，然后通過圖中的連接來傳播標(biāo)簽信息。下面是詳細(xì)的步驟介紹：

1、構(gòu)建圖

?首先，算法構(gòu)建一個(gè)圖，圖中的每個(gè)節(jié)點(diǎn)代表一個(gè)數(shù)據(jù)樣本。這些節(jié)點(diǎn)包括已標(biāo)記的節(jié)點(diǎn)和未標(biāo)記的節(jié)點(diǎn)。

2、確定相似性權(quán)重

在圖中，節(jié)點(diǎn)之間的邊代表數(shù)據(jù)點(diǎn)之間的相似性。這種相似性通常通過一些度量來計(jì)算，比如歐幾里得距離（用于K近鄰方法）或者基于核的相似性函數(shù)（如高斯核）。每條邊的權(quán)重反映了兩個(gè)節(jié)點(diǎn)之間的相似度。

3、初始化標(biāo)簽信息

對(duì)于每個(gè)數(shù)據(jù)點(diǎn)，算法維護(hù)一個(gè)標(biāo)簽分布向量。對(duì)于已標(biāo)記的數(shù)據(jù)點(diǎn)，這個(gè)向量直接反映了其標(biāo)簽信息。對(duì)于未標(biāo)記的數(shù)據(jù)點(diǎn)，標(biāo)簽分布初始通常是均勻的，或者用其他方式初始化。

4、迭代更新標(biāo)簽?????????

接下來，算法進(jìn)入迭代過程。在每次迭代中，每個(gè)未標(biāo)記節(jié)點(diǎn)的標(biāo)簽信息會(huì)根據(jù)其鄰居節(jié)點(diǎn)（包括已標(biāo)記和未標(biāo)記的節(jié)點(diǎn)）的標(biāo)簽信息進(jìn)行更新。具體來說，一個(gè)節(jié)點(diǎn)的新標(biāo)簽分布是其所有鄰居節(jié)點(diǎn)的標(biāo)簽分布的加權(quán)平均，權(quán)重由相似性權(quán)重決定。

5、歸一化

更新完所有未標(biāo)記節(jié)點(diǎn)的標(biāo)簽分布后，通常需要對(duì)這些分布進(jìn)行歸一化處理，以確保它們表示有效的概率分布。

6、收斂判斷

這個(gè)過程會(huì)不斷迭代，直到達(dá)到某個(gè)收斂條件，比如迭代次數(shù)達(dá)到預(yù)設(shè)的上限，或者標(biāo)簽分布的變化小于某個(gè)閾值。

7、確定最終標(biāo)簽

一旦算法收斂，每個(gè)未標(biāo)記數(shù)據(jù)點(diǎn)的標(biāo)簽被確定為其標(biāo)簽分布中概率最高的標(biāo)簽。

# Label Propagation
from sklearn.semi_supervised import LabelPropagation

label_propagation = LabelPropagation(kernel="knn")
label_propagation.fit(X, labels)

# Label Propagation打標(biāo)簽后的結(jié)果
output= np.asarray(label_propagation.transduction_)
outer_numbers = np.where(output == outer)[0]
inner_numbers = np.where(output == inner)[0]

plt.figure(figsize=(4, 4))
plt.scatter(X[outer_numbers, 0], X[outer_numbers, 1],)
plt.scatter(X[inner_numbers, 0], X[inner_numbers, 1],);

注意參數(shù)kernel="knn"?？梢园l(fā)現(xiàn)，若把kernel換成rbf，則無法得到正確傳播結(jié)果。這是因?yàn)閞bf是考慮全局的數(shù)據(jù)分布，因此內(nèi)圈初始的標(biāo)簽擴(kuò)散出去后很難被更新。KNN只考慮局部，不會(huì)出現(xiàn)此問題。

KNN 圖

• 數(shù)據(jù)量大，計(jì)算資源有限。

• 數(shù)據(jù)點(diǎn)分布稀疏，且局部鄰域信息足夠區(qū)分標(biāo)簽（如聚類明顯的情況下）。

RBF 圖

• 數(shù)據(jù)量較小或中等，計(jì)算資源充足。

• 數(shù)據(jù)點(diǎn)分布緊密，且需要捕獲全局信息（如圖像或文本的復(fù)雜分布）。

抓住機(jī)遇，狠狠提升自己

隨著各行各業(yè)進(jìn)行數(shù)字化轉(zhuǎn)型，數(shù)據(jù)分析能力已經(jīng)成了職場(chǎng)的剛需能力，這也是這兩年CDA數(shù)據(jù)分析師大火的原因。和領(lǐng)導(dǎo)提建議再說“我感覺”“我覺得”，自己都覺得心虛，如果說“數(shù)據(jù)分析發(fā)現(xiàn)……”，肯定更有說服力。想在職場(chǎng)精進(jìn)一步還是要學(xué)習(xí)數(shù)據(jù)分析的，統(tǒng)計(jì)學(xué)、概率論、商業(yè)模型、SQL，Python還是要會(huì)一些，能讓你工作效率提升不少。備考CDA數(shù)據(jù)分析師的過程就是個(gè)自我提升的過程。

CDA 考試官方報(bào)名入口:https://www.cdaglobal.com/pinggu.html