考慮一種棘手的情況：訓練數(shù)據(jù)中大部分樣本沒有標簽。此時，我們可以考慮使用半監(jiān)督學習方法來處理。半監(jiān)督學習能夠利用這些額外的未標記數(shù)據(jù)，更好地捕捉數(shù)據(jù)分布的潛在形狀，并在新樣本上的泛化能力更強。當我們只有非常少量的已標記數(shù)據(jù)，同時有大量未標記數(shù)據(jù)點時，這種算法可以表現(xiàn)得非常出色。

在sklearn中，基于圖算法的半監(jiān)督學習有Label Propagation和Label Spreading兩種。他們的主要區(qū)別是第二種方法帶有正則化機制。

一、Label Propagation

基本原理：

Label Propagation算法基于圖理論。算法首先構(gòu)建一個圖，其中每個節(jié)點代表一個數(shù)據(jù)點，無論是標記的還是未標記的。節(jié)點之間的邊代表數(shù)據(jù)點之間的相似性。算法的目的是通過圖傳播標簽信息，使未標記數(shù)據(jù)獲得標簽。

關(guān)鍵特點：

相似性度量：通常使用K近鄰（KNN）或者基于核的方法來定義數(shù)據(jù)點之間的相似性。

標簽傳播：標簽信息從標記數(shù)據(jù)點傳播到未標記數(shù)據(jù)點，通過迭代過程實現(xiàn)。

適用場景：適合于數(shù)據(jù)量較大、標記數(shù)據(jù)稀缺的情況。

二、Label Spreading

基本原理：

Label Spreading和Label Propagation非常相似，但在處理標簽信息和正則化方面有所不同。它同樣基于構(gòu)建圖來傳播標簽。

關(guān)鍵特點：

正則化機制：Label Spreading引入了正則化參數(shù)，可以控制標簽傳播的過程，使算法更加健壯。

穩(wěn)定性：由于正則化的存在，Label Spreading在面對噪聲數(shù)據(jù)時通常比Label Propagation更穩(wěn)定。

適用場景：同樣適用于有大量未標記數(shù)據(jù)的情況，尤其當數(shù)據(jù)包含噪聲時。

本文首先介紹Label Propagation，帶有正則的Label Spreading 將在下篇介紹。首先生成一些凹的數(shù)據(jù)。

# 生成環(huán)形數(shù)據(jù)
import numpy as np
from sklearn.datasets import make_circles
X, y = make_circles(n_samples=200, shuffle=False)
outer, inner = 0, 1
labels = np.full(200, -1.0)
labels[0] = outer
labels[-1] = inner

# 畫圖
import matplotlib.pyplot as plt
plt.figure(figsize=(4, 4))
plt.scatter(X[labels == outer, 0], X[labels == outer, 1],)
plt.scatter(X[labels == inner, 0], X[labels == inner, 1],)
plt.scatter(X[labels == -1, 0], X[labels == -1, 1], marker=".",);

標簽處理是CDA數(shù)據(jù)分析師二級考試的核心內(nèi)容，在給工商銀行等銀行做內(nèi)訓時，這一部分技能是銀行最重視的，因為銀行防作弊放欺詐最核心的就是對用戶打標簽，如果大家想提升這塊的能力，點擊下方鏈接。

Label Propagation算法的迭代計算過程是基于圖論原理的。在這個過程中，算法首先構(gòu)建一個圖，其中每個節(jié)點代表一個數(shù)據(jù)點，然后通過圖中的連接來傳播標簽信息。下面是詳細的步驟介紹：

1、構(gòu)建圖

?首先，算法構(gòu)建一個圖，圖中的每個節(jié)點代表一個數(shù)據(jù)樣本。這些節(jié)點包括已標記的節(jié)點和未標記的節(jié)點。

2、確定相似性權(quán)重

在圖中，節(jié)點之間的邊代表數(shù)據(jù)點之間的相似性。這種相似性通常通過一些度量來計算，比如歐幾里得距離（用于K近鄰方法）或者基于核的相似性函數(shù)（如高斯核）。每條邊的權(quán)重反映了兩個節(jié)點之間的相似度。

3、初始化標簽信息

對于每個數(shù)據(jù)點，算法維護一個標簽分布向量。對于已標記的數(shù)據(jù)點，這個向量直接反映了其標簽信息。對于未標記的數(shù)據(jù)點，標簽分布初始通常是均勻的，或者用其他方式初始化。

4、迭代更新標簽?????????

接下來，算法進入迭代過程。在每次迭代中，每個未標記節(jié)點的標簽信息會根據(jù)其鄰居節(jié)點（包括已標記和未標記的節(jié)點）的標簽信息進行更新。具體來說，一個節(jié)點的新標簽分布是其所有鄰居節(jié)點的標簽分布的加權(quán)平均，權(quán)重由相似性權(quán)重決定。

5、歸一化

更新完所有未標記節(jié)點的標簽分布后，通常需要對這些分布進行歸一化處理，以確保它們表示有效的概率分布。

6、收斂判斷

這個過程會不斷迭代，直到達到某個收斂條件，比如迭代次數(shù)達到預設(shè)的上限，或者標簽分布的變化小于某個閾值。

7、確定最終標簽

一旦算法收斂，每個未標記數(shù)據(jù)點的標簽被確定為其標簽分布中概率最高的標簽。

# Label Propagation
from sklearn.semi_supervised import LabelPropagation

label_propagation = LabelPropagation(kernel="knn")
label_propagation.fit(X, labels)

# Label Propagation打標簽后的結(jié)果
output= np.asarray(label_propagation.transduction_)
outer_numbers = np.where(output == outer)[0]
inner_numbers = np.where(output == inner)[0]

plt.figure(figsize=(4, 4))
plt.scatter(X[outer_numbers, 0], X[outer_numbers, 1],)
plt.scatter(X[inner_numbers, 0], X[inner_numbers, 1],);

注意參數(shù)kernel="knn"?？梢园l(fā)現(xiàn)，若把kernel換成rbf，則無法得到正確傳播結(jié)果。這是因為rbf是考慮全局的數(shù)據(jù)分布，因此內(nèi)圈初始的標簽擴散出去后很難被更新。KNN只考慮局部，不會出現(xiàn)此問題。

KNN 圖

• 數(shù)據(jù)量大，計算資源有限。

• 數(shù)據(jù)點分布稀疏，且局部鄰域信息足夠區(qū)分標簽（如聚類明顯的情況下）。

RBF 圖

• 數(shù)據(jù)量較小或中等，計算資源充足。

• 數(shù)據(jù)點分布緊密，且需要捕獲全局信息（如圖像或文本的復雜分布）。

抓住機遇，狠狠提升自己

隨著各行各業(yè)進行數(shù)字化轉(zhuǎn)型，數(shù)據(jù)分析能力已經(jīng)成了職場的剛需能力，這也是這兩年CDA數(shù)據(jù)分析師大火的原因。和領(lǐng)導提建議再說“我感覺”“我覺得”，自己都覺得心虛，如果說“數(shù)據(jù)分析發(fā)現(xiàn)……”，肯定更有說服力。想在職場精進一步還是要學習數(shù)據(jù)分析的，統(tǒng)計學、概率論、商業(yè)模型、SQL，Python還是要會一些，能讓你工作效率提升不少。備考CDA數(shù)據(jù)分析師的過程就是個自我提升的過程。

CDA 考試官方報名入口:https://www.cdaglobal.com/pinggu.html