當(dāng)我們只有非常少量的已標(biāo)記數(shù)據(jù)，同時有大量未標(biāo)記數(shù)據(jù)點時，可以使用半監(jiān)督學(xué)習(xí)算法來處理。在sklearn中，基于圖算法的半監(jiān)督學(xué)習(xí)有Label Propagation和Label Spreading兩種。他們的主要區(qū)別是第二種方法帶有正則化機制。

我們在上篇已經(jīng)講解了Label Propagation，本篇我們講解帶有正則的Label Spreading。首先生成一些凹的數(shù)據(jù)。

# 生成環(huán)形數(shù)據(jù)
import numpy as np
from sklearn.datasets import make_circles
X, y = make_circles(n_samples=200, shuffle=False)
outer, inner = 0, 1
labels = np.full(200, -1.0)
labels[0] = outer
labels[-1] = inner

# 畫圖
import matplotlib.pyplot as plt
plt.figure(figsize=(4, 4))
plt.scatter(X[labels == outer, 0], X[labels == outer, 1],)
plt.scatter(X[labels == inner, 0], X[labels == inner, 1],)
plt.scatter(X[labels == -1, 0], X[labels == -1, 1], marker=".",);

Label Spreading（標(biāo)簽擴散）算法是一種用于半監(jiān)督學(xué)習(xí)的方法，它在Label Propagation的基礎(chǔ)上引入了正則化機制。這種機制使得算法在處理噪聲數(shù)據(jù)時更為穩(wěn)定和健壯。下面是Label Spreading算法的迭代計算過程的詳細(xì)介紹：

1、構(gòu)建圖

和Label Propagation一樣，Label Spreading首先構(gòu)建一個圖，圖中的每個節(jié)點代表一個數(shù)據(jù)樣本，節(jié)點可以是已標(biāo)記的也可以是未標(biāo)記的。

2、計算相似性權(quán)重

節(jié)點之間的邊表示數(shù)據(jù)點之間的相似性。這種相似性通常用距離度量（如歐氏距離）或核函數(shù)（如高斯核）來計算。邊的權(quán)重反映了兩個數(shù)據(jù)點之間的相似度。

3、初始化標(biāo)簽信息

每個數(shù)據(jù)點都有一個標(biāo)簽分布向量。對于已標(biāo)記的數(shù)據(jù)，這個向量直接表示其標(biāo)簽信息。對于未標(biāo)記的數(shù)據(jù)，初始時這個向量通常是均勻分布，或者有其他的初始化方法。

4、構(gòu)建傳播矩陣

Label Spreading算法構(gòu)建了一個傳播矩陣，用于在迭代過程中更新標(biāo)簽信息。這個矩陣基于節(jié)點的相似性權(quán)重，但與Label Propagation不同的是，它會引入一個正則化項。

5、迭代更新標(biāo)簽

在每次迭代中，對于每個未標(biāo)記節(jié)點，其標(biāo)簽分布根據(jù)鄰居節(jié)點（包括已標(biāo)記和未標(biāo)記的節(jié)點）的標(biāo)簽信息進行更新。具體地，一個節(jié)點的新標(biāo)簽分布是其所有鄰居節(jié)點的標(biāo)簽分布的加權(quán)平均，這個權(quán)重由傳播矩陣給出。

6、應(yīng)用正則化

正則化是Label Spreading的一個關(guān)鍵特點。它幫助算法抵抗噪聲和過擬合，提高了算法的魯棒性。正則化參數(shù)控制著標(biāo)簽信息在未標(biāo)記數(shù)據(jù)之間傳播的強度。

7、歸一化標(biāo)簽分布

更新完所有未標(biāo)記節(jié)點的標(biāo)簽分布后，這些分布通常需要被歸一化，確保它們是有效的概率分布。

8、收斂判斷

算法重復(fù)迭代更新過程，直到滿足某個收斂條件，如迭代次數(shù)上限或者標(biāo)簽分布的變化小于某個閾值。

9、確定最終標(biāo)簽

一旦算法收斂，每個未標(biāo)記數(shù)據(jù)點的標(biāo)簽被確定為其標(biāo)簽分布中概率最高的標(biāo)簽。

關(guān)鍵要點

• 正則化機制：正則化幫助算法在處理噪聲數(shù)據(jù)和不完全標(biāo)記的數(shù)據(jù)時保持穩(wěn)定。
• 適用性：Label Spreading適用于有大量未標(biāo)記數(shù)據(jù)的情況，尤其當(dāng)數(shù)據(jù)包含噪聲或者不完全標(biāo)記時。
• 靈活性與穩(wěn)健性：算法的性能依賴于圖的構(gòu)建方式、相似性度量的選擇，以及正則化參數(shù)的設(shè)定。

總的來說，Label Spreading是一個強大而靈活的工具，適用于各種半監(jiān)督學(xué)習(xí)場景，尤其是在數(shù)據(jù)標(biāo)簽稀缺或包含噪聲的情況下。

在實際應(yīng)用中，銀行利用標(biāo)簽處理技術(shù)構(gòu)建反欺詐模型，通過對用戶行為、交易特征等多維度數(shù)據(jù)進行分析，定義并應(yīng)用各種風(fēng)險標(biāo)簽。這些標(biāo)簽可以幫助銀行快速識別異常交易行為，提升反欺詐能力。例如，通過分析黑樣本案例特征，銀行可以定義如“當(dāng)天還款后立即交易”等標(biāo)簽，并將其應(yīng)用于反詐模型的開發(fā)和訓(xùn)練。

在Label Spreading算法中，正則化傳播矩陣是核心組件之一，用于在迭代過程中調(diào)整和傳播標(biāo)簽信息。這個傳播矩陣通過結(jié)合圖的相似性結(jié)構(gòu)和正則化機制，有效地平衡了標(biāo)簽信息的傳播和抗噪聲能力。以下是正則化傳播矩陣的關(guān)鍵點：

1、構(gòu)建圖和相似性矩陣

首先，算法構(gòu)建一個圖，為每個數(shù)據(jù)點準(zhǔn)備一個標(biāo)簽矩陣Y。對于已標(biāo)記的數(shù)據(jù)點，標(biāo)簽矩陣的相應(yīng)行用其標(biāo)簽的獨熱編碼（one-hot encoding）表示；對于未標(biāo)記的數(shù)據(jù)點，標(biāo)簽矩陣的相應(yīng)行初始化為均勻分布或其他方式。

然后，基于KNN或RBF核等方法計算相似性矩陣（通常表示為S），其中每個元素Sij表示節(jié)點i和j之間的相似度。

2、歸一化相似性矩陣

相似性矩陣接著被歸一化，以便每個節(jié)點的相似度總和為1。這可以通過對矩陣S 的每一行進行歸一化來實現(xiàn)，得到歸一化的矩陣T。

3、正則化傳播矩陣

正則化傳播矩陣由歸一化的相似性矩陣和一個正則化參數(shù)α構(gòu)建而成。通常，P的計算公式為

其中I是單位矩陣，α是一個介于0和1之間的參數(shù)，用于控制傳播過程中的正則化程度。

4、正則化參數(shù)α

作用：參數(shù)α控制了標(biāo)簽信息在原始標(biāo)簽和鄰居標(biāo)簽間的平衡。較小的α值更強調(diào)鄰居節(jié)點的標(biāo)簽信息，而較大的α值使算法更加傾向于保持原始標(biāo)簽。 抗噪聲能力：通過調(diào)整α，Label Spreading算法能夠在保持?jǐn)?shù)據(jù)內(nèi)在結(jié)構(gòu)的同時對噪聲數(shù)據(jù)具有一定的抵抗力。

5、標(biāo)簽更新和傳播

在每次迭代中，當(dāng)前的標(biāo)簽矩陣Y通過乘以傳播矩陣P來更新，即

這樣，每個數(shù)據(jù)點的新標(biāo)簽不僅反映了其鄰居的標(biāo)簽信息，也考慮了自身的原始標(biāo)簽α，且受正則化參數(shù)的影響。 更新后的標(biāo)簽矩陣Y通常需要被重新歸一化，以確保每行（代表一個數(shù)據(jù)點的標(biāo)簽分布）的總和為1。

6、迭代直到收斂

這個更新過程重復(fù)進行，直到滿足某個收斂條件，例如標(biāo)簽矩陣Y的變化小于某個預(yù)設(shè)的閾值，或者達(dá)到預(yù)設(shè)的最大迭代次數(shù)。

一旦算法收斂，每個未標(biāo)記數(shù)據(jù)點的標(biāo)簽被確定為其標(biāo)簽分布中概率最高的那個標(biāo)簽。

在Label Spreading算法中，標(biāo)簽矩陣Y用于表示數(shù)據(jù)點的標(biāo)簽信息。這個矩陣的結(jié)構(gòu)取決于數(shù)據(jù)集中的標(biāo)簽數(shù)量和數(shù)據(jù)點的數(shù)量。下面是標(biāo)簽矩陣的一般結(jié)構(gòu)和特點：

1.結(jié)構(gòu)

尺寸：標(biāo)簽矩陣Y的尺寸是 N*K ，其中N是數(shù)據(jù)集中數(shù)據(jù)點的總數(shù)（包括已標(biāo)記和未標(biāo)記的數(shù)據(jù)點），而K是不同標(biāo)簽的數(shù)量。

內(nèi)容:

對于已標(biāo)記的數(shù)據(jù)點，每一行對應(yīng)一個數(shù)據(jù)點，其中每個元素代表該數(shù)據(jù)點屬于某個標(biāo)簽的概率。在典型的實現(xiàn)中，已標(biāo)記數(shù)據(jù)的行會用獨熱編碼（one-hot encoding）表示，即對應(yīng)該數(shù)據(jù)點實際標(biāo)簽的位置為1，其余位置為0。

對于未標(biāo)記的數(shù)據(jù)點，每一行一開始通常初始化為均勻分布，即每個標(biāo)簽的概率相等，或者根據(jù)先驗知識進行初始化。

2.示例 假設(shè)有一個數(shù)據(jù)集，其中有3個不同的標(biāo)簽（K = 3），共有5個數(shù)據(jù)點（N = 5），其中前2個點已標(biāo)記，后3個點未標(biāo)記。標(biāo)簽矩陣Y可能如下所示：

在這個例子中，第一行和第二行分別表示第一個和第二個數(shù)據(jù)點的標(biāo)簽（假設(shè)分別屬于第一個和第二個類別），而最后三行表示未標(biāo)記數(shù)據(jù)點的標(biāo)簽分布，這里初始化為均勻分布。

# Label Spreading
from sklearn.semi_supervised import LabelSpreading

label_spread = LabelSpreading(kernel="knn", alpha=0.8)  # 正則
label_spread.fit(X, labels)

# Label Spreading打標(biāo)簽后的結(jié)果
output= np.asarray(label_spread.transduction_)
outer_numbers = np.where(output == outer)[0]
inner_numbers = np.where(output == inner)[0]

plt.figure(figsize=(4, 4))
plt.scatter(X[outer_numbers, 0], X[outer_numbers, 1],)
plt.scatter(X[inner_numbers, 0], X[inner_numbers, 1],)

抓住機遇，狠狠提升自己

隨著各行各業(yè)進行數(shù)字化轉(zhuǎn)型，數(shù)據(jù)分析能力已經(jīng)成了職場的剛需能力，這也是這兩年CDA數(shù)據(jù)分析師大火的原因。和領(lǐng)導(dǎo)提建議再說“我感覺”“我覺得”，自己都覺得心虛，如果說“數(shù)據(jù)分析發(fā)現(xiàn)……”，肯定更有說服力。想在職場精進一步還是要學(xué)習(xí)數(shù)據(jù)分析的，統(tǒng)計學(xué)、概率論、商業(yè)模型、SQL，Python還是要會一些，能讓你工作效率提升不少。備考CDA數(shù)據(jù)分析師的過程就是個自我提升的過程。

CDA 考試官方報名入口:https://www.cdaglobal.com/pinggu.html