當(dāng)我們只有非常少量的已標(biāo)記數(shù)據(jù)，同時(shí)有大量未標(biāo)記數(shù)據(jù)點(diǎn)時(shí)，可以使用半監(jiān)督學(xué)習(xí)算法來(lái)處理。在sklearn中，基于圖算法的半監(jiān)督學(xué)習(xí)有Label Propagation和Label Spreading兩種。他們的主要區(qū)別是第二種方法帶有正則化機(jī)制。

我們?cè)谏掀呀?jīng)講解了Label Propagation，本篇我們講解帶有正則的Label Spreading。首先生成一些凹的數(shù)據(jù)。

# 生成環(huán)形數(shù)據(jù)
import numpy as np
from sklearn.datasets import make_circles
X, y = make_circles(n_samples=200, shuffle=False)
outer, inner = 0, 1
labels = np.full(200, -1.0)
labels[0] = outer
labels[-1] = inner

# 畫圖
import matplotlib.pyplot as plt
plt.figure(figsize=(4, 4))
plt.scatter(X[labels == outer, 0], X[labels == outer, 1],)
plt.scatter(X[labels == inner, 0], X[labels == inner, 1],)
plt.scatter(X[labels == -1, 0], X[labels == -1, 1], marker=".",);

Label Spreading（標(biāo)簽擴(kuò)散）算法是一種用于半監(jiān)督學(xué)習(xí)的方法，它在Label Propagation的基礎(chǔ)上引入了正則化機(jī)制。這種機(jī)制使得算法在處理噪聲數(shù)據(jù)時(shí)更為穩(wěn)定和健壯。下面是Label Spreading算法的迭代計(jì)算過(guò)程的詳細(xì)介紹：

1、構(gòu)建圖

和Label Propagation一樣，Label Spreading首先構(gòu)建一個(gè)圖，圖中的每個(gè)節(jié)點(diǎn)代表一個(gè)數(shù)據(jù)樣本，節(jié)點(diǎn)可以是已標(biāo)記的也可以是未標(biāo)記的。

2、計(jì)算相似性權(quán)重

節(jié)點(diǎn)之間的邊表示數(shù)據(jù)點(diǎn)之間的相似性。這種相似性通常用距離度量（如歐氏距離）或核函數(shù)（如高斯核）來(lái)計(jì)算。邊的權(quán)重反映了兩個(gè)數(shù)據(jù)點(diǎn)之間的相似度。

3、初始化標(biāo)簽信息

每個(gè)數(shù)據(jù)點(diǎn)都有一個(gè)標(biāo)簽分布向量。對(duì)于已標(biāo)記的數(shù)據(jù)，這個(gè)向量直接表示其標(biāo)簽信息。對(duì)于未標(biāo)記的數(shù)據(jù)，初始時(shí)這個(gè)向量通常是均勻分布，或者有其他的初始化方法。

4、構(gòu)建傳播矩陣

Label Spreading算法構(gòu)建了一個(gè)傳播矩陣，用于在迭代過(guò)程中更新標(biāo)簽信息。這個(gè)矩陣基于節(jié)點(diǎn)的相似性權(quán)重，但與Label Propagation不同的是，它會(huì)引入一個(gè)正則化項(xiàng)。

5、迭代更新標(biāo)簽

在每次迭代中，對(duì)于每個(gè)未標(biāo)記節(jié)點(diǎn)，其標(biāo)簽分布根據(jù)鄰居節(jié)點(diǎn)（包括已標(biāo)記和未標(biāo)記的節(jié)點(diǎn)）的標(biāo)簽信息進(jìn)行更新。具體地，一個(gè)節(jié)點(diǎn)的新標(biāo)簽分布是其所有鄰居節(jié)點(diǎn)的標(biāo)簽分布的加權(quán)平均，這個(gè)權(quán)重由傳播矩陣給出。

6、應(yīng)用正則化

正則化是Label Spreading的一個(gè)關(guān)鍵特點(diǎn)。它幫助算法抵抗噪聲和過(guò)擬合，提高了算法的魯棒性。正則化參數(shù)控制著標(biāo)簽信息在未標(biāo)記數(shù)據(jù)之間傳播的強(qiáng)度。

7、歸一化標(biāo)簽分布

更新完所有未標(biāo)記節(jié)點(diǎn)的標(biāo)簽分布后，這些分布通常需要被歸一化，確保它們是有效的概率分布。

8、收斂判斷

算法重復(fù)迭代更新過(guò)程，直到滿足某個(gè)收斂條件，如迭代次數(shù)上限或者標(biāo)簽分布的變化小于某個(gè)閾值。

9、確定最終標(biāo)簽

一旦算法收斂，每個(gè)未標(biāo)記數(shù)據(jù)點(diǎn)的標(biāo)簽被確定為其標(biāo)簽分布中概率最高的標(biāo)簽。

關(guān)鍵要點(diǎn)

• 正則化機(jī)制：正則化幫助算法在處理噪聲數(shù)據(jù)和不完全標(biāo)記的數(shù)據(jù)時(shí)保持穩(wěn)定。
• 適用性：Label Spreading適用于有大量未標(biāo)記數(shù)據(jù)的情況，尤其當(dāng)數(shù)據(jù)包含噪聲或者不完全標(biāo)記時(shí)。
• 靈活性與穩(wěn)健性：算法的性能依賴于圖的構(gòu)建方式、相似性度量的選擇，以及正則化參數(shù)的設(shè)定。

總的來(lái)說(shuō)，Label Spreading是一個(gè)強(qiáng)大而靈活的工具，適用于各種半監(jiān)督學(xué)習(xí)場(chǎng)景，尤其是在數(shù)據(jù)標(biāo)簽稀缺或包含噪聲的情況下。

在實(shí)際應(yīng)用中，銀行利用標(biāo)簽處理技術(shù)構(gòu)建反欺詐模型，通過(guò)對(duì)用戶行為、交易特征等多維度數(shù)據(jù)進(jìn)行分析，定義并應(yīng)用各種風(fēng)險(xiǎn)標(biāo)簽。這些標(biāo)簽可以幫助銀行快速識(shí)別異常交易行為，提升反欺詐能力。例如，通過(guò)分析黑樣本案例特征，銀行可以定義如“當(dāng)天還款后立即交易”等標(biāo)簽，并將其應(yīng)用于反詐模型的開發(fā)和訓(xùn)練。

在Label Spreading算法中，正則化傳播矩陣是核心組件之一，用于在迭代過(guò)程中調(diào)整和傳播標(biāo)簽信息。這個(gè)傳播矩陣通過(guò)結(jié)合圖的相似性結(jié)構(gòu)和正則化機(jī)制，有效地平衡了標(biāo)簽信息的傳播和抗噪聲能力。以下是正則化傳播矩陣的關(guān)鍵點(diǎn)：

1、構(gòu)建圖和相似性矩陣

首先，算法構(gòu)建一個(gè)圖，為每個(gè)數(shù)據(jù)點(diǎn)準(zhǔn)備一個(gè)標(biāo)簽矩陣Y。對(duì)于已標(biāo)記的數(shù)據(jù)點(diǎn)，標(biāo)簽矩陣的相應(yīng)行用其標(biāo)簽的獨(dú)熱編碼（one-hot encoding）表示；對(duì)于未標(biāo)記的數(shù)據(jù)點(diǎn)，標(biāo)簽矩陣的相應(yīng)行初始化為均勻分布或其他方式。

然后，基于KNN或RBF核等方法計(jì)算相似性矩陣（通常表示為S），其中每個(gè)元素Sij表示節(jié)點(diǎn)i和j之間的相似度。

2、歸一化相似性矩陣

相似性矩陣接著被歸一化，以便每個(gè)節(jié)點(diǎn)的相似度總和為1。這可以通過(guò)對(duì)矩陣S 的每一行進(jìn)行歸一化來(lái)實(shí)現(xiàn)，得到歸一化的矩陣T。

3、正則化傳播矩陣

正則化傳播矩陣由歸一化的相似性矩陣和一個(gè)正則化參數(shù)α構(gòu)建而成。通常，P的計(jì)算公式為

其中I是單位矩陣，α是一個(gè)介于0和1之間的參數(shù)，用于控制傳播過(guò)程中的正則化程度。

4、正則化參數(shù)α

作用：參數(shù)α控制了標(biāo)簽信息在原始標(biāo)簽和鄰居標(biāo)簽間的平衡。較小的α值更強(qiáng)調(diào)鄰居節(jié)點(diǎn)的標(biāo)簽信息，而較大的α值使算法更加傾向于保持原始標(biāo)簽。 抗噪聲能力：通過(guò)調(diào)整α，Label Spreading算法能夠在保持?jǐn)?shù)據(jù)內(nèi)在結(jié)構(gòu)的同時(shí)對(duì)噪聲數(shù)據(jù)具有一定的抵抗力。

5、標(biāo)簽更新和傳播

在每次迭代中，當(dāng)前的標(biāo)簽矩陣Y通過(guò)乘以傳播矩陣P來(lái)更新，即

這樣，每個(gè)數(shù)據(jù)點(diǎn)的新標(biāo)簽不僅反映了其鄰居的標(biāo)簽信息，也考慮了自身的原始標(biāo)簽α，且受正則化參數(shù)的影響。 更新后的標(biāo)簽矩陣Y通常需要被重新歸一化，以確保每行（代表一個(gè)數(shù)據(jù)點(diǎn)的標(biāo)簽分布）的總和為1。

6、迭代直到收斂

這個(gè)更新過(guò)程重復(fù)進(jìn)行，直到滿足某個(gè)收斂條件，例如標(biāo)簽矩陣Y的變化小于某個(gè)預(yù)設(shè)的閾值，或者達(dá)到預(yù)設(shè)的最大迭代次數(shù)。

一旦算法收斂，每個(gè)未標(biāo)記數(shù)據(jù)點(diǎn)的標(biāo)簽被確定為其標(biāo)簽分布中概率最高的那個(gè)標(biāo)簽。

在Label Spreading算法中，標(biāo)簽矩陣Y用于表示數(shù)據(jù)點(diǎn)的標(biāo)簽信息。這個(gè)矩陣的結(jié)構(gòu)取決于數(shù)據(jù)集中的標(biāo)簽數(shù)量和數(shù)據(jù)點(diǎn)的數(shù)量。下面是標(biāo)簽矩陣的一般結(jié)構(gòu)和特點(diǎn)：

1.結(jié)構(gòu)

尺寸：標(biāo)簽矩陣Y的尺寸是 N*K ，其中N是數(shù)據(jù)集中數(shù)據(jù)點(diǎn)的總數(shù)（包括已標(biāo)記和未標(biāo)記的數(shù)據(jù)點(diǎn)），而K是不同標(biāo)簽的數(shù)量。

內(nèi)容:

對(duì)于已標(biāo)記的數(shù)據(jù)點(diǎn)，每一行對(duì)應(yīng)一個(gè)數(shù)據(jù)點(diǎn)，其中每個(gè)元素代表該數(shù)據(jù)點(diǎn)屬于某個(gè)標(biāo)簽的概率。在典型的實(shí)現(xiàn)中，已標(biāo)記數(shù)據(jù)的行會(huì)用獨(dú)熱編碼（one-hot encoding）表示，即對(duì)應(yīng)該數(shù)據(jù)點(diǎn)實(shí)際標(biāo)簽的位置為1，其余位置為0。

對(duì)于未標(biāo)記的數(shù)據(jù)點(diǎn)，每一行一開始通常初始化為均勻分布，即每個(gè)標(biāo)簽的概率相等，或者根據(jù)先驗(yàn)知識(shí)進(jìn)行初始化。

2.示例 假設(shè)有一個(gè)數(shù)據(jù)集，其中有3個(gè)不同的標(biāo)簽（K = 3），共有5個(gè)數(shù)據(jù)點(diǎn)（N = 5），其中前2個(gè)點(diǎn)已標(biāo)記，后3個(gè)點(diǎn)未標(biāo)記。標(biāo)簽矩陣Y可能如下所示：

在這個(gè)例子中，第一行和第二行分別表示第一個(gè)和第二個(gè)數(shù)據(jù)點(diǎn)的標(biāo)簽（假設(shè)分別屬于第一個(gè)和第二個(gè)類別），而最后三行表示未標(biāo)記數(shù)據(jù)點(diǎn)的標(biāo)簽分布，這里初始化為均勻分布。

# Label Spreading
from sklearn.semi_supervised import LabelSpreading

label_spread = LabelSpreading(kernel="knn", alpha=0.8)  # 正則
label_spread.fit(X, labels)

# Label Spreading打標(biāo)簽后的結(jié)果
output= np.asarray(label_spread.transduction_)
outer_numbers = np.where(output == outer)[0]
inner_numbers = np.where(output == inner)[0]

plt.figure(figsize=(4, 4))
plt.scatter(X[outer_numbers, 0], X[outer_numbers, 1],)
plt.scatter(X[inner_numbers, 0], X[inner_numbers, 1],)

抓住機(jī)遇，狠狠提升自己

隨著各行各業(yè)進(jìn)行數(shù)字化轉(zhuǎn)型，數(shù)據(jù)分析能力已經(jīng)成了職場(chǎng)的剛需能力，這也是這兩年CDA數(shù)據(jù)分析師大火的原因。和領(lǐng)導(dǎo)提建議再說(shuō)“我感覺(jué)”“我覺(jué)得”，自己都覺(jué)得心虛，如果說(shuō)“數(shù)據(jù)分析發(fā)現(xiàn)……”，肯定更有說(shuō)服力。想在職場(chǎng)精進(jìn)一步還是要學(xué)習(xí)數(shù)據(jù)分析的，統(tǒng)計(jì)學(xué)、概率論、商業(yè)模型、SQL，Python還是要會(huì)一些，能讓你工作效率提升不少。備考CDA數(shù)據(jù)分析師的過(guò)程就是個(gè)自我提升的過(guò)程。

CDA 考試官方報(bào)名入口:https://www.cdaglobal.com/pinggu.html