
當(dāng)我們只有非常少量的已標(biāo)記數(shù)據(jù),同時有大量未標(biāo)記數(shù)據(jù)點時,可以使用半監(jiān)督學(xué)習(xí)算法來處理。在sklearn中,基于圖算法的半監(jiān)督學(xué)習(xí)有Label Propagation和Label Spreading兩種。他們的主要區(qū)別是第二種方法帶有正則化機制。
我們在上篇已經(jīng)講解了Label Propagation,本篇我們講解帶有正則的Label Spreading。首先生成一些凹的數(shù)據(jù)。
# 生成環(huán)形數(shù)據(jù)
import numpy as np
from sklearn.datasets import make_circles
X, y = make_circles(n_samples=200, shuffle=False)
outer, inner = 0, 1
labels = np.full(200, -1.0)
labels[0] = outer
labels[-1] = inner
# 畫圖
import matplotlib.pyplot as plt
plt.figure(figsize=(4, 4))
plt.scatter(X[labels == outer, 0], X[labels == outer, 1],)
plt.scatter(X[labels == inner, 0], X[labels == inner, 1],)
plt.scatter(X[labels == -1, 0], X[labels == -1, 1], marker=".",);
Label Spreading(標(biāo)簽擴散)算法是一種用于半監(jiān)督學(xué)習(xí)的方法,它在Label Propagation的基礎(chǔ)上引入了正則化機制。這種機制使得算法在處理噪聲數(shù)據(jù)時更為穩(wěn)定和健壯。下面是Label Spreading算法的迭代計算過程的詳細介紹:
和Label Propagation一樣,Label Spreading首先構(gòu)建一個圖,圖中的每個節(jié)點代表一個數(shù)據(jù)樣本,節(jié)點可以是已標(biāo)記的也可以是未標(biāo)記的。
節(jié)點之間的邊表示數(shù)據(jù)點之間的相似性。這種相似性通常用距離度量(如歐氏距離)或核函數(shù)(如高斯核)來計算。邊的權(quán)重反映了兩個數(shù)據(jù)點之間的相似度。
每個數(shù)據(jù)點都有一個標(biāo)簽分布向量。對于已標(biāo)記的數(shù)據(jù),這個向量直接表示其標(biāo)簽信息。對于未標(biāo)記的數(shù)據(jù),初始時這個向量通常是均勻分布,或者有其他的初始化方法。
Label Spreading算法構(gòu)建了一個傳播矩陣,用于在迭代過程中更新標(biāo)簽信息。這個矩陣基于節(jié)點的相似性權(quán)重,但與Label Propagation不同的是,它會引入一個正則化項。
在每次迭代中,對于每個未標(biāo)記節(jié)點,其標(biāo)簽分布根據(jù)鄰居節(jié)點(包括已標(biāo)記和未標(biāo)記的節(jié)點)的標(biāo)簽信息進行更新。具體地,一個節(jié)點的新標(biāo)簽分布是其所有鄰居節(jié)點的標(biāo)簽分布的加權(quán)平均,這個權(quán)重由傳播矩陣給出。
正則化是Label Spreading的一個關(guān)鍵特點。它幫助算法抵抗噪聲和過擬合,提高了算法的魯棒性。正則化參數(shù)控制著標(biāo)簽信息在未標(biāo)記數(shù)據(jù)之間傳播的強度。
更新完所有未標(biāo)記節(jié)點的標(biāo)簽分布后,這些分布通常需要被歸一化,確保它們是有效的概率分布。
算法重復(fù)迭代更新過程,直到滿足某個收斂條件,如迭代次數(shù)上限或者標(biāo)簽分布的變化小于某個閾值。
一旦算法收斂,每個未標(biāo)記數(shù)據(jù)點的標(biāo)簽被確定為其標(biāo)簽分布中概率最高的標(biāo)簽。
總的來說,Label Spreading是一個強大而靈活的工具,適用于各種半監(jiān)督學(xué)習(xí)場景,尤其是在數(shù)據(jù)標(biāo)簽稀缺或包含噪聲的情況下。
在實際應(yīng)用中,銀行利用標(biāo)簽處理技術(shù)構(gòu)建反欺詐模型,通過對用戶行為、交易特征等多維度數(shù)據(jù)進行分析,定義并應(yīng)用各種風(fēng)險標(biāo)簽。這些標(biāo)簽可以幫助銀行快速識別異常交易行為,提升反欺詐能力。例如,通過分析黑樣本案例特征,銀行可以定義如“當(dāng)天還款后立即交易”等標(biāo)簽,并將其應(yīng)用于反詐模型的開發(fā)和訓(xùn)練。
在Label Spreading算法中,正則化傳播矩陣是核心組件之一,用于在迭代過程中調(diào)整和傳播標(biāo)簽信息。這個傳播矩陣通過結(jié)合圖的相似性結(jié)構(gòu)和正則化機制,有效地平衡了標(biāo)簽信息的傳播和抗噪聲能力。以下是正則化傳播矩陣的關(guān)鍵點:
首先,算法構(gòu)建一個圖,為每個數(shù)據(jù)點準(zhǔn)備一個標(biāo)簽矩陣Y。對于已標(biāo)記的數(shù)據(jù)點,標(biāo)簽矩陣的相應(yīng)行用其標(biāo)簽的獨熱編碼(one-hot encoding)表示;對于未標(biāo)記的數(shù)據(jù)點,標(biāo)簽矩陣的相應(yīng)行初始化為均勻分布或其他方式。
然后,基于KNN或RBF核等方法計算相似性矩陣(通常表示為S),其中每個元素Sij表示節(jié)點i和j之間的相似度。
相似性矩陣接著被歸一化,以便每個節(jié)點的相似度總和為1。這可以通過對矩陣S 的每一行進行歸一化來實現(xiàn),得到歸一化的矩陣T。
正則化傳播矩陣由歸一化的相似性矩陣和一個正則化參數(shù)α構(gòu)建而成。通常,P的計算公式為
其中I是單位矩陣,α是一個介于0和1之間的參數(shù),用于控制傳播過程中的正則化程度。
作用:參數(shù)α控制了標(biāo)簽信息在原始標(biāo)簽和鄰居標(biāo)簽間的平衡。較小的α值更強調(diào)鄰居節(jié)點的標(biāo)簽信息,而較大的α值使算法更加傾向于保持原始標(biāo)簽。 抗噪聲能力:通過調(diào)整α,Label Spreading算法能夠在保持數(shù)據(jù)內(nèi)在結(jié)構(gòu)的同時對噪聲數(shù)據(jù)具有一定的抵抗力。
在每次迭代中,當(dāng)前的標(biāo)簽矩陣Y通過乘以傳播矩陣P來更新,即
這樣,每個數(shù)據(jù)點的新標(biāo)簽不僅反映了其鄰居的標(biāo)簽信息,也考慮了自身的原始標(biāo)簽α,且受正則化參數(shù)的影響。 更新后的標(biāo)簽矩陣Y通常需要被重新歸一化,以確保每行(代表一個數(shù)據(jù)點的標(biāo)簽分布)的總和為1。
這個更新過程重復(fù)進行,直到滿足某個收斂條件,例如標(biāo)簽矩陣Y的變化小于某個預(yù)設(shè)的閾值,或者達到預(yù)設(shè)的最大迭代次數(shù)。
一旦算法收斂,每個未標(biāo)記數(shù)據(jù)點的標(biāo)簽被確定為其標(biāo)簽分布中概率最高的那個標(biāo)簽。
在Label Spreading算法中,標(biāo)簽矩陣Y用于表示數(shù)據(jù)點的標(biāo)簽信息。這個矩陣的結(jié)構(gòu)取決于數(shù)據(jù)集中的標(biāo)簽數(shù)量和數(shù)據(jù)點的數(shù)量。下面是標(biāo)簽矩陣的一般結(jié)構(gòu)和特點:
1.結(jié)構(gòu)
尺寸:標(biāo)簽矩陣Y的尺寸是 N*K ,其中N是數(shù)據(jù)集中數(shù)據(jù)點的總數(shù)(包括已標(biāo)記和未標(biāo)記的數(shù)據(jù)點),而K是不同標(biāo)簽的數(shù)量。
內(nèi)容:
對于已標(biāo)記的數(shù)據(jù)點,每一行對應(yīng)一個數(shù)據(jù)點,其中每個元素代表該數(shù)據(jù)點屬于某個標(biāo)簽的概率。在典型的實現(xiàn)中,已標(biāo)記數(shù)據(jù)的行會用獨熱編碼(one-hot encoding)表示,即對應(yīng)該數(shù)據(jù)點實際標(biāo)簽的位置為1,其余位置為0。
對于未標(biāo)記的數(shù)據(jù)點,每一行一開始通常初始化為均勻分布,即每個標(biāo)簽的概率相等,或者根據(jù)先驗知識進行初始化。
2.示例 假設(shè)有一個數(shù)據(jù)集,其中有3個不同的標(biāo)簽(K = 3),共有5個數(shù)據(jù)點(N = 5),其中前2個點已標(biāo)記,后3個點未標(biāo)記。標(biāo)簽矩陣Y可能如下所示:
在這個例子中,第一行和第二行分別表示第一個和第二個數(shù)據(jù)點的標(biāo)簽(假設(shè)分別屬于第一個和第二個類別),而最后三行表示未標(biāo)記數(shù)據(jù)點的標(biāo)簽分布,這里初始化為均勻分布。
# Label Spreading
from sklearn.semi_supervised import LabelSpreading
label_spread = LabelSpreading(kernel="knn", alpha=0.8) # 正則
label_spread.fit(X, labels)
# Label Spreading打標(biāo)簽后的結(jié)果
output= np.asarray(label_spread.transduction_)
outer_numbers = np.where(output == outer)[0]
inner_numbers = np.where(output == inner)[0]
plt.figure(figsize=(4, 4))
plt.scatter(X[outer_numbers, 0], X[outer_numbers, 1],)
plt.scatter(X[inner_numbers, 0], X[inner_numbers, 1],)
隨著各行各業(yè)進行數(shù)字化轉(zhuǎn)型,數(shù)據(jù)分析能力已經(jīng)成了職場的剛需能力,這也是這兩年CDA數(shù)據(jù)分析師大火的原因。和領(lǐng)導(dǎo)提建議再說“我感覺”“我覺得”,自己都覺得心虛,如果說“數(shù)據(jù)分析發(fā)現(xiàn)……”,肯定更有說服力。想在職場精進一步還是要學(xué)習(xí)數(shù)據(jù)分析的,統(tǒng)計學(xué)、概率論、商業(yè)模型、SQL,Python還是要會一些,能讓你工作效率提升不少。備考CDA數(shù)據(jù)分析師的過程就是個自我提升的過程。
CDA 考試官方報名入口:https://www.cdaglobal.com/pinggu.html
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03