
考慮一種棘手的情況:訓(xùn)練數(shù)據(jù)中大部分樣本沒有標(biāo)簽。此時(shí),我們可以考慮使用半監(jiān)督學(xué)習(xí)方法來處理。半監(jiān)督學(xué)習(xí)能夠利用這些額外的未標(biāo)記數(shù)據(jù),更好地捕捉數(shù)據(jù)分布的潛在形狀,并在新樣本上的泛化能力更強(qiáng)。當(dāng)我們只有非常少量的已標(biāo)記數(shù)據(jù),同時(shí)有大量未標(biāo)記數(shù)據(jù)點(diǎn)時(shí),這種算法可以表現(xiàn)得非常出色。
在sklearn中,基于圖算法的半監(jiān)督學(xué)習(xí)有Label Propagation和Label Spreading兩種。他們的主要區(qū)別是第二種方法帶有正則化機(jī)制。
Label Propagation算法基于圖理論。算法首先構(gòu)建一個(gè)圖,其中每個(gè)節(jié)點(diǎn)代表一個(gè)數(shù)據(jù)點(diǎn),無論是標(biāo)記的還是未標(biāo)記的。節(jié)點(diǎn)之間的邊代表數(shù)據(jù)點(diǎn)之間的相似性。算法的目的是通過圖傳播標(biāo)簽信息,使未標(biāo)記數(shù)據(jù)獲得標(biāo)簽。
相似性度量:通常使用K近鄰(KNN)或者基于核的方法來定義數(shù)據(jù)點(diǎn)之間的相似性。
標(biāo)簽傳播:標(biāo)簽信息從標(biāo)記數(shù)據(jù)點(diǎn)傳播到未標(biāo)記數(shù)據(jù)點(diǎn),通過迭代過程實(shí)現(xiàn)。
適用場(chǎng)景:適合于數(shù)據(jù)量較大、標(biāo)記數(shù)據(jù)稀缺的情況。
Label Spreading和Label Propagation非常相似,但在處理標(biāo)簽信息和正則化方面有所不同。它同樣基于構(gòu)建圖來傳播標(biāo)簽。
正則化機(jī)制:Label Spreading引入了正則化參數(shù),可以控制標(biāo)簽傳播的過程,使算法更加健壯。
穩(wěn)定性:由于正則化的存在,Label Spreading在面對(duì)噪聲數(shù)據(jù)時(shí)通常比Label Propagation更穩(wěn)定。
適用場(chǎng)景:同樣適用于有大量未標(biāo)記數(shù)據(jù)的情況,尤其當(dāng)數(shù)據(jù)包含噪聲時(shí)。
本文首先介紹Label Propagation,帶有正則的Label Spreading 將在下篇介紹。首先生成一些凹的數(shù)據(jù)。
# 生成環(huán)形數(shù)據(jù)
import numpy as np
from sklearn.datasets import make_circles
X, y = make_circles(n_samples=200, shuffle=False)
outer, inner = 0, 1
labels = np.full(200, -1.0)
labels[0] = outer
labels[-1] = inner
# 畫圖
import matplotlib.pyplot as plt
plt.figure(figsize=(4, 4))
plt.scatter(X[labels == outer, 0], X[labels == outer, 1],)
plt.scatter(X[labels == inner, 0], X[labels == inner, 1],)
plt.scatter(X[labels == -1, 0], X[labels == -1, 1], marker=".",);
標(biāo)簽處理是CDA數(shù)據(jù)分析師二級(jí)考試的核心內(nèi)容,在給工商銀行等銀行做內(nèi)訓(xùn)時(shí),這一部分技能是銀行最重視的,因?yàn)殂y行防作弊放欺詐最核心的就是對(duì)用戶打標(biāo)簽,如果大家想提升這塊的能力,點(diǎn)擊下方鏈接。
Label Propagation算法的迭代計(jì)算過程是基于圖論原理的。在這個(gè)過程中,算法首先構(gòu)建一個(gè)圖,其中每個(gè)節(jié)點(diǎn)代表一個(gè)數(shù)據(jù)點(diǎn),然后通過圖中的連接來傳播標(biāo)簽信息。下面是詳細(xì)的步驟介紹:
?首先,算法構(gòu)建一個(gè)圖,圖中的每個(gè)節(jié)點(diǎn)代表一個(gè)數(shù)據(jù)樣本。這些節(jié)點(diǎn)包括已標(biāo)記的節(jié)點(diǎn)和未標(biāo)記的節(jié)點(diǎn)。
在圖中,節(jié)點(diǎn)之間的邊代表數(shù)據(jù)點(diǎn)之間的相似性。這種相似性通常通過一些度量來計(jì)算,比如歐幾里得距離(用于K近鄰方法)或者基于核的相似性函數(shù)(如高斯核)。每條邊的權(quán)重反映了兩個(gè)節(jié)點(diǎn)之間的相似度。
對(duì)于每個(gè)數(shù)據(jù)點(diǎn),算法維護(hù)一個(gè)標(biāo)簽分布向量。對(duì)于已標(biāo)記的數(shù)據(jù)點(diǎn),這個(gè)向量直接反映了其標(biāo)簽信息。對(duì)于未標(biāo)記的數(shù)據(jù)點(diǎn),標(biāo)簽分布初始通常是均勻的,或者用其他方式初始化。
接下來,算法進(jìn)入迭代過程。在每次迭代中,每個(gè)未標(biāo)記節(jié)點(diǎn)的標(biāo)簽信息會(huì)根據(jù)其鄰居節(jié)點(diǎn)(包括已標(biāo)記和未標(biāo)記的節(jié)點(diǎn))的標(biāo)簽信息進(jìn)行更新。具體來說,一個(gè)節(jié)點(diǎn)的新標(biāo)簽分布是其所有鄰居節(jié)點(diǎn)的標(biāo)簽分布的加權(quán)平均,權(quán)重由相似性權(quán)重決定。
更新完所有未標(biāo)記節(jié)點(diǎn)的標(biāo)簽分布后,通常需要對(duì)這些分布進(jìn)行歸一化處理,以確保它們表示有效的概率分布。
這個(gè)過程會(huì)不斷迭代,直到達(dá)到某個(gè)收斂條件,比如迭代次數(shù)達(dá)到預(yù)設(shè)的上限,或者標(biāo)簽分布的變化小于某個(gè)閾值。
一旦算法收斂,每個(gè)未標(biāo)記數(shù)據(jù)點(diǎn)的標(biāo)簽被確定為其標(biāo)簽分布中概率最高的標(biāo)簽。
# Label Propagation
from sklearn.semi_supervised import LabelPropagation
label_propagation = LabelPropagation(kernel="knn")
label_propagation.fit(X, labels)
# Label Propagation打標(biāo)簽后的結(jié)果
output= np.asarray(label_propagation.transduction_)
outer_numbers = np.where(output == outer)[0]
inner_numbers = np.where(output == inner)[0]
plt.figure(figsize=(4, 4))
plt.scatter(X[outer_numbers, 0], X[outer_numbers, 1],)
plt.scatter(X[inner_numbers, 0], X[inner_numbers, 1],);
注意參數(shù)kernel="knn"??梢园l(fā)現(xiàn),若把kernel換成rbf,則無法得到正確傳播結(jié)果。這是因?yàn)閞bf是考慮全局的數(shù)據(jù)分布,因此內(nèi)圈初始的標(biāo)簽擴(kuò)散出去后很難被更新。KNN只考慮局部,不會(huì)出現(xiàn)此問題。
數(shù)據(jù)量大,計(jì)算資源有限。
數(shù)據(jù)點(diǎn)分布稀疏,且局部鄰域信息足夠區(qū)分標(biāo)簽(如聚類明顯的情況下)。
數(shù)據(jù)量較小或中等,計(jì)算資源充足。
數(shù)據(jù)點(diǎn)分布緊密,且需要捕獲全局信息(如圖像或文本的復(fù)雜分布)。
隨著各行各業(yè)進(jìn)行數(shù)字化轉(zhuǎn)型,數(shù)據(jù)分析能力已經(jīng)成了職場(chǎng)的剛需能力,這也是這兩年CDA數(shù)據(jù)分析師大火的原因。和領(lǐng)導(dǎo)提建議再說“我感覺”“我覺得”,自己都覺得心虛,如果說“數(shù)據(jù)分析發(fā)現(xiàn)……”,肯定更有說服力。想在職場(chǎng)精進(jìn)一步還是要學(xué)習(xí)數(shù)據(jù)分析的,統(tǒng)計(jì)學(xué)、概率論、商業(yè)模型、SQL,Python還是要會(huì)一些,能讓你工作效率提升不少。備考CDA數(shù)據(jù)分析師的過程就是個(gè)自我提升的過程。
CDA 考試官方報(bào)名入口:https://www.cdaglobal.com/pinggu.html
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03