
層次聚類法通常分為自底向上和自頂向下。兩種方法的運(yùn)算原理其實(shí)是相同的。只不過實(shí)際計(jì)算是方向相反。 自底向上,又叫做合并法。這種方法是先將每個(gè)樣本分別作為一個(gè)獨(dú)立的類,然后通過距離計(jì)算,將距離相近的兩個(gè)樣本 合并為一類,其他樣本仍然各自為一類。不斷重復(fù)這個(gè)過程,直到達(dá)到聚類數(shù)或者設(shè)定的目標(biāo)。 而自頂向下的方法,剛好相反。這種方法先把所有樣本看成一類,然后通過距離計(jì)算,選出距離最遠(yuǎn)的兩個(gè)樣本,各自為 一個(gè)類別,其余樣本根據(jù)距離遠(yuǎn)近分配到兩個(gè)類別中,從而形成新的類別劃分。不斷重復(fù)過程,直到達(dá)到聚類數(shù)或者設(shè)定 的目標(biāo)。因此又叫做分解法。 不管是采用哪種層次聚類的方法,一個(gè)關(guān)鍵的問題就是距離的定義。了解更多
1.最短距離法
最短距離法(Nearest Neighbor)是指當(dāng)我們從A中取出一個(gè)樣本,B中取出一個(gè)樣本,計(jì)算兩個(gè)樣本之間的距離,能夠得到 的最小值就是A和B兩個(gè)類的距離。而最長(zhǎng)距離法(Furthest Neighbor)則剛好相反。
2.中間距離法
3.類平均法
4.重心法
5.離差平方和法
離差平方和法,又叫Ward最小方差法(Ward’s Method):這種方法主要基于方差分析的思想,如果分類合 理,則同類樣本間離差平方和應(yīng)當(dāng)較小,類與類間離差平方和應(yīng)當(dāng)較大。每次合并類別時(shí),離差平方和會(huì)增 大,選擇使得增加值最小的兩類進(jìn)行合并。因此,該方法很少受到異常值的影響,在實(shí)際應(yīng)用中的分類效果 較好,適用范圍廣。但該方法要求樣品間的距離必須是歐氏距離。 層次聚類的過程非常清楚,會(huì)形成類似樹狀的聚類圖譜,便于理解和檢查。聚類的變量可以是連續(xù)變量,也 可以是分類變量。衡量距離的方法也非常反復(fù)。 但是由于需要反復(fù)計(jì)算距離,限制了層次聚類的速度。因此不適用于數(shù)據(jù)量非常大或者變量非常多的項(xiàng)目。 如果計(jì)算機(jī)硬件有制約,也會(huì)影響層次聚類的可行性。
不同于層次聚類,K-Means聚類是一種快速聚類法,因此也適合應(yīng)用于大樣本量的數(shù)據(jù),或者是進(jìn)行一些前期的數(shù)據(jù)清洗 工作。K-Means聚類方法需要分析師自行指定聚類的數(shù)量,也就是其中的K。因此在實(shí)際分析過程中,往往需要多次調(diào)整K 的取值,反復(fù)嘗試,以便得到最優(yōu)的聚類結(jié)果。
其方法可以總結(jié)為:首先選擇K個(gè)點(diǎn)作為中心點(diǎn),這些中心點(diǎn)可以是分析者自己指定的,也可以是數(shù)據(jù)本身結(jié)構(gòu)形成的, 或者是隨機(jī)產(chǎn)生。所有樣本與這K個(gè)中心點(diǎn)計(jì)算距離,按照距離最近的原則歸入這些中心點(diǎn)。然后重新計(jì)算每個(gè)類的中心, 再次計(jì)算每個(gè)樣本與類中心的距離,并按照最短距離原則重新劃分類,如此迭代直至類不再變化為止。
和層次聚類法相比,快速聚類法計(jì)算量非常小。即使在樣本數(shù)據(jù)量較大或者變量較多的情況下,仍然可以快速得出結(jié)果, 不會(huì)耗費(fèi)太多的空間和時(shí)間,對(duì)硬件的依賴性也較低。它也因此得名快速聚類法。在分析時(shí),用戶也可以根據(jù)過往經(jīng)驗(yàn)或者計(jì)算結(jié)果,指定初始中心點(diǎn)位置,也可以進(jìn)一步增加聚類的效率。
但是這個(gè)方法應(yīng)用范圍也比較有限。因?yàn)樾枰孪戎付?a href='/map/julei/' style='color:#000;font-size:inherit;'>聚類數(shù),因此需要分析師有一定的經(jīng)驗(yàn)積累,或者可能需要多次反 復(fù)嘗試。對(duì)初始點(diǎn)位置也很敏感,容易導(dǎo)致聚類結(jié)果與數(shù)據(jù)真實(shí)分類出現(xiàn)差異,對(duì)異常值也比較敏感。同時(shí)聚類的變量也 必須是連續(xù)變量,對(duì)變量的“標(biāo)準(zhǔn)度”要求也相對(duì)較高,否則可能產(chǎn)生無意義的結(jié)果。而且K-Means聚類方法并不能對(duì)變 量進(jìn)行聚類,也是它使用上的一個(gè)比較大的缺點(diǎn)。
兩步聚類法結(jié)合了K-Means和系統(tǒng)聚類方法,先選擇較大的類數(shù)量對(duì)樣本進(jìn)行快速聚類,然后對(duì)每個(gè)聚類的中心點(diǎn)進(jìn)行系 統(tǒng)聚類,選擇合適的分類數(shù)量,然后將聚類結(jié)果合并為較理想的數(shù)量。 在進(jìn)行聚類時(shí)要結(jié)合業(yè)務(wù)理解對(duì)數(shù)據(jù)進(jìn)行適當(dāng)變換,并且需要對(duì)變量進(jìn)行維度分析,聚類結(jié)果可以使用類中心之間的比較, 結(jié)合業(yè)務(wù)進(jìn)行解讀。
在實(shí)際使用聚類方法時(shí),我們一般多用于客戶畫像、離群點(diǎn)檢驗(yàn)、營(yíng)銷套餐設(shè)計(jì)等領(lǐng)域。在使用過程中,我們需要注意選取合適的聚類方法。 對(duì)于數(shù)據(jù)量較大或者變量較多的樣本,優(yōu)先考慮K-Means聚類法。樣本數(shù)據(jù)量適中或者變量類型比較復(fù)雜的情況,則可以考慮使用層次聚 類法。特別綜合的項(xiàng)目,也可以采用兩步聚類法,結(jié)合兩種聚類方法各自的優(yōu)勢(shì),高效解決問題。
在聚類之前,數(shù)據(jù)清洗也是非常重要的。標(biāo)準(zhǔn)化可以幫助我們消除不同變量之間量綱的差異,但需要注意的是,在有些場(chǎng)景,比如欺詐分析 時(shí),我們希望通過聚類去發(fā)現(xiàn)異常值,那么前期的數(shù)據(jù)清洗就要注意不能改變?cè)械姆植记闆r,避免造成結(jié)果偏差。因此分箱法、小數(shù)定標(biāo) 法等清洗方法在聚類問題中需要謹(jǐn)慎使用。另外,通過主成分分析或者因子分析等方法對(duì)變量進(jìn)行降維,或者先進(jìn)行變量聚類,也可以幫助 減少冗余變量,更有效地完成聚類。
在一些場(chǎng)景下,直接的業(yè)務(wù)字段并不能夠很好地進(jìn)行量化和數(shù)學(xué)分析,那么我們需要通過一些函數(shù)或者其他的方式,將其進(jìn)行轉(zhuǎn)換,靈活應(yīng) 用,才能更好地解決問題。
聚類本身是一種數(shù)據(jù)算法,聚類的結(jié)果并不總是有實(shí)際的使用意義。因此對(duì)于聚類結(jié)果,我們需要謹(jǐn)慎地解讀,適當(dāng)?shù)貙?duì)其進(jìn)行修正和調(diào)整, 從而更加貼近業(yè)務(wù)的使用。
最后,需要注意的是,聚類是一種無監(jiān)督學(xué)習(xí)的算法。因此也并沒有統(tǒng)一的評(píng)判標(biāo)準(zhǔn)。因此在實(shí)際使用過程中,我們可以把聚類結(jié)果和人為 選擇或隨機(jī)選擇的結(jié)果放在一起進(jìn)行比較,這個(gè)時(shí)候,我們可以通過觀察聚類是否對(duì)整體的分類或者研究有提升作用來評(píng)判聚類的好壞。 當(dāng)然,我們一般也可以近似地用組間平方和BSS(Between Sum of Squares)和組內(nèi)平方和 WSS(Within Sum of Squares)來作為評(píng)價(jià) 指標(biāo)判斷聚類的類別數(shù)是否合適。顯然BSS越大,WSS越小,聚類的效果就越好。
另外,只有兩個(gè)變量的時(shí)候,我們也可以通過畫圖的方法來進(jìn)行觀察和評(píng)估。
A. 層次聚類
B. K均值聚類
C. 基于密度的聚類
D. 基于網(wǎng)格的聚類
答案:A 解析:層次聚類指的是形成類相似度層次圖譜,便于直觀的確定類之間的劃分,聚類過程可做成聚類譜系圖。聚類譜系圖的 基本思路就在于按照兩點(diǎn)之間的距離,按照由小到大的順序依次進(jìn)行連接。
2.以下哪個(gè)是K均值聚類法的缺陷( )?
A. 對(duì)初始點(diǎn)位置敏感,導(dǎo)致聚類結(jié)果與數(shù)據(jù)真實(shí)分類出現(xiàn)差異
B. 無法通過分析方法確定聚類個(gè)數(shù)
C. 容易受異常值的影響
D. 容易受到變量量綱的影響
答案:ABC 解析:這部分試題主要考核層次聚類和K均值快速聚類的優(yōu)缺點(diǎn)和適用范圍。當(dāng)樣本量超過50個(gè)時(shí),一般采用K均值聚類法,其優(yōu)點(diǎn)是 計(jì)算速度快,但是缺點(diǎn)就是ABC答案列出的那樣。
3.某電商分析人員希望通過聚類方法定位代商家刷信用級(jí)別的違規(guī)者,以下哪些操作不應(yīng)該進(jìn)行?
A. 對(duì)變量進(jìn)行標(biāo)準(zhǔn)化
B. 對(duì)變量進(jìn)行百分位秩轉(zhuǎn)換
D. 對(duì)變量進(jìn)行分箱處理
答案:BD 解析:刷信用級(jí)別的違規(guī)者的行為會(huì)與正常消費(fèi)行為在消費(fèi)頻次、平均消費(fèi)金額等方面差異比較大,對(duì)其進(jìn)行定位相當(dāng)于發(fā)現(xiàn)異常點(diǎn), 因此要求對(duì)變量的轉(zhuǎn)換不能改變其原有分布形態(tài)。常用的標(biāo)準(zhǔn)化方法如中心標(biāo)準(zhǔn)化、極差標(biāo)準(zhǔn)化不會(huì)改變分布形態(tài),而且在聚類前往 往需要使用標(biāo)準(zhǔn)化來消除變量的量綱,因此A不是答案;取百分位秩會(huì)將原變量變化為均勻分布,進(jìn)行分箱處理也會(huì)改變?cè)兞康姆植迹?因此BD是答案;因子分析、變量聚類用于數(shù)據(jù)降維,可以使聚類結(jié)果更合理。
點(diǎn)擊CDA題庫(kù)鏈接,獲取免費(fèi)版CDA題庫(kù)入口,??荚図樌?,快速拿證!
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠(chéng)摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國(guó)內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03