
如何對(duì)混合型數(shù)據(jù)做聚類分析
利用聚類分析,我們可以很容易地看清數(shù)據(jù)集中樣本的分布情況。以往介紹聚類分析的文章中通常只介紹如何處理連續(xù)型變量,這些文字并沒有過多地介紹如何處理混合型數(shù)據(jù)(如同時(shí)包含連續(xù)型變量、名義型變量和順序型變量的數(shù)據(jù))。本文將利用 Gower 距離、PAM(partitioning around medoids)算法和輪廓系數(shù)來(lái)介紹如何對(duì)混合型數(shù)據(jù)做聚類分析。
R語(yǔ)言
本文主要分為三個(gè)部分:
距離計(jì)算
聚類算法的選擇
聚類個(gè)數(shù)的選擇
為了介紹方便,本文直接使用 ISLR 包中的 College 數(shù)據(jù)集。該數(shù)據(jù)集包含了自 1995 年以來(lái)美國(guó)大學(xué)的 777 條數(shù)據(jù),其中主要有以下幾個(gè)變量:
連續(xù)型變量
錄取率
學(xué)費(fèi)
新生數(shù)量
分類型變量
公立或私立院校
是否為高水平院校,即所有新生中畢業(yè)于排名前 10% 高中的新生數(shù)量占比是否大于 50%
本文中涉及到的R包有:
In [3]:
set.seed(1680) # 設(shè)置隨機(jī)種子,使得本文結(jié)果具有可重現(xiàn)性
library(dplyr)
library(ISLR)
library(cluster)
library(Rtsne)
library(ggplot2)
Attaching package: ‘dplyr’
The following objects are masked from ‘package:stats’:
filter, lag
The following objects are masked from ‘package:base’:
intersect, setdiff, setequal, union
構(gòu)建聚類模型之前,我們需要做一些數(shù)據(jù)清洗工作:
錄取率等于錄取人數(shù)除以總申請(qǐng)人數(shù)
判斷某個(gè)學(xué)校是否為高水平院校,需要根據(jù)該學(xué)校的所有新生中畢業(yè)于排名前 10% 高中的新生數(shù)量占比是否大于 50% 來(lái)決定
In [5]:
college_clean <- College %>%
mutate(name = row.names(.),
accept_rate = Accept/Apps,
isElite = cut(Top10perc,
breaks = c(0, 50, 100),
labels = c("Not Elite", "Elite"),
include.lowest = TRUE)) %>%
mutate(isElite = factor(isElite)) %>%
select(name, accept_rate, Outstate, Enroll,
Grad.Rate, Private, isElite)
glimpse(college_clean)
Observations: 777
Variables: 7
$ name (chr) "Abilene Christian University", "Adelphi University", "...
$ accept_rate (dbl) 0.7421687, 0.8801464, 0.7682073, 0.8369305, 0.7564767, ...
$ Outstate (dbl) 7440, 12280, 11250, 12960, 7560, 13500, 13290, 13868, 1...
$ Enroll (dbl) 721, 512, 336, 137, 55, 158, 103, 489, 227, 172, 472, 4...
$ Grad.Rate (dbl) 60, 56, 54, 59, 15, 55, 63, 73, 80, 52, 73, 76, 74, 68,...
$ Private (fctr) Yes, Yes, Yes, Yes, Yes, Yes, Yes, Yes, Yes, Yes, Yes,...
$ isElite (fctr) Not Elite, Not Elite, Not Elite, Elite, Not Elite, Not...
距離計(jì)算
聚類分析的第一步是定義樣本之間距離的度量方法,最常用的距離度量方法是歐式距離。然而歐氏距離只適用于連續(xù)型變量,所以本文將采用另外一種距離度量方法—— Gower 距離。
Gower 距離
Gower 距離的定義非常簡(jiǎn)單。首先每個(gè)類型的變量都有特殊的距離度量方法,而且該方法會(huì)將變量標(biāo)準(zhǔn)化到[0,1]之間。接下來(lái),利用加權(quán)線性組合的方法來(lái)計(jì)算最終的距離矩陣。不同類型變量的計(jì)算方法如下所示:
連續(xù)型變量:利用歸一化的曼哈頓距離
順序型變量:首先將變量按順序排列,然后利用經(jīng)過特殊調(diào)整的曼哈頓距離
名義型變量:首先將包含 k 個(gè)類別的變量轉(zhuǎn)換成 k 個(gè) 0-1 變量,然后利用 Dice 系數(shù)做進(jìn)一步的計(jì)算
優(yōu)點(diǎn):通俗易懂且計(jì)算方便
缺點(diǎn):非常容易受無(wú)標(biāo)準(zhǔn)化的連續(xù)型變量異常值影響,所以數(shù)據(jù)轉(zhuǎn)換過程必不可少;該方法需要耗費(fèi)較大的內(nèi)存
利用 daisy 函數(shù),我們只需要一行代碼就可以計(jì)算出 Gower 距離。需要注意的是,由于新生入學(xué)人數(shù)是右偏變量,我們需要對(duì)其做對(duì)數(shù)轉(zhuǎn)換。daisy 函數(shù)內(nèi)置了對(duì)數(shù)轉(zhuǎn)換的功能,你可以調(diào)用幫助文檔來(lái)獲取更多的參數(shù)說(shuō)明。
In [6]:
# Remove college name before clustering
gower_dist <- daisy(college_clean[, -1],
metric = "gower",
type = list(logratio = 3))
# Check attributes to ensure the correct methods are being used
# (I = interval, N = nominal)
# Note that despite logratio being called,
# the type remains coded as "I"
summary(gower_dist)
Out[6]:
301476 dissimilarities, summarized :
Min. 1st Qu. Median Mean 3rd Qu. Max.
0.0018601 0.1034400 0.2358700 0.2314500 0.3271400 0.7773500
Metric : mixed ; Types = I, I, I, I, N, N
Number of objects : 777
此外,我們可以通過觀察最相似和最不相似的樣本來(lái)判斷該度量方法的合理性。本案例中,圣托馬斯大學(xué)和約翰卡羅爾大學(xué)最相似,而俄克拉荷馬科技和藝術(shù)大學(xué)和哈佛大學(xué)差異最大。
In [7]:
gower_mat <- as.matrix(gower_dist)
# Output most similar pair
college_clean[
which(gower_mat == min(gower_mat[gower_mat != min(gower_mat)]),
arr.ind = TRUE)[1, ], ]
Out[7]:
In [8]:
# Output most dissimilar pair
college_clean[
which(gower_mat == max(gower_mat[gower_mat != max(gower_mat)]),
arr.ind = TRUE)[1, ], ]
Out[8]:
聚類算法的選擇
現(xiàn)在我們已經(jīng)計(jì)算好樣本間的距離矩陣,接下來(lái)需要選擇一個(gè)合適的聚類算法,本文采用 PAM(partioniong around medoids)算法來(lái)構(gòu)建模型:
PAM 算法的主要步驟:
隨機(jī)選擇 k 個(gè)數(shù)據(jù)點(diǎn),并將其設(shè)為簇中心點(diǎn)
遍歷所有樣本點(diǎn),并將樣本點(diǎn)歸入最近的簇中
對(duì)每個(gè)簇而言,找出與簇內(nèi)其他點(diǎn)距離之和最小的點(diǎn),并將其設(shè)為新的簇中心點(diǎn)
重復(fù)第2步,直到收斂
該算法和 K-means 算法非常相似。事實(shí)上,除了中心點(diǎn)的計(jì)算方法不同外,其他步驟都完全一致 。
優(yōu)點(diǎn):簡(jiǎn)單易懂且不易受異常值所影響
缺點(diǎn):算法時(shí)間復(fù)雜度為 O(n2)O(n2)
聚類個(gè)數(shù)的選擇
我們將利用輪廓系數(shù)來(lái)確定最佳的聚類個(gè)數(shù),輪廓系數(shù)是一個(gè)用于衡量聚類離散度的內(nèi)部指標(biāo),該指標(biāo)的取值范圍是[-1,1],其數(shù)值越大越好。通過比較不同聚類個(gè)數(shù)下輪廓系數(shù)的大小,我們可以看出當(dāng)聚類個(gè)數(shù)為 3 時(shí),聚類效果最好。
In [9]:
# Calculate silhouette width for many k using PAM
sil_width <- c(NA)
for(i in 2:10){
pam_fit <- pam(gower_dist,
diss = TRUE,
k = i)
sil_width[i] <- pam_fit$silinfo$avg.width
}
# Plot sihouette width (higher is better)
plot(1:10, sil_width,
xlab = "Number of clusters",
ylab = "Silhouette Width")
lines(1:10, sil_width)
聚類結(jié)果解釋
描述統(tǒng)計(jì)量
聚類完畢后,我們可以調(diào)用 summary 函數(shù)來(lái)查看每個(gè)簇的匯總信息。從這些匯總信息中我們可以看出:簇1主要是中等學(xué)費(fèi)且學(xué)生規(guī)模較小的私立非頂尖院校,簇2主要是高收費(fèi)、低錄取率且高畢業(yè)率的私立頂尖院校,而簇3則是低學(xué)費(fèi)、低畢業(yè)率且學(xué)生規(guī)模較大的公立非頂尖院校。
In [18]:
pam_fit <- pam(gower_dist, diss = TRUE, k = 3)
pam_results <- college_clean %>%
dplyr::select(-name) %>%
mutate(cluster = pam_fit$clustering) %>%
group_by(cluster) %>%
do(the_summary = summary(.))
print(pam_results$the_summary)
[[1]]
accept_rate Outstate Enroll Grad.Rate Private
Min. :0.3283 Min. : 2340 Min. : 35.0 Min. : 15.00 No : 0
1st Qu.:0.7225 1st Qu.: 8842 1st Qu.: 194.8 1st Qu.: 56.00 Yes:500
Median :0.8004 Median :10905 Median : 308.0 Median : 67.50
Mean :0.7820 Mean :11200 Mean : 418.6 Mean : 66.97
3rd Qu.:0.8581 3rd Qu.:13240 3rd Qu.: 484.8 3rd Qu.: 78.25
Max. :1.0000 Max. :21700 Max. :4615.0 Max. :118.00
isElite cluster
Not Elite:500 Min. :1
Elite : 0 1st Qu.:1
Median :1
Mean :1
3rd Qu.:1
Max. :1
[[2]]
accept_rate Outstate Enroll Grad.Rate Private
Min. :0.1545 Min. : 5224 Min. : 137.0 Min. : 54.00 No : 4
1st Qu.:0.4135 1st Qu.:13850 1st Qu.: 391.0 1st Qu.: 77.00 Yes:65
Median :0.5329 Median :17238 Median : 601.0 Median : 89.00
Mean :0.5392 Mean :16225 Mean : 882.5 Mean : 84.78
3rd Qu.:0.6988 3rd Qu.:18590 3rd Qu.:1191.0 3rd Qu.: 94.00
Max. :0.9605 Max. :20100 Max. :4893.0 Max. :100.00
isElite cluster
Not Elite: 0 Min. :2
Elite :69 1st Qu.:2
Median :2
Mean :2
3rd Qu.:2
Max. :2
[[3]]
accept_rate Outstate Enroll Grad.Rate Private
Min. :0.3746 Min. : 2580 Min. : 153 Min. : 10.00 No :208
1st Qu.:0.6423 1st Qu.: 5295 1st Qu.: 694 1st Qu.: 46.00 Yes: 0
Median :0.7458 Median : 6598 Median :1302 Median : 54.50
Mean :0.7315 Mean : 6698 Mean :1615 Mean : 55.42
3rd Qu.:0.8368 3rd Qu.: 7748 3rd Qu.:2184 3rd Qu.: 65.00
Max. :1.0000 Max. :15516 Max. :6392 Max. :100.00
isElite cluster
Not Elite:199 Min. :3
Elite : 9 1st Qu.:3
Median :3
Mean :3
3rd Qu.:3
Max. :3
PAM 算法的另一個(gè)優(yōu)點(diǎn)是各個(gè)簇的中心點(diǎn)是實(shí)際的樣本點(diǎn)。從聚類結(jié)果中我們可以看出,圣弗朗西斯大學(xué)是簇1 的中心點(diǎn),巴朗德學(xué)院是簇2 的中心點(diǎn),而密歇根州州立大學(xué)河谷大學(xué)是簇3 的中心點(diǎn)。
In [19]:
college_clean[pam_fit$medoids, ]
Out[19]:
可視化方法
t-SNE 是一種降維方法,它可以在保留聚類結(jié)構(gòu)的前提下,將多維信息壓縮到二維或三維空間中。借助t-SNE我們可以將 PAM 算法的聚類結(jié)果繪制出來(lái),有趣的是私立頂尖院校和公立非頂尖院校這兩個(gè)簇中間存在一個(gè)小聚類簇。
In [22]:
tsne_obj <- Rtsne(gower_dist, is_distance = TRUE)
tsne_data <- tsne_obj$Y %>%
data.frame() %>%
setNames(c("X", "Y")) %>%
mutate(cluster = factor(pam_fit$clustering),
name = college_clean$name)
ggplot(aes(x = X, y = Y), data = tsne_data) +
geom_point(aes(color = cluster))
進(jìn)一步探究可以發(fā)現(xiàn),這一小簇主要包含一些競(jìng)爭(zhēng)力較強(qiáng)的公立院校,比如弗吉尼亞大學(xué)和加州大學(xué)伯克利分校。雖然無(wú)法通過輪廓系數(shù)指標(biāo)來(lái)證明多分一類是合理的,但是這 13 所院校的確顯著不同于其他三個(gè)簇的院校。
In [25]:
tsne_data %>%
filter(X > 15 & X < 25,
Y > -15 & Y < -10) %>%
left_join(college_clean, by = "name") %>%
collect %>%
.[["name"]]
Out[25]:
‘Kansas State University’
‘North Carolina State University at Raleigh’
‘Pennsylvania State Univ. Main Campus’
‘SUNY at Buffalo’
‘Texas A&M Univ. at College Station’
‘University of Georgia’
‘University of Kansas’
‘University of Maryland at College Park’
‘University of Minnesota Twin Cities’
‘University of Missouri at Columbia’
‘University of Tennessee at Knoxville’
‘University of Texas at Austin’
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠(chéng)摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國(guó)內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03