數(shù)據(jù)分析技術(shù)：聚類分析；可怕的不是階層固化，而是因此放棄了努力

劃分類別、等級(jí)和階層的行為自發(fā)或不自發(fā)的存在于社會(huì)生活的各個(gè)角落。例如，可以根據(jù)家庭年收入情況將所有家庭劃分為低收入到高收入的不同階層；根據(jù)人們的工作性質(zhì)，也可以將人們劃分不同階層；根據(jù)出生地和生活習(xí)慣，同樣可以對(duì)人群進(jìn)行分類。對(duì)事物分門(mén)別類依據(jù)的是不同事物身上共同的標(biāo)簽。

分階層、分等級(jí)、分類別從來(lái)都不是一個(gè)能夠被簡(jiǎn)單定義好壞的行為。中華幾千年的文明歷史，從奴隸社會(huì)、封建社會(huì)，再跨越進(jìn)入社會(huì)主義社會(huì)的初級(jí)階段，沒(méi)有那種社會(huì)形態(tài)只存在一種階層，一種人群。在不同的階層和人群間，也必然存在協(xié)作、欺壓甚至剝削等不同的相處模式，這是由不同群體身上的標(biāo)簽決定的，這是分類殘酷的一面。對(duì)于數(shù)據(jù)分析者和商業(yè)運(yùn)營(yíng)者來(lái)說(shuō)，不同類別事物身上的特有標(biāo)簽是他們需要充分利用的信息，例如，年輕人喜歡鬧騰消遣娛樂(lè)方式；女性消費(fèi)者是化妝品的主要購(gòu)買(mǎi)和使用者；老年社會(huì)的來(lái)臨，意味著養(yǎng)老機(jī)構(gòu)存在極大的需求缺口等等，這是分類信息帶給商業(yè)運(yùn)營(yíng)者制定下一步發(fā)展策略的方向。

上面列舉的例子都是通過(guò)一個(gè)指標(biāo)、特征或標(biāo)簽就對(duì)所有的事物進(jìn)行分類，這樣的分類情況是非常簡(jiǎn)單和明確的。然而，如果分類需要考慮的標(biāo)簽是多個(gè)，事物在這些標(biāo)簽上的表現(xiàn)有好有壞，那么就需要用到聚類分析來(lái)達(dá)到我們的需求了。

聚類分析原理

在介紹聚類分析原理前，需要強(qiáng)調(diào)一個(gè)事實(shí)。同其它統(tǒng)計(jì)分析方法不同，聚類分析是一種探索性的分析方法，也就是說(shuō)不用也沒(méi)有辦法對(duì)聚類分析的結(jié)果進(jìn)行“是否正確”的檢驗(yàn)，只能依據(jù)聚類結(jié)果在具體問(wèn)題中的“有用性”來(lái)判斷聚類效果的好壞，沒(méi)有正確或錯(cuò)誤之分。

聚類分析的實(shí)質(zhì)就是按照事物之間距離的遠(yuǎn)近進(jìn)行分類，其分析結(jié)果使同類別事物的距離（差異）盡可能小，不同類別的距離（差異）盡可能大。根據(jù)聚類分析的邏輯，以下幾個(gè)問(wèn)題是需要大家清楚理解的。

距離的定義

事物身上的指標(biāo)數(shù)據(jù)（標(biāo)簽數(shù)據(jù)）類型可以分成兩類：分類數(shù)據(jù)（定類或定序）以及連續(xù)型數(shù)據(jù)（定距和定比），這兩類數(shù)據(jù)在聚類分析時(shí)，常用的距離測(cè)量方式是完全不同的，連續(xù)型數(shù)據(jù)一般使用歐氏平方距離，而分類數(shù)據(jù)使用的則是卡方相關(guān)性。對(duì)于連續(xù)型數(shù)據(jù)的歐式距離或歐式平方距離，可以用下面的公式表示，是非常好理解的：

基于不同數(shù)據(jù)類型，定義距離的方式不同，因此傳統(tǒng)聚類方法只能使用單一種類的指標(biāo)數(shù)據(jù)進(jìn)行聚類分析，如果數(shù)據(jù)中同時(shí)含有兩類數(shù)據(jù)，那么只能選取其中一種進(jìn)行分析。令人高興的是，隨著聚類分析方法的發(fā)展，一些智能聚類方法已經(jīng)可以很好的同時(shí)分析這兩種變量，兩步聚類就是最常用的只能聚類方法。

通過(guò)上面介紹的歐式距離公式，我們會(huì)發(fā)現(xiàn)一個(gè)很明顯的缺陷，那就是不同指標(biāo)數(shù)據(jù)的單位或數(shù)量級(jí)相差很大，那么數(shù)量級(jí)大的指標(biāo)數(shù)據(jù)會(huì)對(duì)歐式距離產(chǎn)生更大的影響。例如，x的數(shù)量級(jí)如果是萬(wàn)，而y數(shù)量級(jí)僅為十，那么y變量對(duì)歐式距離結(jié)果的影響相對(duì)于x來(lái)說(shuō)就顯得微不足道了。解決這個(gè)缺陷最常用的辦法就是數(shù)據(jù)標(biāo)準(zhǔn)化，使得不同數(shù)量級(jí)的數(shù)據(jù)回到同一起跑線。常用的標(biāo)準(zhǔn)化方式就是把數(shù)據(jù)轉(zhuǎn)化成標(biāo)準(zhǔn)化分?jǐn)?shù)，當(dāng)然也可以根據(jù)實(shí)際情況將不同數(shù)量級(jí)的數(shù)據(jù)變換成同一個(gè)數(shù)量級(jí)進(jìn)行比較。

聚類方法

聚類分析經(jīng)過(guò)多年的發(fā)展，已經(jīng)逐漸形成常用的三種聚類方法：層次聚類法、K-Mean聚類法和二階聚類法。下面對(duì)這三種聚類方法的聚類邏輯進(jìn)行介紹，后面會(huì)用三篇推送具體介紹它們的原理、SPSS軟件實(shí)現(xiàn)和生活案例應(yīng)用。

層次聚類法

層次聚類法是傳統(tǒng)的聚類方法，它首先需要根據(jù)指標(biāo)數(shù)據(jù)類型確定距離的基本定義和計(jì)算方式，隨后按照距離的遠(yuǎn)近，將所有的事物（個(gè)案）一步一步的歸成一類。這樣聚類的結(jié)果顯然存在嵌套，或者說(shuō)不同類別間會(huì)有層次關(guān)系，因此被稱為層次聚類法。層次聚類可用一張二維空間圖來(lái)表示，稱為樹(shù)狀圖。

K-均值聚類

層次聚類的分析過(guò)程是非常細(xì)致的，需要計(jì)算所有事物（個(gè)案）兩兩之間的距離，所以聚類的效率不高。K-均值聚類可以在一定程度上解決這個(gè)問(wèn)題。K-均值聚類在聚類之前就確定好了最終的類別數(shù)和類別坐標(biāo)，整個(gè)分析過(guò)程使用迭代的方式進(jìn)行。通過(guò)不斷的迭代把事物（個(gè)案）在不同類別之間移動(dòng)，直到找到距離最短的類別，然后將該事物歸于此類。整個(gè)計(jì)算過(guò)程中不需要存儲(chǔ)基本數(shù)據(jù)，因此不會(huì)出現(xiàn)嵌套結(jié)果，計(jì)算速度也非?？臁?

二階聚類

隨著數(shù)據(jù)收集和存儲(chǔ)設(shè)備的發(fā)展，海量數(shù)據(jù)的聚類分析已經(jīng)稱為迫切的需求，而上面介紹的兩種聚類方法在速度和效率上還不能滿足要求。首先是面對(duì)海量數(shù)據(jù)，過(guò)高的計(jì)算量會(huì)使上面兩種方法不具實(shí)用價(jià)值；其次上面兩種聚類方法不能處理復(fù)雜指標(biāo)數(shù)據(jù)同時(shí)存在的情況，特別是連續(xù)型和離散型數(shù)據(jù)混合出現(xiàn)的情況。二階聚類能夠解決上面兩種聚類方法不能處理的復(fù)雜情況。