數(shù)據(jù)分析技術(shù)：聚類分析；可怕的不是階層固化，而是因此放棄了努力

劃分類別、等級和階層的行為自發(fā)或不自發(fā)的存在于社會生活的各個角落。例如，可以根據(jù)家庭年收入情況將所有家庭劃分為低收入到高收入的不同階層；根據(jù)人們的工作性質(zhì)，也可以將人們劃分不同階層；根據(jù)出生地和生活習(xí)慣，同樣可以對人群進(jìn)行分類。對事物分門別類依據(jù)的是不同事物身上共同的標(biāo)簽。

分階層、分等級、分類別從來都不是一個能夠被簡單定義好壞的行為。中華幾千年的文明歷史，從奴隸社會、封建社會，再跨越進(jìn)入社會主義社會的初級階段，沒有那種社會形態(tài)只存在一種階層，一種人群。在不同的階層和人群間，也必然存在協(xié)作、欺壓甚至剝削等不同的相處模式，這是由不同群體身上的標(biāo)簽決定的，這是分類殘酷的一面。對于數(shù)據(jù)分析者和商業(yè)運營者來說，不同類別事物身上的特有標(biāo)簽是他們需要充分利用的信息，例如，年輕人喜歡鬧騰消遣娛樂方式；女性消費者是化妝品的主要購買和使用者；老年社會的來臨，意味著養(yǎng)老機(jī)構(gòu)存在極大的需求缺口等等，這是分類信息帶給商業(yè)運營者制定下一步發(fā)展策略的方向。

上面列舉的例子都是通過一個指標(biāo)、特征或標(biāo)簽就對所有的事物進(jìn)行分類，這樣的分類情況是非常簡單和明確的。然而，如果分類需要考慮的標(biāo)簽是多個，事物在這些標(biāo)簽上的表現(xiàn)有好有壞，那么就需要用到聚類分析來達(dá)到我們的需求了。

聚類分析原理

在介紹聚類分析原理前，需要強(qiáng)調(diào)一個事實。同其它統(tǒng)計分析方法不同，聚類分析是一種探索性的分析方法，也就是說不用也沒有辦法對聚類分析的結(jié)果進(jìn)行“是否正確”的檢驗，只能依據(jù)聚類結(jié)果在具體問題中的“有用性”來判斷聚類效果的好壞，沒有正確或錯誤之分。

聚類分析的實質(zhì)就是按照事物之間距離的遠(yuǎn)近進(jìn)行分類，其分析結(jié)果使同類別事物的距離（差異）盡可能小，不同類別的距離（差異）盡可能大。根據(jù)聚類分析的邏輯，以下幾個問題是需要大家清楚理解的。

距離的定義

事物身上的指標(biāo)數(shù)據(jù)（標(biāo)簽數(shù)據(jù)）類型可以分成兩類：分類數(shù)據(jù)（定類或定序）以及連續(xù)型數(shù)據(jù)（定距和定比），這兩類數(shù)據(jù)在聚類分析時，常用的距離測量方式是完全不同的，連續(xù)型數(shù)據(jù)一般使用歐氏平方距離，而分類數(shù)據(jù)使用的則是卡方相關(guān)性。對于連續(xù)型數(shù)據(jù)的歐式距離或歐式平方距離，可以用下面的公式表示，是非常好理解的：

基于不同數(shù)據(jù)類型，定義距離的方式不同，因此傳統(tǒng)聚類方法只能使用單一種類的指標(biāo)數(shù)據(jù)進(jìn)行聚類分析，如果數(shù)據(jù)中同時含有兩類數(shù)據(jù)，那么只能選取其中一種進(jìn)行分析。令人高興的是，隨著聚類分析方法的發(fā)展，一些智能聚類方法已經(jīng)可以很好的同時分析這兩種變量，兩步聚類就是最常用的只能聚類方法。

通過上面介紹的歐式距離公式，我們會發(fā)現(xiàn)一個很明顯的缺陷，那就是不同指標(biāo)數(shù)據(jù)的單位或數(shù)量級相差很大，那么數(shù)量級大的指標(biāo)數(shù)據(jù)會對歐式距離產(chǎn)生更大的影響。例如，x的數(shù)量級如果是萬，而y數(shù)量級僅為十，那么y變量對歐式距離結(jié)果的影響相對于x來說就顯得微不足道了。解決這個缺陷最常用的辦法就是數(shù)據(jù)標(biāo)準(zhǔn)化，使得不同數(shù)量級的數(shù)據(jù)回到同一起跑線。常用的標(biāo)準(zhǔn)化方式就是把數(shù)據(jù)轉(zhuǎn)化成標(biāo)準(zhǔn)化分?jǐn)?shù)，當(dāng)然也可以根據(jù)實際情況將不同數(shù)量級的數(shù)據(jù)變換成同一個數(shù)量級進(jìn)行比較。

聚類方法

聚類分析經(jīng)過多年的發(fā)展，已經(jīng)逐漸形成常用的三種聚類方法：層次聚類法、K-Mean聚類法和二階聚類法。下面對這三種聚類方法的聚類邏輯進(jìn)行介紹，后面會用三篇推送具體介紹它們的原理、SPSS軟件實現(xiàn)和生活案例應(yīng)用。

層次聚類法

層次聚類法是傳統(tǒng)的聚類方法，它首先需要根據(jù)指標(biāo)數(shù)據(jù)類型確定距離的基本定義和計算方式，隨后按照距離的遠(yuǎn)近，將所有的事物（個案）一步一步的歸成一類。這樣聚類的結(jié)果顯然存在嵌套，或者說不同類別間會有層次關(guān)系，因此被稱為層次聚類法。層次聚類可用一張二維空間圖來表示，稱為樹狀圖。

K-均值聚類

層次聚類的分析過程是非常細(xì)致的，需要計算所有事物（個案）兩兩之間的距離，所以聚類的效率不高。K-均值聚類可以在一定程度上解決這個問題。K-均值聚類在聚類之前就確定好了最終的類別數(shù)和類別坐標(biāo)，整個分析過程使用迭代的方式進(jìn)行。通過不斷的迭代把事物（個案）在不同類別之間移動，直到找到距離最短的類別，然后將該事物歸于此類。整個計算過程中不需要存儲基本數(shù)據(jù)，因此不會出現(xiàn)嵌套結(jié)果，計算速度也非?？臁?

二階聚類

隨著數(shù)據(jù)收集和存儲設(shè)備的發(fā)展，海量數(shù)據(jù)的聚類分析已經(jīng)稱為迫切的需求，而上面介紹的兩種聚類方法在速度和效率上還不能滿足要求。首先是面對海量數(shù)據(jù)，過高的計算量會使上面兩種方法不具實用價值；其次上面兩種聚類方法不能處理復(fù)雜指標(biāo)數(shù)據(jù)同時存在的情況，特別是連續(xù)型和離散型數(shù)據(jù)混合出現(xiàn)的情況。二階聚類能夠解決上面兩種聚類方法不能處理的復(fù)雜情況。