數(shù)據(jù)分析技術(shù)：數(shù)據(jù)的歸納分析

在數(shù)據(jù)分析中，除了差異性檢驗、關(guān)聯(lián)性研究之外，基于原始數(shù)據(jù)開展的研究也是非常重要的，對原始數(shù)據(jù)的處理研究被稱為數(shù)據(jù)歸納分析。

歸納分析

所謂歸納就是從個別性知識推出一般性結(jié)論的推理。其主要方法是根據(jù)一類事物的部分對象具有某種性質(zhì)，推出這類事物的所有對象都具有這種性質(zhì)的推理。

數(shù)據(jù)的歸納分析可以從兩個維度進(jìn)行。例如，SPSS的數(shù)據(jù)視圖，是一個二維數(shù)據(jù)表，數(shù)據(jù)表的每一行是一個個案，每一列是一個變量，數(shù)據(jù)的歸納分析就是對行和列的抽象與歸納。對個案的歸納處理是聚類，也叫分類，它以行作為操作單元，其目標(biāo)是根據(jù)個案的特點把個案劃分為若干類別。對變量的歸納處理則稱為降維，它以列作為操作單元，其目標(biāo)是根據(jù)變量的取值特點把描述變量的眾多屬性壓縮為具有某些特點的幾個屬性，從而能夠更加清晰的突出個案集的本質(zhì)特點。對個案和變量的歸納處理過程就是常說的聚類分析和降維分析。

聚類分析

在學(xué)習(xí)、工作和科研活動中，常常需要將數(shù)以萬計的個案分成若干類，以便于操作。例如，可以把人群分為男和女，還可以把社會人群分為高收入、中等收入和低收入人群。依據(jù)某些因素，對個案分類的過程就是分類分析，也叫聚類分析，實現(xiàn)分類分析的主要技術(shù)：

個案分層聚類

自動分層聚類是分類分析中常見的技術(shù)。在這種聚類分析中，首先掃描個案集，把兩個距離最近的個案歸結(jié)為一類，形成新的個案集；然后基于新個案集，重復(fù)這個過程，直到所有個案都被歸結(jié)為一個大類為止。分層聚類的最終結(jié)果是獲得一個只有唯一大類的個案集?？梢园逊謱泳垲惪醋饕豢么髽洌畛醯奈淳垲悅€案就像散亂的樹葉。當(dāng)聚類完成后，所有的樹葉就被大樹有機地組織起來，處于不同層次上的樹葉體現(xiàn)了樹葉之間的距離關(guān)系。面向個案的分層聚類，被稱為Q聚類，是分類分析中非常重要的操作。

K-Mean聚類分析

K-Mean聚類基于用戶指定的聚類類別數(shù)、類別中心點，開始聚類過程。當(dāng)然，如果用戶預(yù)先不能提供類別中心點，也可由系統(tǒng)自動迭代生產(chǎn)。

判別分析

判別分析的過程是基于已有數(shù)據(jù)集制作分類規(guī)則的過程?；舅悸肥?，用戶已有若干已經(jīng)完成分類且類別號清晰的個案，由系統(tǒng)借助一些因素變量和已有分類號創(chuàng)建判別規(guī)則，構(gòu)造判別函數(shù)。然后，系統(tǒng)就能基于判別函數(shù)對未來的個案實現(xiàn)自動分類。判別分析過程實際上是系統(tǒng)主動探索與學(xué)習(xí)的過程，然后依據(jù)已經(jīng)習(xí)得的規(guī)則，對其它個案進(jìn)行判定其歸屬類別。在判別分析中，創(chuàng)建判別函數(shù)并分析判別函數(shù)的質(zhì)量，是判別分析的重要任務(wù)。

降維分析

降維分析是面向變量的歸納，其目的是把數(shù)據(jù)表中的若干相關(guān)變量集合在一起，形成歸一化的結(jié)論，從而減少數(shù)據(jù)表中列的數(shù)量，這樣就能從變量集中抽象出公共的因素，以便獲得比較有價值的研究結(jié)論。對變量的降維有兩種不同技術(shù)：其一是對變量的歸類，借助變量分類的技術(shù)實現(xiàn)降維；其二是抽取公共因子，通過抽取公共因子的方式實現(xiàn)同質(zhì)變量的降維。降維分析的常見手段：

主成分分析

主成分分析是因子分析中的一種。其基本思路是假設(shè)在若干變量內(nèi)部隱藏著能夠表達(dá)這些變量語義的若干個公共因子，主成分分析的目標(biāo)就是找到這些公共因子，然后利用遠(yuǎn)比變量個數(shù)少的公共因子來表達(dá)原來變量所描述的語義。主成分分析的目標(biāo)是找到影響全體變量項的一個或多個主成分。

面向變量的聚類分析

針對具有眾多變量的調(diào)研數(shù)據(jù)，可以借助自動分類聚類的技術(shù)，對變量進(jìn)行聚類，把眾多變量劃分為若干小組，形成幾個聚結(jié)的變量集，然后分析每個變量集的語義，形成聚結(jié)的維度。面向變量的分層聚類分析，也叫R聚類，也能解決研究問題的降維問題。

對應(yīng)分析

對于調(diào)研數(shù)據(jù)來講，綜合性的結(jié)論通常與全體變量的取值有關(guān)系。但是，某些情況下，某一特定變量的取值在一定程度上直接影響著最終結(jié)果。對應(yīng)分析就是找出相關(guān)的兩個變量之間取值的對應(yīng)關(guān)系，以便能夠借助一個比較簡單的因素變量，能夠?qū)ψ罱K結(jié)果快速做出判定。

聚類分析距離的判定

由于聚類分析（包括Q聚類和R聚類）是以元素（個案或變量）之間的距離作為是否聚合的判定依據(jù)的，所以在聚類分析中，對元素間距離的判定就顯得非常重要。對于元素間距離的判定，主要包括兩個方面的內(nèi)容：

個案（變量）之間距離的測定；

個案團（變量團）之間距離的測定；

個案（變量）之間距離的測定

由于聚類分析中的每個個案（或變量）都是包含著多個屬性取值的多維結(jié)構(gòu)體，可以看做是多維空間中的一個結(jié)點。對于已經(jīng)明確了多維坐標(biāo)值的兩個結(jié)點，如何來衡量它們之間的距離呢？

定距變量之間距離的度量

1、歐式距離

歐式距離（Euclidean distance）以坐標(biāo)點之間的直線距離作為其結(jié)果，在三維坐標(biāo)系下，其計算公式為：

2、平方歐式距離

平方歐式距離，即歐式距離的平方，其公式為：

3、余弦距離

余弦距離是兩個結(jié)點夾角的余弦值，代表結(jié)點之間的距離。其計算公式為：

4、皮爾遜相關(guān)系數(shù)

5、切比雪夫距離

切比雪夫（Chebyhev）距離是用結(jié)點中的最大差值的絕對值作為兩個元祖之間的距離。

6、塊距離

塊距離以兩個結(jié)點中所有對應(yīng)數(shù)據(jù)的差值的絕對值之和來表示兩個結(jié)點之間的距離。

7、明可夫斯基距離

明可夫斯基距離是對歐式距離的改進(jìn)，其公式是

當(dāng)P=1時，此公式退化為塊距離公式，當(dāng)P=2時，此公式退化為歐式距離公式。

8、自定義“設(shè)定距離”公式

自定義“設(shè)定距離”公式是對明可夫斯基距離的復(fù)雜化。

當(dāng)r=p時，此公式退化為明可夫斯基距離公式，當(dāng)r=p=2時，此公式就是歐式距離公式。

對定序變量之間距離的度量

1、卡方距離

用卡方測量兩個個案或變量在總頻數(shù)分布期望值方面的獨立性，它以卡方值的平方根充當(dāng)距離值，是一種基于頻數(shù)的距離計算方法。

2、Φ方測量

測量兩個個案或變量在總聘書分布期望值方面的獨立性，它以Φ統(tǒng)計量的平方根充當(dāng)元素間的距離，其實質(zhì)是以卡方值的平方根除以合并頻率的平方根，是對卡方距離的改進(jìn)。

3、對二分變量之間距離的度量

對于只有兩個取值的二分元素，如果要計算它們之間的距離，常常選用歐式距離或平方歐式距離。

對個案團或變量團之間距離的測定

在分層聚類過程中，隨著聚類進(jìn)程的進(jìn)展，很多元素都包含了多個個案（變量），變成了個案團或變量團，那么應(yīng)該如何確定它們之間的距離呢？

1、組間聯(lián)結(jié)

計算兩個團內(nèi)所有個案或變量之間的距離，以所有距離的均值作為元素之間的距離。在聚類過程中，從所有尚待聚類的元素中，取元素間距離最小的兩個元素進(jìn)行合并。

2、組內(nèi)聯(lián)結(jié)

先假設(shè)待合并的兩個團已經(jīng)合并起來，然后計算新元素內(nèi)每對個案或變量之間的距離，以所有個案對或變量對的距離的平均值作為這兩個元素之間的距離。

3、最近鄰元素

以兩個團內(nèi)部距離最近的個案或變量之間的處理作為兩元素之間的距離。

4、最遠(yuǎn)鄰距離

5、質(zhì)心聚類法

質(zhì)心聚類法是先確定每個元素的重心位置，以重心位置之間的距離作為兩元素之間的距離。

6、中位數(shù)聚類法

先確定每個元素的中位數(shù)，以中位數(shù)之間的距離作為兩元素之間的距離。

7、Wald方法

離差平方和法，若某兩個元素合并后其內(nèi)部各個個案或變量距離的離差平方和最小，則這兩個元素可以合并。