數(shù)據(jù)分析方法:非參數(shù)檢驗(yàn)

對(duì)于分布形態(tài)未知的數(shù)據(jù)，常用處理方法如下：

判斷數(shù)據(jù)序列的分布形態(tài)

以標(biāo)準(zhǔn)的正態(tài)分布形態(tài)為基準(zhǔn)，檢驗(yàn)數(shù)據(jù)序列與正態(tài)序列是否存在分布差異性，這里可以用單樣本的K-S檢驗(yàn)，如果沒有顯著性差異，就認(rèn)為該序列滿足正態(tài)分布。對(duì)于已經(jīng)滿足正態(tài)分布的序列，可以直接使用基于正態(tài)分布的數(shù)據(jù)分析技術(shù)，比如T檢驗(yàn)和方差分析。

轉(zhuǎn)化為正態(tài)分布序列

明確不是正態(tài)分布的序列，可以通過技術(shù)手段將序列轉(zhuǎn)化為接近正態(tài)分布的形態(tài)。在數(shù)據(jù)分析過程中，人們常常借助于秩分把非正態(tài)分布的數(shù)據(jù)轉(zhuǎn)化為接近正態(tài)分布的形態(tài)；或者借助于Z分?jǐn)?shù)和正態(tài)得分對(duì)數(shù)據(jù)序列進(jìn)行預(yù)處理，然后借助正態(tài)分布差異性分析結(jié)束實(shí)現(xiàn)差異顯著性檢驗(yàn)。（回顧這部分內(nèi)容：數(shù)據(jù)分析方法：非正態(tài)數(shù)據(jù)轉(zhuǎn)化成正態(tài)數(shù)據(jù)）

非參數(shù)檢驗(yàn)方法

除了轉(zhuǎn)化為正態(tài)分布序列，還可直接使用非參數(shù)檢驗(yàn)方法檢驗(yàn)其分布差異性。實(shí)際上，所謂的非參數(shù)檢驗(yàn)，其實(shí)質(zhì)就是借助于秩分或符號(hào)等技術(shù)對(duì)原始序列進(jìn)行轉(zhuǎn)化，然后借用類似參數(shù)檢驗(yàn)的手段開展數(shù)據(jù)分析。

非參數(shù)檢驗(yàn)

前面說到，對(duì)于不符合正態(tài)分布的數(shù)據(jù)，可以采用非參數(shù)檢驗(yàn)的方法進(jìn)行數(shù)據(jù)分析。在這里，不符合正態(tài)分布的數(shù)據(jù)可以分為兩種：1、不符合正態(tài)分布的高測度數(shù)據(jù)（定距數(shù)據(jù)和高測度的定序數(shù)據(jù)）；2、低測度數(shù)據(jù)（定類數(shù)據(jù)和低測度的定序數(shù)據(jù)）。根據(jù)上面兩種數(shù)據(jù)類型，非參數(shù)檢驗(yàn)主要包括下面三個(gè)方面的內(nèi)容：

檢驗(yàn)樣本的分布形態(tài)

檢驗(yàn)高測度數(shù)據(jù)序列的分布形態(tài)，這是針對(duì)單變量的檢驗(yàn)，其方法是檢驗(yàn)數(shù)據(jù)序列的分布與標(biāo)準(zhǔn)分布形態(tài)的差異性。如果當(dāng)前數(shù)據(jù)序列與標(biāo)準(zhǔn)分布形態(tài)沒有顯著性差異，則被認(rèn)為當(dāng)前序列滿足該分布形態(tài)。常見的針對(duì)單樣本數(shù)據(jù)判斷其分布形態(tài)的檢驗(yàn)技術(shù)主要有：單樣本K-S檢驗(yàn)、單樣本游程檢驗(yàn)、二項(xiàng)分布檢驗(yàn)、卡方檢驗(yàn)。

分布形態(tài)差異顯著性檢驗(yàn)

對(duì)于不符合正態(tài)分布的高測度數(shù)據(jù)序列，常見的差異顯著性檢驗(yàn)方法有：1、兩獨(dú)立樣本的差異顯著性檢驗(yàn)；2、多獨(dú)立樣本的差異顯著性檢驗(yàn)；3、兩關(guān)聯(lián)樣本的差異顯著性檢驗(yàn)；4、多關(guān)聯(lián)樣本的差異顯著性檢驗(yàn)。

低測度數(shù)據(jù)的差異顯著性檢驗(yàn)

對(duì)于不符合正態(tài)分布的定類數(shù)據(jù)或低測度定序數(shù)據(jù)，其檢驗(yàn)方法是利用交叉表技術(shù)分行分列計(jì)算交叉點(diǎn)的頻數(shù)，利用卡方距離實(shí)施卡方檢驗(yàn)，基于頻數(shù)和數(shù)據(jù)分布形態(tài)分析不同類別的數(shù)據(jù)是否存在顯著性差異。對(duì)于定類數(shù)據(jù)的對(duì)比檢驗(yàn)，也叫獨(dú)立性檢驗(yàn)。
分布形態(tài)差異顯著性檢驗(yàn)

分布形態(tài)檢驗(yàn)前面已經(jīng)介紹過，低測度數(shù)據(jù)的卡方檢驗(yàn)將在下一篇文章中介紹。下面重點(diǎn)介紹對(duì)于非正態(tài)分布的高測度數(shù)據(jù)的分布形態(tài)差異顯著性檢驗(yàn)方法。

兩關(guān)聯(lián)樣本的非參數(shù)檢驗(yàn)

對(duì)不滿足正態(tài)分布的兩關(guān)聯(lián)樣本，如果分析其是否存在顯著性差異，不可以通過均值比較其差異性，通常是通過對(duì)比其分布形態(tài)比較其差異性。

數(shù)據(jù)序列的三個(gè)要求：1、樣本數(shù)據(jù)來源于同一總體的不同視角，或者是對(duì)相同樣本的多次測量；2、幾組樣本數(shù)據(jù)之間存在一一對(duì)應(yīng)的關(guān)聯(lián)性；3、數(shù)據(jù)不滿足正態(tài)分布，或樣本的測量區(qū)分度不高。

兩關(guān)聯(lián)樣本非參數(shù)檢驗(yàn)的方法

符號(hào)秩檢驗(yàn)（Wilcoxon）；基于符號(hào)檢驗(yàn)其秩分分布的辦法，本質(zhì)上是一種檢驗(yàn)平均秩的檢驗(yàn)。即把樣本的兩次觀測值相減，記錄差值的符號(hào)和絕對(duì)值，并基于絕對(duì)值升序求秩分，比較兩組數(shù)據(jù)的正值秩分或負(fù)值秩分，從而確定其差異性。

符號(hào)檢驗(yàn)（Sign）；純粹通過符號(hào)實(shí)施數(shù)據(jù)檢驗(yàn)的一種方法，即對(duì)樣本的兩次測量值直接相減求取符號(hào)，然后根據(jù)符號(hào)情況確定其差異性。由于符號(hào)檢驗(yàn)僅僅通過正負(fù)號(hào)進(jìn)行檢驗(yàn)，適合于測度較低的非定距數(shù)據(jù)，其檢驗(yàn)準(zhǔn)確度不夠高。

變化顯著性檢驗(yàn)（McNemar）；變化顯著性檢驗(yàn)，是基于兩次測量差值情況的檢驗(yàn)方法。即把樣本的兩次測量值相減，記錄差值，然后通過校驗(yàn)公式處理后，求取卡方值。然后基于卡方檢驗(yàn)決定其差異性。變化顯著性檢驗(yàn)，僅適用于兩個(gè)變量均為二分?jǐn)?shù)據(jù)的情況。

邊緣一致性檢驗(yàn)（MarginalHomo）；邊緣一致性檢驗(yàn)，也是基于兩次測量差值情況的檢驗(yàn)方法，主要通過把先后測量的兩組樣本值進(jìn)行卡方檢驗(yàn)?；诳ǚ綑z驗(yàn)的方法判斷序列之間差異性。邊緣一致性檢驗(yàn)，對(duì)變量的要求并不局限于二分?jǐn)?shù)據(jù)，還可以面向多值的分類變量。

多關(guān)聯(lián)樣本的非參數(shù)檢驗(yàn)

當(dāng)關(guān)聯(lián)樣本多于兩個(gè)時(shí)，需要用多關(guān)聯(lián)樣本的非參數(shù)檢驗(yàn)。多關(guān)聯(lián)樣本的非參數(shù)檢驗(yàn)方法主要有：

雙向等級(jí)方差分析（FriedMan）；雙向等級(jí)方差分析是基于K個(gè)變量降序秩分的差異顯著性檢驗(yàn)。這是基于秩分的一種方差分析方法，其基本思路是先對(duì)樣本的K個(gè)檢驗(yàn)量進(jìn)行降序求秩分，然后按照秩分做方差分析。雙向等級(jí)方差分析，比較適合于針對(duì)定距變量和高測度定序變量的數(shù)據(jù)分析。

肯德爾和諧系數(shù)檢驗(yàn)（Kendall）；肯德爾和諧系數(shù)檢驗(yàn)，是基于肯德爾系數(shù)的差異顯著性檢驗(yàn)技術(shù)，是基于秩分的平均等級(jí)分析。其基本思路是：先計(jì)算K個(gè)觀測量卡方值和肯德爾和諧系數(shù)W，然后判斷其觀測值的分布是否一致。在肯德爾和諧系數(shù)檢驗(yàn)中，以肯德爾和諧系數(shù)W表示被檢驗(yàn)變量的秩分之間的差異程度。協(xié)同系數(shù)W的取值在0~1，W越接近于1，表示變量的組件差異越大，反之，協(xié)同系數(shù)W越接近于0，表示變量的組間差異越小?？系聽柡椭C系數(shù)檢驗(yàn)，比較適合于定距變量與定序變量的處理。

二分變量檢驗(yàn)（Cochran檢驗(yàn)）；二分變量檢驗(yàn)，通過檢驗(yàn)多個(gè)樣本量的CochranQ系數(shù)，以便分析K各關(guān)聯(lián)樣本是否來自同一總體或者具有相同的分布。二分變量檢驗(yàn)，主要面向二分變量的分析。

兩獨(dú)立樣本的非參數(shù)檢驗(yàn)

對(duì)不滿足正態(tài)分布的兩獨(dú)立樣本，如需要分析其是否存在顯著性差異，同樣不可以通過均值比較其差異性，通常是通過分布形態(tài)或秩分比較其差異性。對(duì)于兩獨(dú)立樣本的非參數(shù)檢驗(yàn)，對(duì)數(shù)據(jù)序列主要有以下要求：1、樣本數(shù)據(jù)來源于同一總體；2、樣本數(shù)據(jù)不滿足正態(tài)分布，或樣本的測量區(qū)分度不高；3、樣本數(shù)據(jù)可被另外的分組變量劃分為兩組；

兩獨(dú)立樣本非參數(shù)檢驗(yàn)的方法

Wilcxon W等級(jí)和檢驗(yàn)（Mann-Whitney U）；Wilcxon W（威爾克科遜）等級(jí)與檢驗(yàn)，也叫曼-惠特尼U檢驗(yàn)，其基本思路是：把全部樣本混在一起求秩，然后根據(jù)兩組樣本的秩分情況判斷是否存在差異。曼-惠特尼U檢驗(yàn)本質(zhì)上是一種通過比較兩個(gè)樣本秩分情況而獲得差異顯著性檢驗(yàn)結(jié)論的一種檢驗(yàn)技術(shù)。本算法適應(yīng)于定距數(shù)據(jù)和定序數(shù)據(jù)。

摩西極端反映的差異檢驗(yàn)（MosesExtreme reaction）；摩西極端反映檢驗(yàn)，即摩西極端反映的差異顯著性檢驗(yàn)，即對(duì)全體樣本混合求秩分，根據(jù)兩端的極端秩分值確定其差異性。摩西極端反映檢驗(yàn)是通過檢驗(yàn)極端秩分值來反映的差異情況，來判斷兩組數(shù)據(jù)的分布是否存在差異。

兩獨(dú)立樣本的K-S檢驗(yàn)（Kolmogorov-Smirnov Z）；兩獨(dú)立樣本的K-S檢驗(yàn)，是基于秩分累積頻數(shù)的檢驗(yàn)方式。即對(duì)全體樣本混合求取秩分，然后針對(duì)秩分的累積頻數(shù)或累積頻率進(jìn)行差異顯著性檢驗(yàn)。本算法適應(yīng)于定距數(shù)據(jù)和定序數(shù)據(jù)。如果預(yù)先把其中一組數(shù)據(jù)設(shè)置為標(biāo)準(zhǔn)分布形態(tài)的數(shù)據(jù)，那么通過K-S分析待檢驗(yàn)序列與標(biāo)準(zhǔn)分布的差異性水平，就能實(shí)現(xiàn)針對(duì)單樣本數(shù)據(jù)的分布形態(tài)的判定。

沃爾德-沃爾福威茨游程檢驗(yàn)（Wald-Wolfwitz runs）；沃爾德-沃爾夫威茨游程檢驗(yàn)，是基于秩分排列的游程檢驗(yàn)。即對(duì)全體樣本混合求取秩分，并基于兩組樣本在秩分序列中的位置構(gòu)造游程。通過分析游程的大小和數(shù)量實(shí)現(xiàn)游程檢驗(yàn)，從而判斷兩組樣本在混合序列中的排列是否為隨機(jī)的。若兩組樣本在混合序列中的排列是隨機(jī)的，則兩組樣本之間沒有顯著性差異。

多獨(dú)立樣本的非參數(shù)檢驗(yàn)

多獨(dú)立樣本的差異顯著性檢驗(yàn)既可以是針對(duì)同一總體的不同隨機(jī)抽樣，也可以源于不同總體，其目的是判斷多個(gè)樣本序列的差異是否顯著。在多獨(dú)立樣本的差異顯著性檢驗(yàn)中，對(duì)符合正態(tài)分布的高測度數(shù)據(jù)，通常使用方差分析的方法，而對(duì)不符合正態(tài)分布的數(shù)據(jù)，或者方差非齊性時(shí)，則常常使用非參數(shù)檢驗(yàn)的方法。

多獨(dú)立樣本非參數(shù)檢驗(yàn)的方法

K-W平均秩檢驗(yàn)（Kruskal-Wailis H）；K-W平均秩檢驗(yàn)是一種基于平均秩的差異顯著性檢驗(yàn)。其基本思路是：先把待分析的觀測變量序列排序后求取秩分（或者把多個(gè)獨(dú)立樣本的數(shù)據(jù)混合后排序并求取秩分），然后基于各組秩分，進(jìn)行類似方差分析的計(jì)算，分析秩分的均值差異是否顯著。K-W平均秩檢驗(yàn)是基于秩分的一種方差分析技術(shù)，適合于觀測變量為定距數(shù)據(jù)或定序數(shù)據(jù)的場合。

中位數(shù)檢驗(yàn)（Median）；中位數(shù)檢驗(yàn)是基于數(shù)據(jù)序列的中位數(shù)而設(shè)計(jì)的一種差異性的檢驗(yàn)。其基本思路：先求取混合后數(shù)據(jù)的中位數(shù)，然后利用卡方分布統(tǒng)計(jì)量來計(jì)算每個(gè)樣本組內(nèi)中位數(shù)兩側(cè)個(gè)案數(shù)的差異性。中位數(shù)檢驗(yàn)適合于測度不高的定序變量。

分組分布檢驗(yàn)（Jonckheere）；分組分布檢驗(yàn)是通過檢驗(yàn)多個(gè)樣本組是否具有相同分布來判斷差異性的方法。樣本的分組根據(jù)分組變量定義。分組分布檢驗(yàn)既可以檢驗(yàn)定距變量，也可以檢驗(yàn)定序變量。對(duì)于定序變量，本方法比K-W檢驗(yàn)更為有效。