
1980年代末,漢斯拉伊大學(Hansraj College)經濟學榮譽畢業(yè)生的平均薪酬約為每年100萬印度盧比。這一數字大大高于80年代初或90年代初畢業(yè)的人們。
他們平均水平如此之高的原因是什么呢?沙魯克·汗是印度收入最高的名人之一,1988年畢業(yè)于漢薩拉吉學院,當時他在那里攻讀經濟學榮譽學位。
這一點,以及還有很多的例子都會告訴我們,平均值并不是很好的可以指示出數據的中心在哪里。它可能會受到異常值的影響。在這種情況下,查看中位數是更好的選擇。 它是一個很好的數據中心的指示器,因為一半數據位于中間值以下,另一半位于中間值上方。
到目前為止,一切都很好——我相信你已經看到人們早些時候提出了這一點。問題是沒有人告訴你如何進行像假設檢驗這樣的分析。
統(tǒng)計檢驗用于制定決策。為了使用中位數進行分析,我們需要使用非參數檢驗。非參數測試是分布獨立的檢驗,而參數檢驗假設數據是正態(tài)分布的。說參數檢驗比非參數檢驗更加的臭名昭著是沒有錯的,但是前者沒有考慮中位數,而后者則使用中位數來進行分析。
接下來我們就進入非參數檢驗的內容。
**注意:**本文假定你具有假設檢驗,參數檢驗,單尾檢驗和雙尾檢驗的先決知識。
1.非參數測試與參數測試有何不同?
當總體參數的信息完全已知時使用參數檢驗,而當總體參數的信息沒有或很少使用非參數檢驗,簡單的說,參數檢驗假設數據是正態(tài)分布的。然而,非參數檢驗對數據沒有任何分布。
但是參數是什么?參數不過是無法更改的總體特征。讓我們看一個例子來更好地理解這一點。
一位老師使用以下公式計算了班級學生的平均成績:
看上面給出的公式,老師在計算總分時已經考慮了所有學生的分數。假設學生的分數是準確的,并且沒有遺漏的分數,你是否可以更改學生的總分數?并不可以。因此,平均分被稱為總體的一個參數,因為它不能被改變。
2.什么時候可以應用非參數檢驗?
讓我們看一些例子。
1.比賽的獲勝者由名詞決定,而名次是根據越過終點線來進行排名的?,F在,第一個越過終點線的人排名第一,第二個越過終點線的人排名第二,依此類推。我們不知道獲勝者是以多遠的距離擊敗了另一個人,因此區(qū)別是未知的。
2.有20人接受了一個療程的治療,并且通過調查記錄他們的癥狀。遵循治療過程后,要求患者在5個類別中進行選擇。調查看起來像這樣:
現在,如果你仔細查看上述調查中的值可以發(fā)現,值是不可以擴展的,它是基于病人的經驗來判斷的。而且,評分是被分配的而不是被計算的。在這種情況下,參數檢驗無效。
對于名義數據,不存在任何參數檢驗。
3.檢測極限是值通過給定的分析方法可以檢測到的物質的最低數量,但是不一定要將其定量為精確值。例如,病毒載量就是你血液中的HIV含量。病毒載量可以超出檢測極限,也可以更高的數量。
4.在上面的平均薪酬方案的例子中,沙魯克的收入是一個離群值。什么是離群值?沙魯克的收入與其他經濟學專業(yè)畢業(yè)生的收入相距異常。因此,沙魯克的收入在這里變得異常,因為它與數據中的其他值之間存在異常距離。
總而言之,非參數檢驗可以應用于以下情況:
這里要注意的一點是,如果存在一個針對問題的參數檢驗,則使用非參數檢驗將產生非常不準確的答案。
3.使用非參數檢驗的優(yōu)缺點
在上面的討論中,你可能已經注意到,我提到了使用非參數測試可能有利或不利的幾點,因此現在讓我們共同來看一下這些點。
優(yōu)點
使用非參數檢驗而不是參數檢驗的優(yōu)點是
1.即使樣本量很小,非參數測試也可以提供準確的結果。
2.當正態(tài)性假設被違背時,非參數檢驗比參數檢驗更加有效。
3.它們適用于所有數據類型,例如標稱,序數,間隔或具有離群值的數據。
缺點
1.如果數據進行任何參數檢驗,那么使用非參數檢驗可能是一個可怕的錯誤。
2.非參數檢驗的臨界值表未包含在許多計算機軟件包中,因此這些測試需要更多的手工計算。
4.非參數檢驗的假設檢驗
現在你知道非參數檢驗對總體參數無所謂,因此它不對父級總體的均值、標準差等做出任何假設。這里的零假設是一般的,因為兩個給定的總體是相等的。
進行非參數檢驗時應遵循的步驟:
第一步是建立假設并選擇一個顯著性水平
現在,讓我們看看這兩個是什么
假設:我的預測是Rahul會贏得比賽,另一個可能的結果是Rahul不會贏得比賽。這些都是我的假設。我的備擇假設是Rahul將贏得比賽,因為我們將讓備擇假設等于我們想要證明的。零假設是相反的假設,通常零假設是沒有差異的陳述。例如,
零假設:H0:樣本均值與總體均值之間沒有顯著性差異
備擇假設:H1:樣本均值與總體均值之間存在顯著性差異
顯著性水平: 它是做出錯誤決定的可能性。在上述假設陳述中,零假設表示樣本和總體均值之間沒有差異。假設樣本均值和總體均值之間沒有差異時,拒絕零假設的風險為5%。這種拒絕零假設成立的風險或可能性稱為顯著性水平。
顯著性水平用α表示
在非參數檢驗中,根據研究的興趣,假設檢驗可以是單側或雙側。
2.設置測試統(tǒng)計信息
要了解什么是統(tǒng)計量,讓我們看一個例子。一位老師計算了A部分學生的平均成績,例如36分,她使用A部分學生的平均成績來表示B,C和D部分學生的平均成績。這里要注意的是,老師沒有使用學生在所有部分中獲得的總成績,而是使用了A部分的平均成績。在這里,平均成績被稱為統(tǒng)計信息,因為老師沒有使用整個數據。
在非參數檢驗中,將觀察到的樣本轉換為等級,然后將等級視為檢驗統(tǒng)計量。
3.設定決策規(guī)則
決策規(guī)則只是告訴我們何時拒絕原假設的一個語句。
4.計算檢驗統(tǒng)計量
在非參數檢驗中,我們使用等級來計算檢驗統(tǒng)計量。
5.將檢驗統(tǒng)計量與決策規(guī)則進行比較
在這里,你將接受或拒絕基于比較的零假設。
在討論非參數檢驗的類型時,我們將更深入地研究這一部分。
5.非參數測試
1.曼·惠特尼U檢驗(Mann Whitney U test)
也稱為曼惠特尼威爾科克森(Mann Whitney Wilcoxon)和威爾科克森秩和檢驗(Wilcoxon rank sum test),是獨立樣本t檢驗的一種替代方法。讓我們通過一個例子來理解這一點。
一個制藥組織創(chuàng)造了一種新的藥物來治療夢游,一個月后對5名患者進行了觀察。另一組5人已經服用了舊藥物一個月。然后,該組織要求個人記錄上個月的夢游病例數。結果是:
如果你看這張表,服用新藥的一個月內發(fā)生夢游的病例比服用老藥的少。
查看下面給出的圖形。
現在,在這里你可以看到當一個人服用新藥時,他發(fā)生夢游的幾率會降低。
理解這個問題了嗎?我們來看看Mann Whitney U測試是如何工作的。我們很想知道服用不同藥物的兩組報告的夢游病例數是否相同。假設如下:
H0:兩組報告的病例數量相同
H1:兩組報告的病例數不同
我選擇5%的顯著性水平進行測試。下一步是設置一個測試統(tǒng)計信息。
對于Mann Whitney U檢驗,檢驗統(tǒng)計量由U 表示,U是U 1 和U 2 的最小值。
$$
$$其中r1為第一組的秩和,r2為第二組的秩和,n1為第一組的大小,n2為第二組的大小。
現在,我們將通過合并這兩組來計算秩。現在的問題是
如何分配秩?
秩是非參數檢驗的非常重要的組成部分,因此,學習如何為樣本分配秩非常重要。讓我們學習如何分配秩。
1.我們將兩個樣本合并,并按升序排列。我分別對舊藥和新藥使用OD和ND來代替。
NDNDNDNDNDODODODODOD樣本1123447889
此處,最小值被賦值為1,第二個最小值被賦值為2,依此類推。
NDNDNDNDNDODODODODOD樣本1123447889秩12345678910
但是請注意,數字1、4和8在組合樣本中出現了多次。因此分配的秩是錯誤的。
樣本中有聯系時如何分配秩呢?
聯系基本上是一個樣本中出現多次的數字。排序數據后,查看樣本中數字1的位置。在這里,數字1出現在第一和第二位置。在這種情況下,我們取1和2的平均值(因為數字1出現在第一和第二位置),并將平均值分配給數字1,如下所示。我們對數字4和8遵循相同的步驟。這里的數字4出現在第5位和第6位上,它們的均值為5.5,因此我們將數字5.5分配給數字4。沿這些行計算數字8的等級。
NDNDNDNDNDODODODODOD樣本1123447889秩1.51.5345.55.578.58.510
當樣本中存在聯系時,我們分配平均秩,以確保每個大小為n的樣本的秩和相同。因此,秩和將始終等于\frac{n(n+1)}{2}2n(n+1)2.下一步是計算組1和組2的秩和。
R 1 = 15.5R 2 = 39.5
3.使用U 1 和U 2 的公式,計算它們的值。
U 1 = 24.5U 2 = 0.5
現在,U = min(U 1 ,U 2 )= 0.5
注意:對于Mann Whitney U test,U的值在(0,n 1 * n 2 )范圍內,其中0表示兩組完全不同,n 1 * n 2 表示兩組之間存在一定的關系。而且,U 1 + U 2 始終等于n 1 * n 2 。請注意,此處的U值為0.5,非常接近0。
現在,我們使用臨界值表來確定臨界值(用p表示), 該值是從檢驗的顯著性水平得出的一個點 ,用于拒絕或接受無效假設。在Mann Whitney U test中,檢驗標準為
接受H0:U ≤ 臨界值
拒接H0:U > 臨界值
在這里,p = 2
U <臨界值,因此,我們拒絕零假設,并得出結論,沒有重要證據表明兩組報告的夢游病例數目相同。
2.威爾科克森符號秩檢驗(Wilcoxon Sign-Rank Test)
當樣本違反正態(tài)分布假設時,就可以使用該檢驗代替配對t檢驗。
一位老師在課堂上教了一個新題,并決定在第二天進行突擊測驗。一共有6名學生接受了測試,滿分為10分,第一次測試分數如下:
注意:假定以下數據違反了正態(tài)分布的假設。
學生123456分數864256
現在,老師決定在一周的自習課中再次參加考試。分數如下
學生123456分數6889410
讓我們檢查一下一周后的學生成績是否有所提高。
學生第一次測試第二次測試差異(第二次分數-第一次分數)188-2268234844297554-166104
在上表中,在某些情況下,學生的得分比以前低,并且在某些情況下,學生4的進步相對較高。這可能是由于隨機效應。我們將使用此測試分析差異是系統(tǒng)的還是偶然的。
下一步對差值的絕對值進行排序。請注意,只有在按升序排列數據后才能執(zhí)行此操作。
差異秩-1122.5-22.544.544.576
在Wilcoxon sign-rank test中,我們需要符號秩,基本上是將與差異相關的符號分配給秩,如下所示。
差異秩符號秩-11-122.52.5-22.5-2.544.54.544.54.5766
容易吧?那么現在的假設是什么?
H0:正秩和
H1:負秩和
假設可以是單側的,也可以是雙側的,我使用單側假設,使用5%的顯著性水平。因此,α=0.05
此測試的測試統(tǒng)計量是W在下面定義的W 1 和W 2中的較小者:
W1:正秩和
W2:負秩和
W 1 = 17.5
W 2 = 3.5
W =min(W 1 ,W 2 )= 3.5
在這里,如果W 1 與W 2 相似,那么我們接受零假設。否則,在中,如果差異反映出學生得分的提高,則我們拒絕原假設。
W的臨界值可以在表中查到。
接受或拒絕零假設的標準是
接受H0:W ≤ 臨界值
拒絕H0:W>臨界值
**在這里,W>臨界值= 2,因此我們接受零假設并得出結論,兩個檢驗的分數之間沒有顯著差異。 **
W
在這里,W>臨界值= 2,因此我們接受零假設并得出結論,兩個測試的標記之間沒有顯著差異。
3.符號檢驗(Sign Test)
該檢驗與Wilcoxon Sign-Rank Test相似,如果數據違反正態(tài)性假設,也可以用它代替配對t檢驗。我將使用在Wilcoxon Sign-Rank Test中使用的相同例子(假設它不遵循正態(tài)分布)來解釋符號測試。
讓我們再次查看數據。
學生第一次測試第二次測試差異(第二次分數-第一次分數)符號186-2-2682+3484+4297+554-1-66104+
在Sign Test中,我們沒有考慮大小,因此忽略了等級。假設與以前相同。
H0:中位數差為0
H1:中位數差為正
在這里,如果我們看到相同數量的正差和負差,則零假設成立。否則,如果我們看到更多的正號,則拒絕零假設。
測試統(tǒng)計量:此處的測試統(tǒng)計量小于正負號的數量。
確定臨界值,拒絕和接受原假設的標準為:
接受H0:如果+和-的符號數量≤臨界值
拒絕H0:如果+和-的符號數量>臨界值
在這里,+&–符號的較小數目= 2 <臨界值=6。因此,我們拒絕零假設,并得出結論,沒有明顯的證據表明中位數差為零。
4.秩和檢驗(Kruskal-Wallis Test)
當你處理兩個以上的獨立群體時,該測試是非常有用的,它可以比較k個群體的中位數。當數據違反了正態(tài)分布的假設并且樣本量太小時,此測試可以替代單因素方差分析。注意:Kruskal-Wallis Test可用于連續(xù)和有序級別的因變量。
讓我們看一個例子,以增強我們對Kruskal-Wallis Test的理解。
登革熱患者分為3組,并給予三種不同類型的治療。經過3天的療程后,患者的血小板計數如下。
治療方法1治療方法2治療方法3420006700078000480005700089000570007900067000690008000045000
請注意,三種治療的樣本量不同,可以使用Kruskal-Wallis Test來解決。
處理1、2和3的樣本量如下:
方法1;n 1 = 5
方法2;n 2 = 3
處理3;n 3 = 4
n = n 1 + n 2 + n 3 = 5 + 3 + 4 = 12
假設在下面給出,選擇5%的顯著性水平
H0:三種方法的中位數相同
H1:三種方法的中位數不同
將這些樣本從最小到最大進行排序,然后將秩分給樣本。
回想一下,秩和將始終等于n(n + 1)/ 2。
在這里,秩和= 78
n(n + 1)/ 2 =(12 * 13)/ 2 = 78
我們必須檢查3個總體中位數之間是否存在差異,因此我們將基于秩在檢驗統(tǒng)計數據中匯總樣本信息。在此,測試統(tǒng)計量由H表示,并由以下公式給出H=\left(\frac{12}{n(n+1)} \sum_{j=1}^{k} \frac{R_{j}^{2}}{n_{j}}\right)-3(n+1)H=(n(n+1)12j=1∑knjRj2)?3(n+1)在這里 :k=比較的組數,
n=總樣本大小,
nj=第j組的樣本量,
Rj=第j組的秩和。
下一步就是利用臨界值確定H的臨界值,測試標準如下:
接受H0:H ≥ 臨界值
拒絕H0:H<臨界值
H的值計算出來是6.0778,臨界值為5.656。因此,我們拒絕零假設,并得出結論,沒有重要證據表明這三個總體中位數相同。
注意:在Kruskal-Wallis Test中,如果有3個或更多獨立的比較組,每組中有5個或更多觀察值,則檢驗統(tǒng)計量H近似為k-1自由度的卡方分布。因此,在這種情況下,你可以在卡方分布表中找到檢驗的臨界值作為臨界值。
5.斯皮爾曼等級相關性(Spearman Rank Correlation)
假如我去市場買了一條裙子,巧合的是,我的朋友從她附近的市場上買了同一條裙子,但她為此付出了更高的價錢。與我的朋友相比,我朋友家附近的市場更加昂貴。那么,地區(qū)會影響商品價格嗎?如果確實如此,那么該地區(qū)與商品價格之間便存在聯系。我們在這里使用斯皮爾曼等級相關性是因為它確定兩個數據集之間是否存在相關性。
蔬菜的價格因地區(qū)而異。我們可以使用斯皮爾曼等級相關性來檢查蔬菜價格和面積之間是否存在關系。這里的假設是:
H0:價格與面積無關
H1:價格與面積有關
在這里,趨勢線表明蔬菜價格與面積之間呈正相關。但是,應使用斯皮爾曼等級相關性檢查相關方向和強度。
斯皮爾曼等級相關性是皮爾遜相關系數的非參數替代,用Rs表示。Rs的取值范圍(-1,1),其中
-1代表秩之間存在負相關關系
0代表秩之間沒有相關性
1代表秩之間存在正相關性
將秩分配給樣本后,使用以下公式計算S斯皮爾曼秩相關系數。
Case 1 :當數據中沒有聯系時\rho=1-\frac{6 \sum d_{i}^{2}}{n\left(n^{2}-1\right)}ρ=1?n(n2?1)6∑di2Case 2:當數據中有聯系時\rho=\frac{\frac{1}{n} \sum_{i=1}^{n}\left(\left(R\left(x_{i}\right)-R(\bar{x})\right)\left(R\left(y_{i}\right)-R(\bar{y})\right)\right)}{\sqrt{\left(\frac{1}{n} \sum_{i=1}^{n}\left(R\left(x_{i}\right)-R(\bar{x})\right)^{2}\right)\left(\frac{1}{n} \sum_{i=1}^{n}\left(R\left(y_{i}\right)-R(\bar{y})\right)^{2}\right)}}ρ=(n1∑i=1n(R(xi)?R(xˉ))2)(n1∑i=1n(R(yi)?R(yˉ))2)n1∑i=1n((R(xi)?R(xˉ))(R(yi)?R(yˉ)))在這里R(x)和R(y)為秩,R(xbar)和R(ybar)為平均秩
讓我們通過一個例子來理解這些公式的應用。下表包括學生的數學和科學的的分數。
零假設表示標記之間沒有關系,備擇假設指出標記之間有關系。選擇5%的顯著性水平進行測試
數學56754571626458807661科學66704060655659776763
現在計算秩和d,d是秩和n之間的差值,而n是樣本大小=10。執(zhí)行以下操作:
數學56754571626458807661科學66704060655659776763等級(M)93104658127等級(S)42107598136d5103140011d平方(d-square)251091160011
現在,使用該公式計算斯皮爾曼等級相關系數。因此,斯皮爾曼等級相關性為0.67,這表明在數學和科學測試中獲得的學生排名之間呈正相關,這意味著你在數學中的排名越高,你在科學中的排名越高,反之亦然。
你也可以通過使用顯著性水平和樣本量確定臨界值來檢查此情況。拒絕或接受零假設的標準為:
接受H0:|rs| ≥臨界值
拒絕H0:|rs|<臨界值
注意:此處的自由度為n-2。
臨界值為0.033,小于0.67因此我們拒絕零假設。
結束
當參數檢驗的假設被違反時,非參數檢驗將更強大,并且可以用于所有數據類型,例如標稱,有序,區(qū)間以及數據具有離群值的情況。如果任何參數檢驗對問題是有效的,則使用非參數檢驗將給出非常不準確的結果。
總而言之,
Mann Whitney U Test用于檢驗兩組獨立組間的差異,分別為有序因變量和連續(xù)因變量
Wilcoxon sign rank test用于檢驗兩個相關變量之間的差異,該差異考慮了差異的大小和方向,但是Sign檢驗忽略了大小,僅考慮了差異的方向。
Kruskal-Wallis Test通過使用中位數比較了兩個以上獨立組的結果。
Spearman Rank Correlation技術用于檢查兩個數據集之間是否存在關聯,還可以說明關聯的類型。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關鍵? 在循環(huán)神經網絡(RNN)家族中,長短期記憶網絡(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數據分析師報考條件詳解與準備指南? ? 在數據驅動決策的時代浪潮下,CDA 數據分析師認證愈發(fā)受到矚目,成為眾多有志投身數 ...
2025-07-11數據透視表中兩列相乘合計的實用指南? 在數據分析的日常工作中,數據透視表憑借其強大的數據匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數據分析師:連接數據與業(yè)務的價值轉化者? ? 在大數據與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預測分析中的應用:從數據查詢到趨勢預判? ? 在數據驅動決策的時代,預測分析作為挖掘數據潛在價值的核心手段,正被廣泛 ...
2025-07-10數據查詢結束后:分析師的收尾工作與價值深化? ? 在數據分析的全流程中,“query end”(查詢結束)并非工作的終點,而是將數 ...
2025-07-10CDA 數據分析師考試:從報考到取證的全攻略? 在數字經濟蓬勃發(fā)展的今天,數據分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數據背后的時間軌跡? 在數據分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數據類型:時間維度的精準切片? ? 在數據的世界里,時間是最不可或缺的維度之一,而year_month數據類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數據分析中的核心應用與實戰(zhàn)技巧? ? 在 CDA 數據分析師認證考試中,Python 作為數據處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數據趨勢與突變分析的有力工具? ? ? 在數據分析的廣袤領域中,準確捕捉數據的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數據分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數據分析師認證作為國內權威的數據分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應對策略? 長短期記憶網絡(LSTM)作為循環(huán)神經網絡(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調研數據中的深度應用? 市場調研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調研數 ...
2025-07-07CDA數據分析師證書考試全攻略? 在數字化浪潮席卷全球的當下,數據已成為企業(yè)決策、行業(yè)發(fā)展的核心驅動力,數據分析師也因此成為 ...
2025-07-07剖析 CDA 數據分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數據分析師考試作為衡量數據專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉日期:解鎖數據處理的關鍵技能? 在數據處理與分析工作中,數據格式的規(guī)范性是保證后續(xù)分析準確性的基礎 ...
2025-07-04CDA 數據分析師視角:從數據迷霧中探尋商業(yè)真相? 在數字化浪潮席卷全球的今天,數據已成為企業(yè)決策的核心驅動力,CDA(Certifie ...
2025-07-04CDA 數據分析師:開啟數據職業(yè)發(fā)展新征程? ? 在數據成為核心生產要素的今天,數據分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03