作者 | SHAROON SAXENA

編譯 | CDA數(shù)據(jù)分析師

Everything you Should Know about p-value from Scratch for Data Science

介紹

當(dāng)你向有抱負(fù)的數(shù)據(jù)科學(xué)家談?wù)損值時(shí)，以下情況看起來是否很熟悉？

我無法告訴你數(shù)據(jù)科學(xué)家（甚至是成熟的科學(xué)家）在涉及到如何解釋p值時(shí)是多么的手足無措。實(shí)際上，可以花點(diǎn)時(shí)間回答以下問題：

• 如何解釋p值？
• P值有多么的重要？
• 你將如何向非數(shù)據(jù)科學(xué)人員（例如利益相關(guān)者）解釋p值的重要性？

這些問題應(yīng)該是每個(gè)數(shù)據(jù)科學(xué)專業(yè)人員都應(yīng)該能夠回答的關(guān)鍵問題。以我的經(jīng)驗(yàn)，大多數(shù)人都在努力克服第一個(gè)問題。如果我們不能為客戶分解機(jī)器學(xué)習(xí)模型的結(jié)果，我們就不能說服他們。

維基百科（Wikipedia）對(duì)p值的定義讓那些統(tǒng)計(jì)和數(shù)據(jù)科學(xué)領(lǐng)域的任何新手都感到望而生畏。關(guān)于p值的典型對(duì)話是這樣的：

而且你只知道一些公式和約定，卻沒有如何系統(tǒng)的解釋什么是P值的想法。那么，我們?nèi)绾我粍谟酪莸貙W(xué)習(xí)p值，并將其根深蒂固地牢記在心？

我們應(yīng)該如何從頭開始理解P值

在本文中，我們將從頭開始逐步建立p值的認(rèn)知，并且還要揭穿p值的傳統(tǒng)（錯(cuò)誤）解釋。我們將介紹以下內(nèi)容：

1. 什么是p值？
2. 統(tǒng)計(jì)學(xué)意義
3. 統(tǒng)計(jì)中p值的例子
4. 數(shù)據(jù)科學(xué)中P值的例子
5. p值的一些傳統(tǒng)（錯(cuò)誤）解釋

什么是p值？

讓我們從絕對(duì)的基礎(chǔ)開始。什么是p值？為了理解這個(gè)問題，我們將來看一下正態(tài)分布：

我們?cè)趚軸上具有值的范圍，在y軸上具有不同值的出現(xiàn)頻率。

現(xiàn)在，假設(shè)我們從此分布中選取一個(gè)隨機(jī)值。我們選擇接近均值的值的可能性是最高的，因?yàn)樗哂凶罡叩姆逯担ㄓ捎谠搮^(qū)域中的出現(xiàn)值較高）。我們可以清楚地看到，如果我們遠(yuǎn)離峰值，則值的出現(xiàn)會(huì)迅速減少，相應(yīng)的概率也會(huì)減少，趨近于一個(gè)非常小的接近0的值。

但是本文是關(guān)于p值的-那么為什么我們要看正態(tài)分布呢？好吧，考慮到我們上面討論的正態(tài)分布，請(qǐng)考慮如何定義P值。

P值是上圖中紅點(diǎn)右側(cè)值的累計(jì)概率（曲線下的面積）。

要么是，

當(dāng)從分布中隨機(jī)選擇值時(shí)，與紅點(diǎn)相對(duì)應(yīng)的p值告訴我們將任何值帶到紅點(diǎn)右側(cè)的“總概率”。

現(xiàn)在，這看起來可能像是一個(gè)非常幼稚的定義，但是我們將在此基礎(chǔ)上繼續(xù)。

P值本身不包含任何值。較大的p值表示樣本得分與總體得分更加一致或相似。它就是如此簡(jiǎn)單。

現(xiàn)在，你可能已經(jīng)遇到了將p值與alpha值進(jìn)行比較以得出結(jié)論的經(jīng)驗(yàn)法則。因此，讓我們研究一下alpha值。

P值的統(tǒng)計(jì)意義：輸入– Alpha值

到目前為止，我已經(jīng)提到過幾次alpha值，alpha值也被稱為顯著性水平。由于某些未知原因，我們知道該值為0.05或5％。

在統(tǒng)計(jì)課上我們也被老師教導(dǎo)過，也就是p值小于alpha意味著所獲得的結(jié)果具有統(tǒng)計(jì)學(xué)意義。但是alpha值到底是多少呢？

因此，讓我們花點(diǎn)時(shí)間看一下alpha值的含義。

alpha值只是一個(gè)閾值，P值在進(jìn)行實(shí)驗(yàn)后進(jìn)行的相似性或顯著性（Z-測(cè)試或T-測(cè)試）中的測(cè)試前決定該閾值。

這意味著，如果得到樣本得分的概率小于或閾值p-值，我們認(rèn)為它與總體顯著不同，甚至屬于新的樣本分布。

再次考慮一下上述的正態(tài)分布。此分布中的紅點(diǎn)表示alpha值或閾值p值?，F(xiàn)在，讓我們說綠色和橙色點(diǎn)代表實(shí)驗(yàn)后獲得的不同樣本結(jié)果。

在圖中可以看到，最左邊的綠點(diǎn)的p值大于alpha。因此， 這些值可以得到相當(dāng)高的概率和樣本結(jié)果被認(rèn)為是幸運(yùn)的。

最右邊的點(diǎn)(橙色)的p值小于alpha值(紅色)。因此，樣本結(jié)果是一個(gè)罕見的結(jié)果，不太可能是幸運(yùn)的。因此，他們與分布有很大的不同。 。

alpha值取決于正在執(zhí)行的測(cè)試。如果我們不確定應(yīng)該考慮什么值，那么將alpha值設(shè)為0.05被認(rèn)為是一個(gè)不錯(cuò)的約定。

但這帶有一個(gè)星號(hào)- 我們考慮的alpha值越小，則將結(jié)果視為有意義的難度就越大。請(qǐng)記住，每個(gè)實(shí)驗(yàn)的alpha值會(huì)有所不同，并且沒有任何一個(gè)alpha值可以視為經(jīng)驗(yàn)法則。

讓我們仔細(xì)看一下alpha值和p值之間的關(guān)系。

p值<alpha值

考慮以下分布：

在此，紅點(diǎn)表示Alpha值。這基本上是閾值p值。我們可以清楚地看到，閾值右側(cè)曲線下方的區(qū)域非常小。

橙色點(diǎn)代表使用樣本總體的p值。在這種情況下，我們可以清楚地看到p值小于alpha值（紅點(diǎn)右側(cè)的面積大于橙點(diǎn)右側(cè)的面積）。這可以解釋為：

從樣本獲得的結(jié)果是分布的一個(gè)極端（這是一個(gè)非常罕見的事件），因此很有可能它可能屬于另外一個(gè)分布（如下所示）。

考慮到我們對(duì)alpha和p值的定義，我們認(rèn)為得到的樣本結(jié)果是顯著不同的。我們可以清楚地看到p值遠(yuǎn)遠(yuǎn)小于alpha值。

p值> alpha值

我覺得你應(yīng)該在進(jìn)一步閱讀之前回答這個(gè)問題。既然你已經(jīng)知道了硬幣的另一面，你就可以想象這種情況的結(jié)果了。

p值大于alpha意味著結(jié)果支持原假設(shè)，因此我們無法拒絕它。此結(jié)果通常與備用假設(shè)相反（獲得的結(jié)果來自其他分布），并且獲得的結(jié)果并不顯著，只是一個(gè)偶然或者運(yùn)氣的問題。

再次，考慮相同的總體分布曲線，紅色點(diǎn)為alpha，橙色點(diǎn)為樣本中計(jì)算出的p值：

因此，p值> alpha（考慮曲線下方紅色和橙色點(diǎn)右側(cè)的區(qū)域）可以解釋如下：

樣本結(jié)果只是總體分布的一個(gè)低概率事件，很可能是靠運(yùn)氣得到的

我們可以清楚地看到，人口曲線下方橙色點(diǎn)右側(cè)的面積遠(yuǎn)大于alpha值。這意味著所獲得的結(jié)果更可能是同一總體分布的一部分，而不是其他分布的一部分。

現(xiàn)在我們已經(jīng)理解了p值和alpha值的解釋，讓我們來看一個(gè)來自統(tǒng)計(jì)世界的經(jīng)典例子。

統(tǒng)計(jì)中p值的例子

在國(guó)家射箭隊(duì)中，總教練打算在即將到來的比賽之前改善射箭運(yùn)動(dòng)員的表現(xiàn)。你認(rèn)為提高弓箭手性能的好方法是什么？

他提出并實(shí)施了在比賽前進(jìn)行呼吸運(yùn)動(dòng)和冥想可能會(huì)有所幫助的想法。實(shí)驗(yàn)前后的統(tǒng)計(jì)數(shù)據(jù)如下：

真有趣。結(jié)果支持了弓箭手總體得分提高的假設(shè)。但是教練希望確保這些結(jié)果是由于弓箭手能力的提高而不是因?yàn)檫\(yùn)氣或偶然性。那么你認(rèn)為我們應(yīng)該怎么做？

這是一個(gè)典型的相似度測(cè)試(本例中為z檢驗(yàn))，我們想要檢查樣本是否與總體相似。我不會(huì)深入討論相似性測(cè)試，因?yàn)檫@超出了本文的范圍。

為了解決這個(gè)問題，我們將循序漸進(jìn)的方法：

1. 了解給定的信息并形成備選假設(shè)和無效假設(shè)
2. 計(jì)算Z分?jǐn)?shù)并找到曲線下的面積
3. 計(jì)算相應(yīng)的p值
4. 比較p值和alpha值
5. 解釋最終結(jié)果

這個(gè)問題的解決方案

步驟1：了解給定的信息

• 總體均值= 74
• 總體標(biāo)準(zhǔn)偏差= 8（最近10年的歷史數(shù)據(jù)與總體有關(guān)）
• 樣本均值= 78
• 樣本大小= 60（此處，樣本與練習(xí)呼吸練習(xí)和冥想的弓箭手有關(guān)）

我們的總體均值和標(biāo)準(zhǔn)差樣本容量超過30，這意味著我們將使用z檢驗(yàn)。

根據(jù)上面的問題，可能存在兩種情況：

1. 實(shí)驗(yàn)后的結(jié)果取決于運(yùn)氣，即實(shí)驗(yàn)前后的均值相似。這將是我們的“零假設(shè)”
2. 實(shí)驗(yàn)后的結(jié)果確實(shí)與實(shí)驗(yàn)前的結(jié)果有很大不同。這將是我們的“備擇假設(shè)”

步驟2：計(jì)算Z分?jǐn)?shù)

現(xiàn)在，我們將使用以上公式計(jì)算Z分?jǐn)?shù)。你問這些符號(hào)代表什么？好吧，告訴你是什么意思：

• X =總體均值
• M =樣本均值
• Sigma =總體標(biāo)準(zhǔn)偏差
• n =樣本實(shí)例數(shù)

插入相應(yīng)的值后，Z分?jǐn)?shù)為– 3.87。

步驟3：參考Z表并找到p值：

如果我們?cè)赯表中查找3.87，則會(huì)得到的值是?0.999。這是曲線下的面積或總體分布下的概率。但這是什么概率？

我們得到的概率是在我們計(jì)算的z分?jǐn)?shù)(紅點(diǎn))的左邊。該值0.999表示相對(duì)于總體，得到“小于樣本得分78”的結(jié)果的“總概率”。

這里，紅點(diǎn)表示樣本均值相對(duì)于總體分布的位置。但是我們之前學(xué)過p值在紅點(diǎn)的右邊，我們?cè)撛趺醋?

對(duì)于這個(gè)，我們會(huì)用到正態(tài)Z分布下的總面積是1。因此，z分?jǐn)?shù)右側(cè)的面積(或未陰影區(qū)域所代表的p值)可以計(jì)算為:

p值= 1 – 0.999

p值= 0.001

0.001 (p值)是紅點(diǎn)右側(cè)的未陰影區(qū)域。值0.001表示得到“大于樣本得分78”的結(jié)果的“總概率”，相對(duì)于總體。

步驟4：比較p值和alpha值

我們沒有為alpha提供任何值，因此我們可以考慮alpha = 0.05。根據(jù)我們的理解，如果獲得樣本（p值）結(jié)果的可能性小于alpha值，則我們認(rèn)為獲得的樣本結(jié)果有顯著差異。

我們可以清楚地看到，p值遠(yuǎn)遠(yuǎn)小于alpha值:

0.001（紅色區(qū)域）<< 0.5（橙色區(qū)域）

這表明，就總體分布而言，得到平均值為78的概率很低。因此，可以方便地說，射箭運(yùn)動(dòng)員在樣本群體中成績(jī)的提高不是運(yùn)氣的結(jié)果。樣本總體屬于其自身的某種其它(在本例中更好)分布。

數(shù)據(jù)科學(xué)中p值的例子

現(xiàn)在，我相信這是你一直在等待的部分。在統(tǒng)計(jì)中使用p值是可以理解的，我們甚至多次聽說過它。但是p值處于數(shù)據(jù)科學(xué)的那個(gè)領(lǐng)域中呢?

即使許多有抱負(fù)的數(shù)據(jù)科學(xué)家了解p值的含義，他們也不知道如何在數(shù)據(jù)科學(xué)中使用此知識(shí)。結(jié)果就是他們錯(cuò)過了一個(gè)非常強(qiáng)大的方法來改進(jìn)他們的模型。

P值是特征選擇過程中的重要指標(biāo)。在特征選擇中，我們嘗試找出自變量的最佳子集來構(gòu)建模型。

現(xiàn)在你可能會(huì)問：“為什么不把所有的自變量都帶入呢？”

實(shí)際上，引入冗余且沒有貢獻(xiàn)的變量會(huì)增加模型的復(fù)雜性。此外，它們可以降低模型在準(zhǔn)確性、運(yùn)行時(shí)甚至內(nèi)存占用方面的性能。

讓我們看一個(gè)例子。假設(shè)我有一個(gè)包含不同初創(chuàng)公司信息的數(shù)據(jù)集。我們有以下變量:

我們的目標(biāo)是根據(jù)其他自變量來預(yù)測(cè)初創(chuàng)公司的利潤(rùn)。現(xiàn)在，你的直覺可能會(huì)說–使用所有可用的自變量來構(gòu)建一個(gè)線性回歸模型。

經(jīng)過預(yù)處理和OneHot編碼之后，因變量具有以下映射：

接下來，我們將使用statsmodels 庫構(gòu)建一個(gè)OLS（普通最小二乘）模型。這是我們得到的：

這個(gè)表顯示了所有關(guān)于獨(dú)立變量的統(tǒng)計(jì)數(shù)據(jù)。但是現(xiàn)在，我們只對(duì)包含p值的列感興趣。我們可以清楚地看到，“R&D Spend”、“Administration”和“State_California”的p值超過0.50!

但是問題是，這個(gè)p值在回歸模型中意味著什么？為此，讓我們了解計(jì)算這些p值的假設(shè)是什么：

• 原假設(shè)：自變量對(duì)目標(biāo)變量沒有顯著影響
• 備擇假設(shè)：自變量對(duì)目標(biāo)變量有顯著影響

現(xiàn)在，以上結(jié)果表明，“R&D Spend”、“Administration”和“State_California”對(duì)初創(chuàng)公司獲得的“利潤(rùn)”沒有重大影響。因此，讓我們從模型中刪除這三個(gè)變量

除去這兩個(gè)變量后的結(jié)果映射為：

在再次使用statsmodels庫構(gòu)建OLS模型時(shí)，我們得到的是：

我們可以看到，現(xiàn)在只有一個(gè)變量剩余值為0.05 –“ State_Florida”。那么我們應(yīng)該刪除它嗎？

首先，我們從未決定任何alpha值。如果我們將alpha值設(shè)為0.05，則變量“ State_Florida”將被消除。如果我將alpha設(shè)置為0.10，則該變量將在過濾過程中幸存下來。

在這種情況下，考慮到0.05不是要為alpha值選擇的經(jīng)驗(yàn)法則，我會(huì)保留下來。

在這個(gè)模型總結(jié)中最重要的一點(diǎn)是，盡管我們減少了兩個(gè)獨(dú)立變量，但調(diào)整后的R-Square值卻上升了。

正如我們前面討論的這是雙重效果。借助p值，我們不僅創(chuàng)建了一個(gè)變量較少的簡(jiǎn)單模型，而且還改善了模型的性能。

在總結(jié)本文之前，讓我們看一下許多數(shù)據(jù)科學(xué)專業(yè)人員和統(tǒng)計(jì)學(xué)家對(duì)p值的誤解。

對(duì)p值的一些傳統(tǒng)（錯(cuò)誤）解釋

我見過很多人對(duì)P值有很多的誤解。以下是一些最常見的錯(cuò)誤：

1. 我們錯(cuò)誤地拒絕原假設(shè)的概率：盡管低p值會(huì)促進(jìn)對(duì)零假設(shè)的拒絕，但它與拒絕原假設(shè)的概率無關(guān)
2. 統(tǒng)計(jì)顯著性水平： 我們?cè)趯?shí)驗(yàn)前選擇顯著性水平。如果p值滿足我們的顯著性水平(p < alpha)，我們才能得出結(jié)論
3. 干預(yù)效果的大小：p值絕不表示實(shí)驗(yàn)期間引入的樣品中的干預(yù)大小。
4. 原假設(shè)成立的可能性： 這與原假設(shè)很接近，可能不會(huì)造成太大傷害，但仍然會(huì)造成混淆。使用頻率統(tǒng)計(jì)量來討論原假設(shè)為真是不可能的。高p值意味著數(shù)據(jù)與原假設(shè)高度一致

當(dāng)然還有更多的錯(cuò)誤！但請(qǐng)記住這些，下次你在工作中遇到p值時(shí)，你會(huì)做得很好。

結(jié)論

在本文中，我們通過一步一步地引入一個(gè)參數(shù)來徹底地理解p值。假定值可以非常有趣的新統(tǒng)計(jì)或數(shù)據(jù)科學(xué)家,但我們理解它上面的例子在數(shù)據(jù)科學(xué)統(tǒng)計(jì)和一個(gè)例子,我相信現(xiàn)在我們可以向任何人解釋自信地假定值,而無需依賴于復(fù)雜的定義或約定一成不變的只是因?yàn)闆]有人給我們解釋。