
作者:丁點(diǎn)helper
來源:丁點(diǎn)幫你
正態(tài)分布,這個(gè)我們從中學(xué)就學(xué)過的內(nèi)容,真有這么重要嗎?我想,真正學(xué)懂統(tǒng)計(jì)的人對(duì)這一點(diǎn)是不會(huì)質(zhì)疑的,且不談特別高深的統(tǒng)計(jì)理論,徹底弄懂正態(tài)分布是靈活運(yùn)用統(tǒng)計(jì)學(xué)中各種假設(shè)檢驗(yàn)方法、看懂p值,理解均數(shù)置信區(qū)間的前提。今天,我嘗試帶著大家搞懂對(duì)于正態(tài)分布你需要知道的所有知識(shí)點(diǎn)。
作為統(tǒng)計(jì)學(xué)的基礎(chǔ),我們會(huì)主要注重思維理解,復(fù)雜的數(shù)學(xué)計(jì)算在此略去。這并非意味著數(shù)學(xué)不重要,對(duì)數(shù)學(xué)的仔細(xì)專研恰恰會(huì)特別輔助理解和掌握,只是對(duì)于大部分?jǐn)?shù)學(xué)基礎(chǔ)不好的同學(xué)這個(gè)難度不小,所以我們?cè)谶@里會(huì)盡可能少用難懂的數(shù)學(xué)理論,用簡單的語言講清最基礎(chǔ)、最重要的邏輯。本篇文章主要來自于我們微信公眾號(hào)“丁點(diǎn)幫你”的SPSS與統(tǒng)計(jì)思維的系列課程的第七講 二項(xiàng)分布和正態(tài)分布,在這里形成文字是為了不方便看視頻的同學(xué)學(xué)習(xí)和回顧。
1. 從名字說起
為什么叫“正態(tài)分布”,也有地方叫“常態(tài)分布”,這兩個(gè)名字都不太直觀,但如果我們各取一字變?yōu)椤罢7植肌保秃馨自捔?,而這正是“正態(tài)分布”的本質(zhì)含義,Normal Distribution。它太常見了,基本上能描述所有常見的事物和現(xiàn)象:正常人群的身高、體重、考試成績、家庭收入等等。這里的描述是什么意思呢?就是說這些指標(biāo)背后的數(shù)據(jù)都會(huì)呈現(xiàn)一種中間密集、兩邊稀疏的特征。以身高為例,服從正態(tài)分布意味著大部分人的身高都會(huì)在人群的平均身高上下波動(dòng),特別矮和特別高的都比較少見。
你可能不禁要問,這是為什么?我們認(rèn)為,這其實(shí)與我們前面所講的同質(zhì)與變異的概念相關(guān)(參見課程第三講 統(tǒng)計(jì)學(xué)核心思維與統(tǒng)計(jì)描述)。因?yàn)槲覀冄芯康膶?duì)象具有同質(zhì)性(比如都是成年的中國男子),所以其特征往往是趨同的,即存在一個(gè)基準(zhǔn);但由于個(gè)體變異的存在(當(dāng)然變異不會(huì)太大),這些特征又不是完全一致,所以會(huì)以一定的幅度在基準(zhǔn)的上下波動(dòng),從而形成了中間密集,兩側(cè)稀疏的特征。
2. 連續(xù)型隨機(jī)變量研究區(qū)間概率
了解了正態(tài)分布的基本思想,我們來看看實(shí)際應(yīng)用中我們需要掌握的要點(diǎn)。首先,正態(tài)分布屬于“連續(xù)型隨機(jī)變量分布”的一類。我們知道,對(duì)于連續(xù)型隨機(jī)變量,我們不關(guān)注“點(diǎn)概率”,只關(guān)注“區(qū)間概率”,這是什么意思?
我們看這個(gè)例子,假定隨機(jī)變量X指是“北京市成年男子的身高”,理論上它可以取任意正數(shù),所以我們把它當(dāng)做一個(gè)連續(xù)型隨機(jī)變量(連續(xù)型變量,就是指可以取某一區(qū)間或整個(gè)實(shí)數(shù)軸上的任意一個(gè)值的變量)來看待。這里,我們先想一想如何計(jì)算P(X =1.87)? 即身高恰好完全exactly等于1.87的概率是多少,這就是所謂的“點(diǎn)概率”。更極端一點(diǎn),讓隨機(jī)變量Y是[0,1]這個(gè)區(qū)間上的任意一點(diǎn),那么Y的取值有多少個(gè)呢?無數(shù)多個(gè),我們數(shù)不清楚,所以Y 取某一個(gè)具體的值的概率是1除以無數(shù),即可以看做是0。于是,這里透露一個(gè)很重要的結(jié)論:連續(xù)型隨機(jī)變量取任意某個(gè)確定的值的概率均為0。因此,對(duì)于連續(xù)型隨機(jī)變量,我們通常不研究它取某個(gè)特定值的概率,而研究它在某一段區(qū)間上的取值,比如身高在1.70~1.80的概率。
3. 概率密度函數(shù)
對(duì)于初學(xué)者來講,“概率密度”可能是最不友好的一個(gè)概念,直接談概率不行嗎,好好的為什么要生出一個(gè)“密度”?的確,沒有太多數(shù)理基礎(chǔ),這個(gè)概念著實(shí)不太好理解。雖然文字和數(shù)學(xué)公式上你可能感覺很陌生,但我們特別熟知的那條中間高、兩邊低的“鐘形曲線”恰恰就是正態(tài)分布的概率密度曲線。前面我們講了區(qū)間概率,這里你就可以通過區(qū)間的角度來理解概率密度曲線:曲線越高,也就代表著這個(gè)區(qū)間的數(shù)據(jù)越密集,簡單理解成在同樣大小的房子里,這個(gè)房間的人數(shù)更多、更擠。除此之外,另一個(gè)關(guān)于概率密度函數(shù)的重要知識(shí)點(diǎn)是,積分(這里簡單理解為“密度曲線下面積“即可)等于概率。隨機(jī)變量X在某個(gè)區(qū)間比如(a,b)即a<X<b的概率,就是概率密度曲線在這個(gè)區(qū)間下的面積,數(shù)學(xué)上的表達(dá)就是密度函數(shù)在區(qū)間(a, b)上的積分。所以,概率的大小就是“概率密度函數(shù)曲線下的面積”的大小,這個(gè)不太起眼的概念實(shí)際上就決定了你日后是否能理解假設(shè)假設(shè)中所謂的“拒絕域”。
下圖中的三條曲線f(x),就是概率密度函數(shù),各種形式的概率就是相對(duì)應(yīng)的曲線下面積。這里,數(shù)學(xué)基礎(chǔ)不太好的同學(xué)不用特別深挖積分的計(jì)算過程,但對(duì)這三張圖與對(duì)應(yīng)的概率表達(dá)形式,同學(xué)們要熟知。
4. 均數(shù)和標(biāo)準(zhǔn)差
前面說對(duì)于正態(tài)分布的概率密度函數(shù)以及積分不用特別關(guān)注,那真正需要關(guān)注的是什么呢?就是均數(shù)和標(biāo)準(zhǔn)差。這里需要明確的是,一旦談及正態(tài)分布,我們首先要想到它的兩個(gè)參數(shù):均數(shù)和標(biāo)準(zhǔn)差。每次一遇到正態(tài)分布就迅速找這兩個(gè)概念,最好形成條件反射,因?yàn)檫@兩個(gè)數(shù)才是我們?nèi)蘸筮\(yùn)用正態(tài)分布解決實(shí)際問題的“利器”。
關(guān)于正態(tài)分布均數(shù)和標(biāo)準(zhǔn)差的性質(zhì),我們這里簡單總結(jié)一下:1)概率密度曲線在均值處達(dá)到最大,并且對(duì)稱;2)一旦均值和標(biāo)準(zhǔn)差確定,正態(tài)分布曲線也就確定;3)當(dāng)X的取值向橫軸左右兩個(gè)方向無限延伸時(shí),曲線的兩個(gè)尾端也無限漸近橫軸,理論上永遠(yuǎn)不會(huì)與之相交;4)正態(tài)隨機(jī)變量在特定區(qū)間上的取值概率由正態(tài)曲線下的面積給出,而且其曲線下的總面積等于1 ;5)均值可取實(shí)數(shù)軸上的任意數(shù)值,決定正態(tài)曲線的具體位置;標(biāo)準(zhǔn)差決定曲線的“陡峭”或“扁平”程度:標(biāo)準(zhǔn)差越大,正態(tài)曲線越扁平;標(biāo)準(zhǔn)差越小,正態(tài)曲線越陡峭。這是因?yàn)椋?a href='/map/biaozhuncha/' style='color:#000;font-size:inherit;'>標(biāo)準(zhǔn)差越小,意味著大多數(shù)變量值離均數(shù)的距離越短,因此大多數(shù)值都緊密地聚集在均數(shù)周圍,圖形所能覆蓋的變量值就少些(比如1±0.1涵蓋[0.9,1.1]),于是都擠在一塊,圖形上呈現(xiàn)瘦高型。相反,標(biāo)準(zhǔn)差越大,數(shù)據(jù)跨度就比較大,分散程度大,所覆蓋的變量值就越多(比如1±0.5涵蓋[0.5,1.5]),圖形呈現(xiàn)“矮胖型”。
我們可以對(duì)照下圖直觀地看一下,圖中黃色曲線為A,藍(lán)色曲線為B,紫紅色曲線為C。如圖,我們可以看到均數(shù)的大小決定了曲線的位置,標(biāo)準(zhǔn)差的大小決定了曲線的胖瘦。A和B的均值一樣,但標(biāo)準(zhǔn)差不同,所以形狀不同,根據(jù)我們的描述,圖形越瘦高,標(biāo)準(zhǔn)差越小,圖形越扁平,標(biāo)準(zhǔn)差越大。確實(shí)如此,圖中B的標(biāo)準(zhǔn)差是1/2,小于A的標(biāo)準(zhǔn)差1。
5. 標(biāo)準(zhǔn)化與查表求概率
接下來,我們通過一個(gè)例子來看如何通過查表法計(jì)算正態(tài)分布變量在某個(gè)區(qū)間的概率。首先,我們看這個(gè)問題,說小明每天上學(xué)的通勤時(shí)間是一個(gè)隨機(jī)變量X,這個(gè)變量服從正態(tài)分布。統(tǒng)計(jì)他過去20天的通勤時(shí)間(單位:分鐘):26、33、65、28、34、55、25、44、50、36、26、37、43、62、35、38、45、32、28、34?,F(xiàn)在我們想知道他上學(xué)花30~45分鐘的概率。
首先,我們將問題轉(zhuǎn)化為數(shù)學(xué)表達(dá)式,要算他上學(xué)花30~45分鐘的概率,就是求P(30 < X < 45)。之前我們一直強(qiáng)調(diào),一個(gè)變量服從正態(tài)分布,就要立馬考慮到它的均數(shù)和標(biāo)準(zhǔn)差是多少。這里我們簡化一下用他過去20天的樣本數(shù)據(jù)來代替。所以,我們首先計(jì)算這20天通勤時(shí)間的樣本均數(shù)及標(biāo)準(zhǔn)差,分別為38.8(分鐘)和11.4(分鐘)。
然后,我們進(jìn)行標(biāo)準(zhǔn)化,這一步很重要,也稱z變換。通過標(biāo)準(zhǔn)化,所有服從一般正態(tài)分布的隨機(jī)變量都變成了服從均數(shù)為0,標(biāo)準(zhǔn)差為1的標(biāo)準(zhǔn)正態(tài)分布。對(duì)于服從標(biāo)準(zhǔn)正態(tài)分布的隨機(jī)變量,專門用z表示。因此,求P(30 < X < 45),就轉(zhuǎn)換成了求P(-0.77 < Z < 0.54),標(biāo)準(zhǔn)化的具體計(jì)算為:
這里簡單提醒一下,經(jīng)過標(biāo)準(zhǔn)化后,原來的曲線的形狀不會(huì)變化,即不會(huì)改變胖瘦,只是位置發(fā)生平移,比如下圖中的例子,經(jīng)過標(biāo)準(zhǔn)化實(shí)際上只是均數(shù)從1010移到了0。
完成z變換,我們就通過可以利用z值表找到對(duì)應(yīng)的概率值。下圖就是z值表,一般的統(tǒng)計(jì)教科書后面都有,同學(xué)們也可以在網(wǎng)上查到。找不到的同學(xué),可以關(guān)注我們的微信公眾號(hào)后臺(tái)留言索取。
再三強(qiáng)調(diào),圖中陰影部分的面積代表的是Z ≤ z的概率(注意是“≤”)。另外,還有兩個(gè)根據(jù)定義成立的兩個(gè)公式:一是P(Z ≥ z)= 1- P(Z ≤ z);二是P(Z≤-z)= 1-P(Z ≤ z)大家也需要了解。下面我們正式看看怎么查表,前面我們已經(jīng)把問題轉(zhuǎn)化成求P (-0.77 ≤ Z ≤0.54) = P (Z ≤ 0.54)–P (Z ≤ -0.77),于是,我們需要找當(dāng)Z≤0.54和Z≤-0.77的概率值然后相減即可。
先看Z≤0.54的P值,對(duì)照下圖,首先看表格最左邊那一列,找到0.5,然后,因?yàn)?.54的第二位小數(shù)是4,所以定位到頂行找到“4”那一列,得到0.7054;同樣的方法,我們找到Z≤-0.77對(duì)應(yīng)的P值0.2206。最后我們就能算出,P (-0.77 ≤ Z ≤0.54) = 0.4848,約等于0.5。因此,我們可以說,小明上學(xué)通勤時(shí)間花費(fèi)30~45分鐘的概率是50%,這個(gè)概率還挺大的,占了一半。我們通過這個(gè)具體的例子詳細(xì)講解了隨機(jī)變量在某個(gè)區(qū)間的概率求解,不是因?yàn)檫@個(gè)計(jì)算有多重要,而是想提前給你打好基礎(chǔ),方便理解假設(shè)檢驗(yàn)及p值等相關(guān)概念。
P (Z ≤ 0.54) = 0.7054
P (Z ≤ -0.77) = 0.2206
6. 三個(gè)百分?jǐn)?shù):68%,95%,99.7%
熟悉了Z變換、查表求概率,我們來看看正態(tài)分布運(yùn)用十分廣泛的三個(gè)百分?jǐn)?shù):68%,95%,99.7%。先看標(biāo)準(zhǔn)正態(tài)分布,我們知道一個(gè)變量服從標(biāo)準(zhǔn)正態(tài)分布,它的均數(shù)是0,標(biāo)準(zhǔn)差是1,那除了這兩個(gè)數(shù)字之外,我們還能獲得更多的信息嗎?可以,這三個(gè)百分?jǐn)?shù)告訴了我們答案??聪旅孢@3個(gè)圖:
雖然理論上正態(tài)隨機(jī)變量可以取無數(shù)個(gè)值,定義域是整個(gè)實(shí)數(shù)軸,但實(shí)際上在[-1,1]這個(gè)區(qū)間就包含了它可以取的68%的值,[-2,2]區(qū)間包含了95%的值,[-3,3]包含了它可能取的99.7%的值。這里的1,2,3分別代表一個(gè)、兩個(gè)和三個(gè)標(biāo)準(zhǔn)差(標(biāo)準(zhǔn)正態(tài)分布的均數(shù)為0,標(biāo)準(zhǔn)差為1)。所以,根據(jù)這些,我們就可以推斷,一個(gè)服從標(biāo)準(zhǔn)正態(tài)分布的變量,它的取值很不可能超過2,極不可能超過3。這個(gè)用處非常大,一下子把我們要研究的重心從整個(gè)實(shí)數(shù)軸縮小到[-3,3]這個(gè)區(qū)間。另外,這里雖然是以標(biāo)準(zhǔn)正態(tài)分布為例進(jìn)行說明,但這個(gè)性質(zhì)是完全可以推到普通的正態(tài)分布的變量的。百分?jǐn)?shù)不變,不過均數(shù)和標(biāo)準(zhǔn)差不再是0和1,而是代入具體分布的均數(shù)和標(biāo)準(zhǔn)差即可。下面我們來看一個(gè)實(shí)際應(yīng)用的例子。
某小學(xué)學(xué)生身高的平均值和標(biāo)準(zhǔn)差分別為1.4(米)和0.15(米),我們知道身高一般是服從正態(tài)分布的,由此我們可以知道這個(gè)學(xué)校有68%的學(xué)生的身高在1.25到1.55,這里的1.25和1.55就是1.4加減0.15得到的(均數(shù)加減一個(gè)標(biāo)準(zhǔn)差),有95%的學(xué)生身高在1.1到1.7之間(均數(shù)加減兩個(gè)標(biāo)準(zhǔn)差),由此便極大地提升了我們對(duì)數(shù)據(jù)的掌握程度。講完這些你會(huì)發(fā)現(xiàn)一種巧妙的求解均數(shù)和標(biāo)準(zhǔn)差的方法:如果我們知道了某個(gè)變量的95%區(qū)間的取值(關(guān)于均值對(duì)稱),我們就可以算出對(duì)應(yīng)的均數(shù)和標(biāo)準(zhǔn)差,進(jìn)而幾乎知道了一切。
以上即為梳理的有關(guān)正態(tài)分布的關(guān)鍵知識(shí)點(diǎn),希望大家在遇到假設(shè)檢驗(yàn)和p值等概念的理解障礙時(shí)能回頭看看這些最基礎(chǔ)的要點(diǎn),相信對(duì)你會(huì)有所幫助。
——熱門課程推薦:
想從事業(yè)務(wù)型數(shù)據(jù)分析師,您可以點(diǎn)擊>>>“數(shù)據(jù)分析師”了解課程詳情;
想從事大數(shù)據(jù)分析師,您可以點(diǎn)擊>>>“大數(shù)據(jù)就業(yè)”了解課程詳情;
想成為人工智能工程師,您可以點(diǎn)擊>>>“人工智能就業(yè)”了解課程詳情;
想了解Python數(shù)據(jù)分析,您可以點(diǎn)擊>>>“Python數(shù)據(jù)分析師”了解課程詳情;
想咨詢互聯(lián)網(wǎng)運(yùn)營,你可以點(diǎn)擊>>>“互聯(lián)網(wǎng)運(yùn)營就業(yè)班”了解課程詳情;
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03