
作者:丁點helper
來源:丁點幫你
正態(tài)分布,這個我們從中學就學過的內容,真有這么重要嗎?我想,真正學懂統(tǒng)計的人對這一點是不會質疑的,且不談特別高深的統(tǒng)計理論,徹底弄懂正態(tài)分布是靈活運用統(tǒng)計學中各種假設檢驗方法、看懂p值,理解均數置信區(qū)間的前提。今天,我嘗試帶著大家搞懂對于正態(tài)分布你需要知道的所有知識點。
作為統(tǒng)計學的基礎,我們會主要注重思維理解,復雜的數學計算在此略去。這并非意味著數學不重要,對數學的仔細專研恰恰會特別輔助理解和掌握,只是對于大部分數學基礎不好的同學這個難度不小,所以我們在這里會盡可能少用難懂的數學理論,用簡單的語言講清最基礎、最重要的邏輯。本篇文章主要來自于我們微信公眾號“丁點幫你”的SPSS與統(tǒng)計思維的系列課程的第七講 二項分布和正態(tài)分布,在這里形成文字是為了不方便看視頻的同學學習和回顧。
1. 從名字說起
為什么叫“正態(tài)分布”,也有地方叫“常態(tài)分布”,這兩個名字都不太直觀,但如果我們各取一字變?yōu)椤罢7植肌?,就很白話了,而這正是“正態(tài)分布”的本質含義,Normal Distribution。它太常見了,基本上能描述所有常見的事物和現象:正常人群的身高、體重、考試成績、家庭收入等等。這里的描述是什么意思呢?就是說這些指標背后的數據都會呈現一種中間密集、兩邊稀疏的特征。以身高為例,服從正態(tài)分布意味著大部分人的身高都會在人群的平均身高上下波動,特別矮和特別高的都比較少見。
你可能不禁要問,這是為什么?我們認為,這其實與我們前面所講的同質與變異的概念相關(參見課程第三講 統(tǒng)計學核心思維與統(tǒng)計描述)。因為我們研究的對象具有同質性(比如都是成年的中國男子),所以其特征往往是趨同的,即存在一個基準;但由于個體變異的存在(當然變異不會太大),這些特征又不是完全一致,所以會以一定的幅度在基準的上下波動,從而形成了中間密集,兩側稀疏的特征。
2. 連續(xù)型隨機變量研究區(qū)間概率
了解了正態(tài)分布的基本思想,我們來看看實際應用中我們需要掌握的要點。首先,正態(tài)分布屬于“連續(xù)型隨機變量分布”的一類。我們知道,對于連續(xù)型隨機變量,我們不關注“點概率”,只關注“區(qū)間概率”,這是什么意思?
我們看這個例子,假定隨機變量X指是“北京市成年男子的身高”,理論上它可以取任意正數,所以我們把它當做一個連續(xù)型隨機變量(連續(xù)型變量,就是指可以取某一區(qū)間或整個實數軸上的任意一個值的變量)來看待。這里,我們先想一想如何計算P(X =1.87)? 即身高恰好完全exactly等于1.87的概率是多少,這就是所謂的“點概率”。更極端一點,讓隨機變量Y是[0,1]這個區(qū)間上的任意一點,那么Y的取值有多少個呢?無數多個,我們數不清楚,所以Y 取某一個具體的值的概率是1除以無數,即可以看做是0。于是,這里透露一個很重要的結論:連續(xù)型隨機變量取任意某個確定的值的概率均為0。因此,對于連續(xù)型隨機變量,我們通常不研究它取某個特定值的概率,而研究它在某一段區(qū)間上的取值,比如身高在1.70~1.80的概率。
3. 概率密度函數
對于初學者來講,“概率密度”可能是最不友好的一個概念,直接談概率不行嗎,好好的為什么要生出一個“密度”?的確,沒有太多數理基礎,這個概念著實不太好理解。雖然文字和數學公式上你可能感覺很陌生,但我們特別熟知的那條中間高、兩邊低的“鐘形曲線”恰恰就是正態(tài)分布的概率密度曲線。前面我們講了區(qū)間概率,這里你就可以通過區(qū)間的角度來理解概率密度曲線:曲線越高,也就代表著這個區(qū)間的數據越密集,簡單理解成在同樣大小的房子里,這個房間的人數更多、更擠。除此之外,另一個關于概率密度函數的重要知識點是,積分(這里簡單理解為“密度曲線下面積“即可)等于概率。隨機變量X在某個區(qū)間比如(a,b)即a<X<b的概率,就是概率密度曲線在這個區(qū)間下的面積,數學上的表達就是密度函數在區(qū)間(a, b)上的積分。所以,概率的大小就是“概率密度函數曲線下的面積”的大小,這個不太起眼的概念實際上就決定了你日后是否能理解假設假設中所謂的“拒絕域”。
下圖中的三條曲線f(x),就是概率密度函數,各種形式的概率就是相對應的曲線下面積。這里,數學基礎不太好的同學不用特別深挖積分的計算過程,但對這三張圖與對應的概率表達形式,同學們要熟知。
4. 均數和標準差
前面說對于正態(tài)分布的概率密度函數以及積分不用特別關注,那真正需要關注的是什么呢?就是均數和標準差。這里需要明確的是,一旦談及正態(tài)分布,我們首先要想到它的兩個參數:均數和標準差。每次一遇到正態(tài)分布就迅速找這兩個概念,最好形成條件反射,因為這兩個數才是我們日后運用正態(tài)分布解決實際問題的“利器”。
關于正態(tài)分布均數和標準差的性質,我們這里簡單總結一下:1)概率密度曲線在均值處達到最大,并且對稱;2)一旦均值和標準差確定,正態(tài)分布曲線也就確定;3)當X的取值向橫軸左右兩個方向無限延伸時,曲線的兩個尾端也無限漸近橫軸,理論上永遠不會與之相交;4)正態(tài)隨機變量在特定區(qū)間上的取值概率由正態(tài)曲線下的面積給出,而且其曲線下的總面積等于1 ;5)均值可取實數軸上的任意數值,決定正態(tài)曲線的具體位置;標準差決定曲線的“陡峭”或“扁平”程度:標準差越大,正態(tài)曲線越扁平;標準差越小,正態(tài)曲線越陡峭。這是因為,標準差越小,意味著大多數變量值離均數的距離越短,因此大多數值都緊密地聚集在均數周圍,圖形所能覆蓋的變量值就少些(比如1±0.1涵蓋[0.9,1.1]),于是都擠在一塊,圖形上呈現瘦高型。相反,標準差越大,數據跨度就比較大,分散程度大,所覆蓋的變量值就越多(比如1±0.5涵蓋[0.5,1.5]),圖形呈現“矮胖型”。
我們可以對照下圖直觀地看一下,圖中黃色曲線為A,藍色曲線為B,紫紅色曲線為C。如圖,我們可以看到均數的大小決定了曲線的位置,標準差的大小決定了曲線的胖瘦。A和B的均值一樣,但標準差不同,所以形狀不同,根據我們的描述,圖形越瘦高,標準差越小,圖形越扁平,標準差越大。確實如此,圖中B的標準差是1/2,小于A的標準差1。
5. 標準化與查表求概率
接下來,我們通過一個例子來看如何通過查表法計算正態(tài)分布變量在某個區(qū)間的概率。首先,我們看這個問題,說小明每天上學的通勤時間是一個隨機變量X,這個變量服從正態(tài)分布。統(tǒng)計他過去20天的通勤時間(單位:分鐘):26、33、65、28、34、55、25、44、50、36、26、37、43、62、35、38、45、32、28、34。現在我們想知道他上學花30~45分鐘的概率。
首先,我們將問題轉化為數學表達式,要算他上學花30~45分鐘的概率,就是求P(30 < X < 45)。之前我們一直強調,一個變量服從正態(tài)分布,就要立馬考慮到它的均數和標準差是多少。這里我們簡化一下用他過去20天的樣本數據來代替。所以,我們首先計算這20天通勤時間的樣本均數及標準差,分別為38.8(分鐘)和11.4(分鐘)。
然后,我們進行標準化,這一步很重要,也稱z變換。通過標準化,所有服從一般正態(tài)分布的隨機變量都變成了服從均數為0,標準差為1的標準正態(tài)分布。對于服從標準正態(tài)分布的隨機變量,專門用z表示。因此,求P(30 < X < 45),就轉換成了求P(-0.77 < Z < 0.54),標準化的具體計算為:
這里簡單提醒一下,經過標準化后,原來的曲線的形狀不會變化,即不會改變胖瘦,只是位置發(fā)生平移,比如下圖中的例子,經過標準化實際上只是均數從1010移到了0。
完成z變換,我們就通過可以利用z值表找到對應的概率值。下圖就是z值表,一般的統(tǒng)計教科書后面都有,同學們也可以在網上查到。找不到的同學,可以關注我們的微信公眾號后臺留言索取。
再三強調,圖中陰影部分的面積代表的是Z ≤ z的概率(注意是“≤”)。另外,還有兩個根據定義成立的兩個公式:一是P(Z ≥ z)= 1- P(Z ≤ z);二是P(Z≤-z)= 1-P(Z ≤ z)大家也需要了解。下面我們正式看看怎么查表,前面我們已經把問題轉化成求P (-0.77 ≤ Z ≤0.54) = P (Z ≤ 0.54)–P (Z ≤ -0.77),于是,我們需要找當Z≤0.54和Z≤-0.77的概率值然后相減即可。
先看Z≤0.54的P值,對照下圖,首先看表格最左邊那一列,找到0.5,然后,因為0.54的第二位小數是4,所以定位到頂行找到“4”那一列,得到0.7054;同樣的方法,我們找到Z≤-0.77對應的P值0.2206。最后我們就能算出,P (-0.77 ≤ Z ≤0.54) = 0.4848,約等于0.5。因此,我們可以說,小明上學通勤時間花費30~45分鐘的概率是50%,這個概率還挺大的,占了一半。我們通過這個具體的例子詳細講解了隨機變量在某個區(qū)間的概率求解,不是因為這個計算有多重要,而是想提前給你打好基礎,方便理解假設檢驗及p值等相關概念。
P (Z ≤ 0.54) = 0.7054
P (Z ≤ -0.77) = 0.2206
6. 三個百分數:68%,95%,99.7%
熟悉了Z變換、查表求概率,我們來看看正態(tài)分布運用十分廣泛的三個百分數:68%,95%,99.7%。先看標準正態(tài)分布,我們知道一個變量服從標準正態(tài)分布,它的均數是0,標準差是1,那除了這兩個數字之外,我們還能獲得更多的信息嗎?可以,這三個百分數告訴了我們答案??聪旅孢@3個圖:
雖然理論上正態(tài)隨機變量可以取無數個值,定義域是整個實數軸,但實際上在[-1,1]這個區(qū)間就包含了它可以取的68%的值,[-2,2]區(qū)間包含了95%的值,[-3,3]包含了它可能取的99.7%的值。這里的1,2,3分別代表一個、兩個和三個標準差(標準正態(tài)分布的均數為0,標準差為1)。所以,根據這些,我們就可以推斷,一個服從標準正態(tài)分布的變量,它的取值很不可能超過2,極不可能超過3。這個用處非常大,一下子把我們要研究的重心從整個實數軸縮小到[-3,3]這個區(qū)間。另外,這里雖然是以標準正態(tài)分布為例進行說明,但這個性質是完全可以推到普通的正態(tài)分布的變量的。百分數不變,不過均數和標準差不再是0和1,而是代入具體分布的均數和標準差即可。下面我們來看一個實際應用的例子。
某小學學生身高的平均值和標準差分別為1.4(米)和0.15(米),我們知道身高一般是服從正態(tài)分布的,由此我們可以知道這個學校有68%的學生的身高在1.25到1.55,這里的1.25和1.55就是1.4加減0.15得到的(均數加減一個標準差),有95%的學生身高在1.1到1.7之間(均數加減兩個標準差),由此便極大地提升了我們對數據的掌握程度。講完這些你會發(fā)現一種巧妙的求解均數和標準差的方法:如果我們知道了某個變量的95%區(qū)間的取值(關于均值對稱),我們就可以算出對應的均數和標準差,進而幾乎知道了一切。
以上即為梳理的有關正態(tài)分布的關鍵知識點,希望大家在遇到假設檢驗和p值等概念的理解障礙時能回頭看看這些最基礎的要點,相信對你會有所幫助。
——熱門課程推薦:
想從事業(yè)務型數據分析師,您可以點擊>>>“數據分析師”了解課程詳情;
想從事大數據分析師,您可以點擊>>>“大數據就業(yè)”了解課程詳情;
想成為人工智能工程師,您可以點擊>>>“人工智能就業(yè)”了解課程詳情;
想了解Python數據分析,您可以點擊>>>“Python數據分析師”了解課程詳情;
想咨詢互聯網運營,你可以點擊>>>“互聯網運營就業(yè)班”了解課程詳情;
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關鍵? 在循環(huán)神經網絡(RNN)家族中,長短期記憶網絡(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數據分析師報考條件詳解與準備指南? ? 在數據驅動決策的時代浪潮下,CDA 數據分析師認證愈發(fā)受到矚目,成為眾多有志投身數 ...
2025-07-11數據透視表中兩列相乘合計的實用指南? 在數據分析的日常工作中,數據透視表憑借其強大的數據匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數據分析師:連接數據與業(yè)務的價值轉化者? ? 在大數據與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預測分析中的應用:從數據查詢到趨勢預判? ? 在數據驅動決策的時代,預測分析作為挖掘數據潛在價值的核心手段,正被廣泛 ...
2025-07-10數據查詢結束后:分析師的收尾工作與價值深化? ? 在數據分析的全流程中,“query end”(查詢結束)并非工作的終點,而是將數 ...
2025-07-10CDA 數據分析師考試:從報考到取證的全攻略? 在數字經濟蓬勃發(fā)展的今天,數據分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數據背后的時間軌跡? 在數據分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數據類型:時間維度的精準切片? ? 在數據的世界里,時間是最不可或缺的維度之一,而year_month數據類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數據分析中的核心應用與實戰(zhàn)技巧? ? 在 CDA 數據分析師認證考試中,Python 作為數據處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數據趨勢與突變分析的有力工具? ? ? 在數據分析的廣袤領域中,準確捕捉數據的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數據分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數據分析師認證作為國內權威的數據分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應對策略? 長短期記憶網絡(LSTM)作為循環(huán)神經網絡(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調研數據中的深度應用? 市場調研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調研數 ...
2025-07-07CDA數據分析師證書考試全攻略? 在數字化浪潮席卷全球的當下,數據已成為企業(yè)決策、行業(yè)發(fā)展的核心驅動力,數據分析師也因此成為 ...
2025-07-07剖析 CDA 數據分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數據分析師考試作為衡量數據專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉日期:解鎖數據處理的關鍵技能? 在數據處理與分析工作中,數據格式的規(guī)范性是保證后續(xù)分析準確性的基礎 ...
2025-07-04CDA 數據分析師視角:從數據迷霧中探尋商業(yè)真相? 在數字化浪潮席卷全球的今天,數據已成為企業(yè)決策的核心驅動力,CDA(Certifie ...
2025-07-04CDA 數據分析師:開啟數據職業(yè)發(fā)展新征程? ? 在數據成為核心生產要素的今天,數據分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03