為什么數(shù)據(jù)科學(xué)家都鐘情于最常見的正態(tài)分布

對于深度學(xué)習(xí)和機(jī)器學(xué)習(xí)工程師們來說，正態(tài)分布是世界上所有概率模型中最重要的一個。即使你沒有參與過任何人工智能項目，也一定遇到過高斯模型，今天就讓我們來看看高斯過程為什么這么受歡迎。

高斯分布（Gaussian distribution），也稱正態(tài)分布，最早由A.棣莫弗在求二項分布的漸近公式中得到。C.F.高斯在研究測量誤差時從另一個角度導(dǎo)出了它。P.S.拉普拉斯和高斯研究了它的性質(zhì)。是一個在數(shù)學(xué)、物理及工程等領(lǐng)域都非常重要的概率分布，在統(tǒng)計學(xué)的許多方面有著重大的影響力。

正態(tài)曲線呈鐘型，兩頭低，中間高，左右對稱因其曲線呈鐘形，因此人們又經(jīng)常稱之為鐘形曲線。

若隨機(jī)變量X服從一個數(shù)學(xué)期望為μ、方差為σ^2的正態(tài)分布，記為N(μ，σ^2)。其概率密度函數(shù)為正態(tài)分布的期望值μ決定了其位置，其標(biāo)準(zhǔn)差σ決定了分布的幅度。當(dāng)μ = 0,σ = 1時的正態(tài)分布是標(biāo)準(zhǔn)正態(tài)分布。

高斯概率分布的數(shù)學(xué)表達(dá)式

在自然現(xiàn)象中隨處可見

　　所有模型都是錯的，但有些是有用的

　　—George Box

正在擴(kuò)散的粒子的位置可以用正態(tài)分布來描述

正態(tài)分布有極其廣泛的實(shí)際背景，生產(chǎn)與科學(xué)實(shí)驗(yàn)中很多隨機(jī)變量的概率分布都可以近似地用正態(tài)分布來描述。例如，在生產(chǎn)條件不變的情況下，產(chǎn)品的強(qiáng)力、抗壓強(qiáng)度、口徑、長度等指標(biāo)；同一種生物體的身長、體重等指標(biāo)；同一種種子的重量；測量同一物體的誤差；彈著點(diǎn)沿某一方向的偏差；某個地區(qū)的年降水量；以及理想氣體分子的速度分量，等等。

一般來說，如果一個量是由許多微小的獨(dú)立隨機(jī)因素影響的結(jié)果，那么就可以認(rèn)為這個量具有正態(tài)分布。從理論上看，正態(tài)分布具有很多良好的性質(zhì)，許多概率分布可以用它來近似；還有一些常用的概率分布是由它直接導(dǎo)出的，例如對數(shù)正態(tài)分布、t分布、F分布等。

數(shù)學(xué)原因：中心極限定理

二維空間上進(jìn)行200萬步的隨機(jī)游走之后得到的圖案

中心極限定理的內(nèi)容為：大量獨(dú)立隨機(jī)變量的和經(jīng)過適當(dāng)標(biāo)準(zhǔn)化之后趨近于正態(tài)分布，與這些變量原本的分布無關(guān)。比如，隨機(jī)游走的總距離就趨近于正態(tài)分布。下面我們介紹三種形式的中心極限定理：

獨(dú)立同分布的中心極限定理

設(shè)隨機(jī)變量X1，X2，......Xn，......獨(dú)立同分布，并且具有有限的數(shù)學(xué)期望和方差：E(Xi)=μ，D(Xi)=σ^2 (i=1,2....)，則對任意x，分布函數(shù)為

滿足

該定理說明，當(dāng)n很大時，隨機(jī)變量

近似地服從標(biāo)準(zhǔn)正態(tài)分布N(0，1)。因此，當(dāng)n很大時，

近似地服從正態(tài)分布N(nμ，nσ^2)．該定理是中心極限定理最簡單又最常用的一種形式，在實(shí)際工作中，只要n足夠大，便可以把獨(dú)立同分布的隨機(jī)變量之和當(dāng)作正態(tài)變量。這種方法在數(shù)理統(tǒng)計中用得很普遍，當(dāng)處理大樣本時，它是重要工具。

棣莫佛－拉普拉斯定理

設(shè)隨機(jī)變量X(n=1,2,...,)服從參數(shù)為n，p(0<p<1)的二項分布，則對于任意有限區(qū)間(a，b)有

該定理表明，正態(tài)分布是二項分布的極限分布，當(dāng)數(shù)充分大時，我們可以利用上式來計算二項分布的概率。

不同分布的中心極限定理

設(shè)隨機(jī)變量X1，X2，......Xn，......獨(dú)立同分布，它們的概率密度分別為fxk(x)，并有E(Xk)=μk，D(Xk)= σk^2，（k=1,2......）

若對任意正數(shù)τ，有：

對任意x，隨機(jī)變量Yn的分布函數(shù)Fn(x)，滿足：

該定理說明：所研究的隨機(jī)變量如果是有大量獨(dú)立的而且均勻的隨機(jī)變量相加而成，那么它的分布將近似于正態(tài)分布。

萬變不離其宗

與其他很多分布不同，正態(tài)分布進(jìn)行適當(dāng)?shù)淖儞Q之后，仍是正態(tài)分布。

兩個正態(tài)分布之積仍是正態(tài)分布

兩個獨(dú)立的服從正態(tài)分布的隨機(jī)變量之和服從正態(tài)分布

對一個正態(tài)分布進(jìn)行高斯卷積還是正態(tài)分布

正態(tài)分布經(jīng)過傅立葉變換之后仍是正態(tài)分布

簡潔

奧卡姆剃刀強(qiáng)調(diào)一個哲學(xué)原則：在其他條件都相同下，最簡單的解就是最好的解。

對于任何一個用正態(tài)分布擬合的隨機(jī)分布，都可能存在一個多參數(shù)，更復(fù)雜，更準(zhǔn)確的解法。但是我們?nèi)匀粫A向于選用正態(tài)分布，因?yàn)樗跀?shù)學(xué)上很簡潔。

它的均值（mean）、中值（median）和眾數(shù)（mode）都相同

只需要用兩個參數(shù)就可以確定整個分布

圖形特性：

集中性：正態(tài)曲線的高峰位于正中央，即均數(shù)所在的位置。

對稱性：正態(tài)曲線以均數(shù)為中心，左右對稱，曲線兩端永遠(yuǎn)不與橫軸相交。

均勻變動性：正態(tài)曲線由均數(shù)所在處開始，分別向左右兩側(cè)逐漸均勻下降。

　　曲線與橫軸間的面積總等于1，相當(dāng)于概率密度函數(shù)的函數(shù)從正無窮到負(fù)無窮積分的概率為1。即頻率的總和為100%。