R語言統(tǒng)計與分布的相關(guān)知識

變量

變量按變量值是否連續(xù)可分為連續(xù)變量與離散變量兩種。 連續(xù)變量（continuous variable）與離散變量（discrete variable）

連續(xù)變量

在一定區(qū)間內(nèi)可以任意取值的變量叫連續(xù)變量，其數(shù)值是連續(xù)不斷的，相鄰兩個數(shù)值可作無限分割，即可取無限個數(shù)值。

離散變量

離散變量是指其數(shù)值只能用自然數(shù)或整數(shù)單位計算的則為離散變量.例如,企業(yè)個數(shù),職工人數(shù),設備臺數(shù)等,只能按計量單位數(shù)計數(shù),這種變量的數(shù)值一般用計數(shù)方法取得.

在R語言中的Data.Frame中的每一列可以表示一個變量；

變量關(guān)注點：1取值，2概率

得到了變量的取值及概率就獲得了數(shù)據(jù)的分布

數(shù)據(jù)分布

數(shù)據(jù)分布的特征

集中趨勢(位置)

離中趨勢(分散程度)

偏態(tài)和峰態(tài)(形態(tài))

一、集中趨勢的度量

分類數(shù)據(jù)：眾數(shù)

順序數(shù)據(jù)：眾數(shù)、中位數(shù)、分位數(shù)

數(shù)值型數(shù)據(jù)：眾數(shù)、中位數(shù)、分位數(shù)、平均數(shù)

概念：

四分位數(shù)(quartile): 排序后處于25%和75%位置上的值。

平均數(shù)(mean): 也稱為期望

簡單算數(shù)平均：

加權(quán)平均：

幾何平均：

幾何平均主要用于計算平均增長率；

特點：

1. 眾數(shù)

不受極端值影響

具有不惟一性

數(shù)據(jù)分布偏斜程度較大時應用

2. 中位數(shù)

不受極端值影響

數(shù)據(jù)分布偏斜程度較大時應用

3. 平均數(shù)

易受極端值影響

數(shù)學性質(zhì)優(yōu)良

數(shù)據(jù)對稱分布或接近對稱分布時應用

關(guān)系： 

均值在中位數(shù)左邊為左偏，均值在中位數(shù)右邊為右偏。

二、離散程度的度量

反映各變量值遠離其中心值的程度（離散程度）

分類數(shù)據(jù)：異眾比率

順序數(shù)據(jù)：四分位差

數(shù)值型數(shù)據(jù)：極差、平均差、方差和標準差

相對位置的度量：標準分數(shù)

相對離散程度：離散系數(shù)

概念：

異眾比率(variation ratio): 非眾數(shù)組的頻數(shù)占總頻數(shù)的比例。

例子：

四分位差(quartile deviation):上四分位數(shù)與下四分位數(shù)之差。反應了中間50%數(shù)據(jù)的離散程度。

例子：

極差(range)：數(shù)據(jù)中最大值與最小值之差。

方差(variance): 是各個數(shù)據(jù)分別與其平均數(shù)之差的平方的和的平均數(shù); 反映了各變量值與均值的平均差異.

     E{x}表示平均數(shù)

樣本方差：

在統(tǒng)計學中樣本的均差多是除以自由度（n-1），它是意思是樣本能自由選擇的程度。當選到只剩一個時，它不可能再有自由了，所以自由度是n-1。

標準差(standard deviation): 是各個數(shù)據(jù)分別與其平均數(shù)之差的平方的和的平均數(shù)的平方根；反映了各變量值與均值的平均差異. 反應了數(shù)據(jù)集的離散程度.

 對方差進行開方

標準分數(shù)(standard score)：也叫z分數(shù)(z-score) 是一個分數(shù)與平均數(shù)的差再除以標準差的過程。用公式表示為z=(x-μ)/σ。其中x為某一具體分數(shù)，分數(shù)即為值。

例子：

離散系數(shù)：又稱為變異系數(shù)，常用的是標準差系數(shù)，用CV(Coefficient of Variance)表示。標準差與均值的比率。 用公式表示為：CV=σ/μ

離散系數(shù)反映單位均值上的離散程度，常用在兩個總體均值不等的離散程度的比較上。若兩個總體的均值相等，則比較標準差系數(shù)與比較標準差是等價的。在對比情況下，離散系數(shù)較大的其分布情況差異也大。

協(xié)方差：在概率論和統(tǒng)計學中，協(xié)方差用于衡量兩個變量的總體誤差。而方差是協(xié)方差的一種特殊情況，即當兩個變量是相同的情況。

期望值分別為E[X]與E[Y]的兩個實隨機變量X與Y之間的協(xié)方差Cov(X,Y)定義為：

從直觀上來看，協(xié)方差表示的是兩個變量總體誤差的期望。

如果兩個變量的變化趨勢一致，也就是說如果其中一個大于自身的期望值時另外一個也大于自身的期望值，那么兩個變量之間的協(xié)方差就是正值；

如果兩個變量的變化趨勢相反，即其中一個變量大于自身的期望值時另外一個卻小于自身的期望值，那么兩個變量之間的協(xié)方差就是負值。

結(jié)果值范圍為-∞~+∞，不同協(xié)方差之間是不能比較的

相關(guān)系數(shù)：

稱為隨機變量X和Y的(Pearson)相關(guān)系數(shù)

結(jié)果值范圍-1~+1，不同協(xié)方差的相關(guān)系數(shù)是可以比較的

分布

離散變量的分布

1.兩點分布 又稱為伯努利分布

P(n) = p n (1-p) 1-n (n=1,或 n=0) 1表示成功，0表示失敗

成功的概率為p,失敗的概率為1-p;

2.二項分布 Binomial Distribution

即重復n次的伯努利試驗（Bernoulli Experiment），用X表示隨機試驗的結(jié)果。

如果事件發(fā)生的概率是p,則不發(fā)生的概率q=1-p，N次獨立重復試驗中發(fā)生K次的概率是:

其中組合的計算公式為：

期望E(X)=np

方差D(X)=npq

例子：張三參加雅思考試，每次通過的概率假設為1/3,不通過的概率為2/3。如果他連續(xù)參加4次考試，那么恰好通過2次的概率是多少？

p=1/3, n=4, k=2 代入公式：結(jié)果為8/27

3.泊松分布 Poisson

泊松分布適用于描述單位時間內(nèi)隨機事件發(fā)生的次數(shù)。

泊松分布的概率函數(shù)：

期望和方差都為：λ

λ是單位時間內(nèi)隨機事件的平均發(fā)生率，k是指事件發(fā)生的次數(shù)。

當二項分布的n很大而p很小時，泊松分布可作為二項分布的近似，其中λ為np。通常當n≧10,p≦0.1時，二項分布就可以用泊松公式近似得計算。

在實際事例中，當一個隨機事件，例如某電話交換臺收到的呼叫、來到某公共汽車站的乘客、某放射性物質(zhì)發(fā)射出的粒子、顯微鏡下某區(qū)域中的白血球等等，以固定的平均瞬時速率λ（或稱密度）隨機且獨立地出現(xiàn)時，那么這個事件在單位時間（面積或體積）內(nèi)出現(xiàn)的次數(shù)或個數(shù)就近似地服從泊松分布P(λ)。因此,泊松分布在管理科學、運籌學以及自然科學的某些問題中都占有重要的地位。

觀察事物平均發(fā)生m次的條件下，實際發(fā)生x次的概率P（x）可用下式表示：

P(x)=m x *e -m /x!

例子：假設在一個公共汽車站上有許多不同線路的公交車，平均每5分鐘會來2輛公交車。求5分鐘內(nèi)來5輛公交車的概率有多大。

k=5, λ=2 代入公式：

P(X=k=5)= 2 5 *2.71828 -2 /5*4*3*2*1 = 0.361

例子：已知某家小雜貨店，平均每周售出4個水果罐頭。請問該店水果罐頭的每周最佳庫存量是多少？

庫存量越多浪費空間及金錢，庫存量過少，無法滿足用戶的需求，減少銷售量。

這里通過 累計概率 來計算，

P(X=k=0) 沒有庫存的概率

P(X=k=1) 庫存為1的概率

P(X=k=2) 庫存為2的概率

...

計算到k=7時，將這些概率進行相加，結(jié)果為92.98%，如果庫存為7，說明有7.02%的概率會供不應求。這個k值根據(jù)實際應用場景進行調(diào)整。

連續(xù)變量的分布

1.均勻分布

2.指數(shù)分布

3.正態(tài)分布 Normal distribution 也叫高??分布（Gaussian distribution）

若隨機變量X服從一個位置參數(shù)為μ、尺度參數(shù)為σ 的概率分布，且其概率密度函數(shù)為

μ是均值，σ 是標準差

則這個隨機變量就稱為正態(tài)隨機變量，正態(tài)隨機變量服從的分布就稱為正態(tài)分布，記作X~N(μ,σ 2 ), 讀作X服從正態(tài)分布。

期望E(X)=μ

方差D(X)=σ 2

當μ=0，σ=1是，正態(tài)分布就為 標準正態(tài)分布

期望E(X)=0

方差D(X)=1

μ變大，函數(shù)圖像中軸向右移動

μ變小，函數(shù)圖像中軸向左移動

σ變大，函數(shù)圖像坡度變平緩

σ變小，函數(shù)圖像坡度變陡

經(jīng)驗法則：

正態(tài)分布距離均值的左右各一個標準差的概率分布為68%，距離左右兩邊各兩個標準差的概率分布為95%，三個標準差的概率分布式99.7%；

中心極限定理 central limit theorem：

在樣本數(shù)據(jù)中隨機抽取一部分數(shù)據(jù)，這部分數(shù)據(jù)的分布漸近與正態(tài)分布

概率密度函數(shù)PDF probability density function ;是一個描述這個隨機變量的輸出值，在某個確定的取值點附近的可能性的函數(shù)。
 

正態(tài)分布的概率密度函數(shù)

累計密度函數(shù)CDF cumulative distribution function; 是概率密度函數(shù)的積分。f(x)當x=k，表示小于k值的所有概率之和。單調(diào)遞增曲線，無線接近于1.

用戶畫像，真實用戶的虛擬表示，建立在真實數(shù)據(jù)上的目標用戶模型；考慮用戶的主要行為特征；