99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀數(shù)據(jù)挖掘中所需的概率論與數(shù)理統(tǒng)計知識?（三）
數(shù)據(jù)挖掘中所需的概率論與數(shù)理統(tǒng)計知識?（三）
2014-11-11
收藏

數(shù)據(jù)挖掘中所需的概率論與數(shù)理統(tǒng)計知識（三）


從數(shù)學(xué)期望、方差、協(xié)方差到中心極限定理

3.1、數(shù)學(xué)期望、方差、協(xié)方差

3.1.1、數(shù)學(xué)期望

     如果X是在概率空間（Ω, P）中的一個隨機(jī)變量，那么它的期望值E[X]的定義是：
     并不是每一個隨機(jī)變量都有期望值的，因?yàn)橛械臅r候這個積分不存在。如果兩個隨機(jī)變量的分布相同，則它們的期望值也相同。
    在概率論和統(tǒng)計學(xué)中，數(shù)學(xué)期望分兩種(依照上文第二節(jié)相關(guān)內(nèi)容也可以得出)，一種為離散型隨機(jī)變量的期望值，一種為連續(xù)型隨機(jī)變量的期望值。
  • 一個離散性隨機(jī)變量的期望值（或數(shù)學(xué)期望、或均值，亦簡稱期望）是試驗(yàn)中每次可能結(jié)果的概率乘以其結(jié)果的總和。換句話說，期望值是隨機(jī)試驗(yàn)在同樣的機(jī)會下重復(fù)多次的結(jié)果計算出的等同“期望”的平均值。
    例如，擲一枚六面骰子，得到每一面的概率都為1/6，故其的期望值是3.5，計算如下：
    承上，如果X 是一個離散的隨機(jī)變量，輸出值為x1, x2, ...， 和輸出值相應(yīng)的概率為p1, p2, ...（概率和為1），若級數(shù)絕對收斂，那么期望值E[X]是一個無限數(shù)列的和：
    上面擲骰子的例子就是用這種方法求出期望值的。 
  • 而對于一個連續(xù)型隨機(jī)變量來說，如果X的概率分布存在一個相應(yīng)的概率密度函數(shù)f（x），若積分絕對收斂，那么X 的期望值可以計算為： 
    
    實(shí)際上，此連續(xù)隨機(jī)型變量的期望值的求法與離散隨機(jī)變量的期望值的算法同出一轍，由于輸出值是連續(xù)的，只不過是把求和改成了積分。

3.1.2、方差與標(biāo)準(zhǔn)差

方差    
    在概率論和統(tǒng)計學(xué)中，一個隨機(jī)變量的方差（Variance）描述的是它的離散程度，也就是該變量離其期望值的距離。一個實(shí)隨機(jī)變量的方差也稱為它的二階矩或二階中心動差，恰巧也是它的二階累積量。方差的算術(shù)平方根稱為該隨機(jī)變量的標(biāo)準(zhǔn)差。
    其定義為：如果是隨機(jī)變量X的期望值（平均數(shù)） 設(shè)為服從分布的隨機(jī)變量，則稱為隨機(jī)變量或者分布的方差：
    其中，μ為平均數(shù)，N為樣本總數(shù)。 
    分別針對離散型隨機(jī)變量和連續(xù)型隨機(jī)變量而言，方差的分布律和概率密度如下圖所示：
標(biāo)準(zhǔn)差
    標(biāo)準(zhǔn)差（Standard Deviation），在概率統(tǒng)計中最常使用作為統(tǒng)計分布程度（statistical dispersion）上的測量。標(biāo)準(zhǔn)差定義為方差的算術(shù)平方根，反映組內(nèi)個體間的離散程度。
    簡單來說，標(biāo)準(zhǔn)差是一組數(shù)值自平均值分散開來的程度的一種測量觀念。一個較大的標(biāo)準(zhǔn)差，代表大部分的數(shù)值和其平均值之間差異較大；一個較小的標(biāo)準(zhǔn)差，代表這些數(shù)值較接近平均值。例如，兩組數(shù)的集合 {0, 5, 9, 14} 和 {5, 6, 8, 9} 其平均值都是 7 ，但第二個集合具有較小的標(biāo)準(zhǔn)差。
    前面說過，方差的算術(shù)平方根稱為該隨機(jī)變量的標(biāo)準(zhǔn)差，故一隨機(jī)變量的標(biāo)準(zhǔn)差定義為：
    須注意并非所有隨機(jī)變量都具有標(biāo)準(zhǔn)差，因?yàn)橛行╇S機(jī)變量不存在期望值。 如果隨機(jī)變量為具有相同概率，則可用上述公式計算標(biāo)準(zhǔn)差。 
    上述方差.標(biāo)準(zhǔn)差等相關(guān)內(nèi)容，可用下圖總結(jié)之：
樣本標(biāo)準(zhǔn)差
    在真實(shí)世界中，除非在某些特殊情況下，找到一個總體的真實(shí)的標(biāo)準(zhǔn)差是不現(xiàn)實(shí)的。大多數(shù)情況下，總體標(biāo)準(zhǔn)差是通過隨機(jī)抽取一定量的樣本并計算樣本標(biāo)準(zhǔn)差估計的。說白了，就是數(shù)據(jù)海量，想計算總體海量數(shù)據(jù)的標(biāo)準(zhǔn)差無異于大海撈針，那咋辦呢？抽取其中一些樣本作為抽樣代表唄。
    而從一大組數(shù)值當(dāng)中取出一樣本數(shù)值組合，進(jìn)而，我們可以定義其樣本標(biāo)準(zhǔn)差為：
    樣本方差是對總體方差的無偏估計。  中分母為 n-1 是因?yàn)?/span>的自由度為n-1(且慢，何謂自由度？簡單說來，即指樣本中的n個數(shù)都是相互獨(dú)立的，從其中抽出任何一個數(shù)都不影響其他數(shù)據(jù)，所以自由度就是估計總體參數(shù)時獨(dú)立數(shù)據(jù)的數(shù)目，而平均數(shù)是根據(jù)n個獨(dú)立數(shù)據(jù)來估計的，因此自由度為n)，這是由于存在約束條件。 

3.1.3、協(xié)方差與相關(guān)系數(shù)

協(xié)方差
    下圖即可說明何謂協(xié)方差，同時，引出相關(guān)系數(shù)的定義：

相關(guān)系數(shù) 

    如上篇kd樹blog所述相關(guān)系數(shù) ( Correlation coefficient )的定義是：


(其中，E為數(shù)學(xué)期望或均值，D為方差，D開根號為標(biāo)準(zhǔn)差，E{ [X-E(X)] [Y-E(Y)]}稱為隨機(jī)變量X與Y的協(xié)方差，記為Cov(X,Y)，即Cov(X,Y) = E{ [X-E(X)] [Y-E(Y)]}，而兩個變量之間的協(xié)方差和標(biāo)準(zhǔn)差的商則稱為隨機(jī)變量X與Y的相關(guān)系數(shù)，記為)
    相關(guān)系數(shù)衡量隨機(jī)變量X與Y相關(guān)程度的一種方法，相關(guān)系數(shù)的取值范圍是[-1,1]。相關(guān)系數(shù)的絕對值越大，則表明X與Y相關(guān)度越高。當(dāng)X與Y線性相關(guān)時，相關(guān)系數(shù)取值為1（正線性相關(guān)）或-1（負(fù)線性相關(guān)）。
    具體的，如果有兩個變量：X、Y，最終計算出的相關(guān)系數(shù)的含義可以有如下理解：

  1. 當(dāng)相關(guān)系數(shù)為0時，X和Y兩變量無關(guān)系。
  2. 當(dāng)X的值增大（減?。?，Y值增大（減小），兩個變量為正相關(guān)，相關(guān)系數(shù)在0.00與1.00之間。
  3. 當(dāng)X的值增大（減?。琘值減?。ㄔ龃螅?，兩個變量為負(fù)相關(guān)，相關(guān)系數(shù)在-1.00與0.00之間。
   根據(jù)相關(guān)系數(shù)，相關(guān)距離可以定義為：

    這里只對相關(guān)系數(shù)做個簡要介紹，欲了解機(jī)器學(xué)習(xí)中更多相似性距離度量表示法，可以參看上篇kd樹blog第一部分內(nèi)容。
    自此，已經(jīng)介紹完期望方差協(xié)方差等基本概念，但一下子要讀者接受那么多概念，怕是有難為讀者之嫌，不如再上幾幅圖鞏固下上述相關(guān)概念吧(數(shù)據(jù)挖掘)：

3.1.4、協(xié)方差矩陣與主成成分分析

協(xié)方差矩陣

    由上，我們已經(jīng)知道：協(xié)方差是衡量兩個隨機(jī)變量的相關(guān)程度。且隨機(jī)變量 之間的協(xié)方差可以表示為

                                                         

     故根據(jù)已知的樣本值可以得到協(xié)方差的估計值如下：

                                               

    可以進(jìn)一步地簡化為：

                                                             

    如此，便引出了所謂的協(xié)方差矩陣： 

主成成分分析

    盡管從上面看來，協(xié)方差矩陣貌似很簡單，可它卻是很多領(lǐng)域里的非常有力的工具。它能導(dǎo)出一個變換矩陣，這個矩陣能使數(shù)據(jù)完全去相關(guān)(decorrelation)。從不同的角度看，也就是說能夠找出一組最佳的基以緊湊的方式來表達(dá)數(shù)據(jù)。這個方法在統(tǒng)計學(xué)中被稱為主成分分析(principal components analysis，簡稱PCA)，在圖像處理中稱為Karhunen-Loève 變換(KL-變換)。

    根據(jù)wikipedia上的介紹，主成分分析PCA由卡爾·皮爾遜于1901年發(fā)明，用于分析數(shù)據(jù)及建立數(shù)理模型。其方法主要是通過對協(xié)方差矩陣進(jìn)行特征分解，以得出數(shù)據(jù)的主成分（即特征矢量）與它們的權(quán)值（即特征值）。PCA是最簡單的以特征量分析多元統(tǒng)計分布的方法。其結(jié)果可以理解為對原數(shù)據(jù)中的方差做出解釋：哪一個方向上的數(shù)據(jù)值對方差的影響最大。

    然為何要使得變換后的數(shù)據(jù)有著最大的方差呢？我們知道，方差的大小描述的是一個變量的信息量，我們在講一個東西的穩(wěn)定性的時候，往往說要減小方差，如果一個模型的方差很大，那就說明模型不穩(wěn)定了。但是對于我們用于機(jī)器學(xué)習(xí)的數(shù)據(jù)（主要是訓(xùn)練數(shù)據(jù)），方差大才有意義，不然輸入的數(shù)據(jù)都是同一個點(diǎn)，那方差就為0了，這樣輸入的多個數(shù)據(jù)就等同于一個數(shù)據(jù)了。

    簡而言之，主成分分析PCA，留下主成分，剔除噪音，是一種降維方法，限高斯分布，n維眏射到k維，
  1. 減均值，
  2. 求特征協(xié)方差矩陣，
  3. 求協(xié)方差的特征值和特征向量，
  4. 取最大的k個特征值所對應(yīng)的特征向量組成特征向量矩陣，
  5. 投影數(shù)據(jù)=原始樣本矩陣x特征向量矩陣。其依據(jù)為最大方差，最小平方誤差或坐標(biāo)軸相關(guān)度理論，及矩陣奇異值分解SVD（即SVD給PCA提供了另一種解釋）。
    也就是說，高斯是0均值，其方差定義了信噪比，所以PCA是在對角化低維表示的協(xié)方差矩陣，故某一個角度而言，只需要理解方差、均值和協(xié)方差的物理意義，PCA就很清晰了。

    再換言之，PCA提供了一種降低數(shù)據(jù)維度的有效辦法；如果分析者在原數(shù)據(jù)中除掉最小的特征值所對應(yīng)的成分，那么所得的低維度數(shù)據(jù)必定是最優(yōu)化的（也即，這樣降低維度必定是失去訊息最少的方法）。主成分分析在分析復(fù)雜數(shù)據(jù)時尤為有用，比如人臉識別。

3.2、中心極限定理

    本節(jié)先給出現(xiàn)在一般的概率論與數(shù)理統(tǒng)計教材上所介紹的2個定理，然后簡要介紹下中心極限定理的相關(guān)歷史。

3.2.1、獨(dú)立同分布的中心極限定理

    獨(dú)立中心極限定理如下兩圖所示：

3.2.2、棣莫弗-拉普拉斯中心極限定理

    此外，據(jù)wikipedia上的介紹，包括上面介紹的棣莫弗-拉普拉斯定理在內(nèi)，歷史上前后發(fā)展了三個相關(guān)的中心極限定理，它們得出的結(jié)論及內(nèi)容分別是：

  • 棣莫弗－拉普拉斯（de Movire - Laplace）定理是中心極限定理的最初版本，討論了服從二項(xiàng)分布的隨機(jī)變量序列。
 其內(nèi)容為：若是n次伯努利實(shí)驗(yàn)中事件A出現(xiàn)的次數(shù)，，則對任意有限區(qū)間：
(i)當(dāng)及時，一致地有

(ii)當(dāng)時，一致地有， 
，其中。
         它指出，參數(shù)為n, p的二項(xiàng)分布以np為均值、np(1-p)為方差的正態(tài)分布為極限。    
  • 林德伯格－列維（Lindeberg-Levy）定理，是棣莫佛－拉普拉斯定理的擴(kuò)展，討論獨(dú)立同分布隨機(jī)變量序列的中心極限定理。
 其內(nèi)容為：設(shè)隨機(jī)變量獨(dú)立同分布， 且具有有限的數(shù)學(xué)期望和方差，。
記，，則，其中是標(biāo)準(zhǔn)正態(tài)分布的分布函數(shù)。 
    它表明，獨(dú)立同分布、且數(shù)學(xué)期望和方差有限的隨機(jī)變量序列的標(biāo)準(zhǔn)化和以標(biāo)準(zhǔn)正態(tài)分布為極限。
  • 林德伯格－費(fèi)勒定理，是中心極限定理的高級形式，是對林德伯格－列維定理的擴(kuò)展，討論獨(dú)立，但不同分布的情況下的隨機(jī)變量和。
    其內(nèi)容為：記隨機(jī)變量序列（獨(dú)立但不一定同分布，且有有限方差）部分和為
    記
，
    如果對每個，序列滿足
    則稱它滿足林德伯格（Lindeberg）條件。
    滿足此條件的序列趨向于正態(tài)分布，即
    與之相關(guān)的是李雅普諾夫（Lyapunov）條件：
    滿足李雅普諾夫條件的序列必滿足林德伯格條件。 

    它表明，滿足一定條件時，獨(dú)立，但不同分布的隨機(jī)變量序列的標(biāo)準(zhǔn)化和依然以標(biāo)準(zhǔn)正態(tài)分布為極限。

3.2.3、歷史

    1776年，拉普拉斯開始考慮一個天文學(xué)中的彗星軌道的傾角的計算問題，最終的問題涉及獨(dú)立隨機(jī)變量求和的概率計算，也就是計算如下的概率值
    令 Sn=X1+X2+?+Xn, 那么
    在這個問題的處理上，拉普拉斯充分展示了其深厚的數(shù)學(xué)分析功底和高超的概率計算技巧，他首次引入了特征函數(shù)(也就是對概率密度函數(shù)做傅立葉變換)來處理概率分布的神妙方法，而這一方法經(jīng)過幾代概率學(xué)家的發(fā)展，在現(xiàn)代概率論里面占有極其重要的位置?；谶@一分析方法，拉普拉斯通過近似計算，在他的1812年的名著《概率分析理論》中給出了中心極限定理的一般描述：
    [定理Laplace，1812]設(shè) ei(i=1,?n)為獨(dú)立同分布的測量誤差，具有均值μ和方差σ2。如果λ1,?,λn為常數(shù)，a>0,則有
    這已經(jīng)是比棣莫弗-拉普拉斯中心極限定理更加深刻的一個結(jié)論了，在現(xiàn)在大學(xué)本科的教材上，包括包括本文主要參考之一盛驟版的概率論與數(shù)理統(tǒng)計上，通常給出的是中心極限定理的一般形式： 
    [Lindeberg-Levy中心極限定理] 設(shè)X1,?,Xn獨(dú)立同分布，且具有有限的均值μ和方差σ2，則在n→∞時,有

    多么奇妙的性質(zhì)，隨意的一個概率分布中生成的隨機(jī)變量，在序列和(或者等價的求算術(shù)平均)的操作之下，表現(xiàn)出如此一致的行為，統(tǒng)一的規(guī)約到正態(tài)分布。
    概率學(xué)家們進(jìn)一步的研究結(jié)果更加令人驚訝，序列求和最終要導(dǎo)出正態(tài)分布的條件并不需要這么苛刻，即便X1,?,Xn并不獨(dú)立，也不具有相同的概率分布形式，很多時候他們求和的最終歸宿仍然是正態(tài)分布。
    在正態(tài)分布、中心極限定理的確立之下，20世紀(jì)之后，統(tǒng)計學(xué)三大分布χ2分布、t分布、F分布也逐步登上歷史舞臺：

    如上所述，中心極限定理的歷史可大致概括為：

  1. 中心極限定理理的第一版被法國數(shù)學(xué)家棣莫弗發(fā)現(xiàn)，他在1733年發(fā)表的卓越論文中使用正態(tài)分布去估計大量拋擲硬幣出現(xiàn)正面次數(shù)的分布；
  2. 1812年，法國數(shù)學(xué)家拉普拉斯在其巨著 Théorie Analytique des Probabilités中擴(kuò)展了棣莫弗的理論，指出二項(xiàng)分布可用正態(tài)分布逼近；
  3. 1901年，俄國數(shù)學(xué)家李雅普諾夫用更普通的隨機(jī)變量定義中心極限定理并在數(shù)學(xué)上進(jìn)行了精確的證明。

    如今，中心極限定理被認(rèn)為是(非正式地)概率論中的首席定理。本文來自：http://www.3lll3.cn/


數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個參數(shù)驗(yàn)證碼對象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }