99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀數(shù)據(jù)挖掘中所需的概率論與數(shù)理統(tǒng)計知識?（三）
數(shù)據(jù)挖掘中所需的概率論與數(shù)理統(tǒng)計知識?（三）
2014-11-11
收藏

數(shù)據(jù)挖掘中所需的概率論與數(shù)理統(tǒng)計知識（三）


從數(shù)學(xué)期望、方差、協(xié)方差到中心極限定理

3.1、數(shù)學(xué)期望、方差、協(xié)方差

3.1.1、數(shù)學(xué)期望

     如果X是在概率空間（Ω, P）中的一個隨機變量，那么它的期望值E[X]的定義是：
     并不是每一個隨機變量都有期望值的，因為有的時候這個積分不存在。如果兩個隨機變量的分布相同，則它們的期望值也相同。
    在概率論和統(tǒng)計學(xué)中，數(shù)學(xué)期望分兩種(依照上文第二節(jié)相關(guān)內(nèi)容也可以得出)，一種為離散型隨機變量的期望值，一種為連續(xù)型隨機變量的期望值。
  • 一個離散性隨機變量的期望值（或數(shù)學(xué)期望、或均值，亦簡稱期望）是試驗中每次可能結(jié)果的概率乘以其結(jié)果的總和。換句話說，期望值是隨機試驗在同樣的機會下重復(fù)多次的結(jié)果計算出的等同“期望”的平均值。
    例如，擲一枚六面骰子，得到每一面的概率都為1/6，故其的期望值是3.5，計算如下：
    承上，如果X 是一個離散的隨機變量，輸出值為x1, x2, ...， 和輸出值相應(yīng)的概率為p1, p2, ...（概率和為1），若級數(shù)絕對收斂，那么期望值E[X]是一個無限數(shù)列的和：
    上面擲骰子的例子就是用這種方法求出期望值的。 
  • 而對于一個連續(xù)型隨機變量來說，如果X的概率分布存在一個相應(yīng)的概率密度函數(shù)f（x），若積分絕對收斂，那么X 的期望值可以計算為： 
    
    實際上，此連續(xù)隨機型變量的期望值的求法與離散隨機變量的期望值的算法同出一轍，由于輸出值是連續(xù)的，只不過是把求和改成了積分。

3.1.2、方差與標(biāo)準(zhǔn)差

方差    
    在概率論和統(tǒng)計學(xué)中，一個隨機變量的方差（Variance）描述的是它的離散程度，也就是該變量離其期望值的距離。一個實隨機變量的方差也稱為它的二階矩或二階中心動差，恰巧也是它的二階累積量。方差的算術(shù)平方根稱為該隨機變量的標(biāo)準(zhǔn)差。
    其定義為：如果是隨機變量X的期望值（平均數(shù)） 設(shè)為服從分布的隨機變量，則稱為隨機變量或者分布的方差：
    其中，μ為平均數(shù)，N為樣本總數(shù)。 
    分別針對離散型隨機變量和連續(xù)型隨機變量而言，方差的分布律和概率密度如下圖所示：
標(biāo)準(zhǔn)差
    標(biāo)準(zhǔn)差（Standard Deviation），在概率統(tǒng)計中最常使用作為統(tǒng)計分布程度（statistical dispersion）上的測量。標(biāo)準(zhǔn)差定義為方差的算術(shù)平方根，反映組內(nèi)個體間的離散程度。
    簡單來說，標(biāo)準(zhǔn)差是一組數(shù)值自平均值分散開來的程度的一種測量觀念。一個較大的標(biāo)準(zhǔn)差，代表大部分的數(shù)值和其平均值之間差異較大；一個較小的標(biāo)準(zhǔn)差，代表這些數(shù)值較接近平均值。例如，兩組數(shù)的集合 {0, 5, 9, 14} 和 {5, 6, 8, 9} 其平均值都是 7 ，但第二個集合具有較小的標(biāo)準(zhǔn)差。
    前面說過，方差的算術(shù)平方根稱為該隨機變量的標(biāo)準(zhǔn)差，故一隨機變量的標(biāo)準(zhǔn)差定義為：
    須注意并非所有隨機變量都具有標(biāo)準(zhǔn)差，因為有些隨機變量不存在期望值。 如果隨機變量為具有相同概率，則可用上述公式計算標(biāo)準(zhǔn)差。 
    上述方差.標(biāo)準(zhǔn)差等相關(guān)內(nèi)容，可用下圖總結(jié)之：
樣本標(biāo)準(zhǔn)差
    在真實世界中，除非在某些特殊情況下，找到一個總體的真實的標(biāo)準(zhǔn)差是不現(xiàn)實的。大多數(shù)情況下，總體標(biāo)準(zhǔn)差是通過隨機抽取一定量的樣本并計算樣本標(biāo)準(zhǔn)差估計的。說白了，就是數(shù)據(jù)海量，想計算總體海量數(shù)據(jù)的標(biāo)準(zhǔn)差無異于大海撈針，那咋辦呢？抽取其中一些樣本作為抽樣代表唄。
    而從一大組數(shù)值當(dāng)中取出一樣本數(shù)值組合，進而，我們可以定義其樣本標(biāo)準(zhǔn)差為：
    樣本方差是對總體方差的無偏估計。  中分母為 n-1 是因為的自由度為n-1(且慢，何謂自由度？簡單說來，即指樣本中的n個數(shù)都是相互獨立的，從其中抽出任何一個數(shù)都不影響其他數(shù)據(jù)，所以自由度就是估計總體參數(shù)時獨立數(shù)據(jù)的數(shù)目，而平均數(shù)是根據(jù)n個獨立數(shù)據(jù)來估計的，因此自由度為n)，這是由于存在約束條件。 

3.1.3、協(xié)方差與相關(guān)系數(shù)

協(xié)方差
    下圖即可說明何謂協(xié)方差，同時，引出相關(guān)系數(shù)的定義：

相關(guān)系數(shù) 

    如上篇kd樹blog所述相關(guān)系數(shù) ( Correlation coefficient )的定義是：


(其中，E為數(shù)學(xué)期望或均值，D為方差，D開根號為標(biāo)準(zhǔn)差，E{ [X-E(X)] [Y-E(Y)]}稱為隨機變量X與Y的協(xié)方差，記為Cov(X,Y)，即Cov(X,Y) = E{ [X-E(X)] [Y-E(Y)]}，而兩個變量之間的協(xié)方差和標(biāo)準(zhǔn)差的商則稱為隨機變量X與Y的相關(guān)系數(shù)，記為)
    相關(guān)系數(shù)衡量隨機變量X與Y相關(guān)程度的一種方法，相關(guān)系數(shù)的取值范圍是[-1,1]。相關(guān)系數(shù)的絕對值越大，則表明X與Y相關(guān)度越高。當(dāng)X與Y線性相關(guān)時，相關(guān)系數(shù)取值為1（正線性相關(guān)）或-1（負(fù)線性相關(guān)）。
    具體的，如果有兩個變量：X、Y，最終計算出的相關(guān)系數(shù)的含義可以有如下理解：

  1. 當(dāng)相關(guān)系數(shù)為0時，X和Y兩變量無關(guān)系。
  2. 當(dāng)X的值增大（減?。?，Y值增大（減?。瑑蓚€變量為正相關(guān)，相關(guān)系數(shù)在0.00與1.00之間。
  3. 當(dāng)X的值增大（減?。?，Y值減?。ㄔ龃螅?，兩個變量為負(fù)相關(guān)，相關(guān)系數(shù)在-1.00與0.00之間。
   根據(jù)相關(guān)系數(shù)，相關(guān)距離可以定義為：

    這里只對相關(guān)系數(shù)做個簡要介紹，欲了解機器學(xué)習(xí)中更多相似性距離度量表示法，可以參看上篇kd樹blog第一部分內(nèi)容。
    自此，已經(jīng)介紹完期望方差協(xié)方差等基本概念，但一下子要讀者接受那么多概念，怕是有難為讀者之嫌，不如再上幾幅圖鞏固下上述相關(guān)概念吧(數(shù)據(jù)挖掘)：

3.1.4、協(xié)方差矩陣與主成成分分析

協(xié)方差矩陣

    由上，我們已經(jīng)知道：協(xié)方差是衡量兩個隨機變量的相關(guān)程度。且隨機變量 之間的協(xié)方差可以表示為

                                                         

     故根據(jù)已知的樣本值可以得到協(xié)方差的估計值如下：

                                               

    可以進一步地簡化為：

                                                             

    如此，便引出了所謂的協(xié)方差矩陣： 

主成成分分析

    盡管從上面看來，協(xié)方差矩陣貌似很簡單，可它卻是很多領(lǐng)域里的非常有力的工具。它能導(dǎo)出一個變換矩陣，這個矩陣能使數(shù)據(jù)完全去相關(guān)(decorrelation)。從不同的角度看，也就是說能夠找出一組最佳的基以緊湊的方式來表達(dá)數(shù)據(jù)。這個方法在統(tǒng)計學(xué)中被稱為主成分分析(principal components analysis，簡稱PCA)，在圖像處理中稱為Karhunen-Loève 變換(KL-變換)。

    根據(jù)wikipedia上的介紹，主成分分析PCA由卡爾·皮爾遜于1901年發(fā)明，用于分析數(shù)據(jù)及建立數(shù)理模型。其方法主要是通過對協(xié)方差矩陣進行特征分解，以得出數(shù)據(jù)的主成分（即特征矢量）與它們的權(quán)值（即特征值）。PCA是最簡單的以特征量分析多元統(tǒng)計分布的方法。其結(jié)果可以理解為對原數(shù)據(jù)中的方差做出解釋：哪一個方向上的數(shù)據(jù)值對方差的影響最大。

    然為何要使得變換后的數(shù)據(jù)有著最大的方差呢？我們知道，方差的大小描述的是一個變量的信息量，我們在講一個東西的穩(wěn)定性的時候，往往說要減小方差，如果一個模型的方差很大，那就說明模型不穩(wěn)定了。但是對于我們用于機器學(xué)習(xí)的數(shù)據(jù)（主要是訓(xùn)練數(shù)據(jù)），方差大才有意義，不然輸入的數(shù)據(jù)都是同一個點，那方差就為0了，這樣輸入的多個數(shù)據(jù)就等同于一個數(shù)據(jù)了。

    簡而言之，主成分分析PCA，留下主成分，剔除噪音，是一種降維方法，限高斯分布，n維眏射到k維，
  1. 減均值，
  2. 求特征協(xié)方差矩陣，
  3. 求協(xié)方差的特征值和特征向量，
  4. 取最大的k個特征值所對應(yīng)的特征向量組成特征向量矩陣，
  5. 投影數(shù)據(jù)=原始樣本矩陣x特征向量矩陣。其依據(jù)為最大方差，最小平方誤差或坐標(biāo)軸相關(guān)度理論，及矩陣奇異值分解SVD（即SVD給PCA提供了另一種解釋）。
    也就是說，高斯是0均值，其方差定義了信噪比，所以PCA是在對角化低維表示的協(xié)方差矩陣，故某一個角度而言，只需要理解方差、均值和協(xié)方差的物理意義，PCA就很清晰了。

    再換言之，PCA提供了一種降低數(shù)據(jù)維度的有效辦法；如果分析者在原數(shù)據(jù)中除掉最小的特征值所對應(yīng)的成分，那么所得的低維度數(shù)據(jù)必定是最優(yōu)化的（也即，這樣降低維度必定是失去訊息最少的方法）。主成分分析在分析復(fù)雜數(shù)據(jù)時尤為有用，比如人臉識別。

3.2、中心極限定理

    本節(jié)先給出現(xiàn)在一般的概率論與數(shù)理統(tǒng)計教材上所介紹的2個定理，然后簡要介紹下中心極限定理的相關(guān)歷史。

3.2.1、獨立同分布的中心極限定理

    獨立中心極限定理如下兩圖所示：

3.2.2、棣莫弗-拉普拉斯中心極限定理

    此外，據(jù)wikipedia上的介紹，包括上面介紹的棣莫弗-拉普拉斯定理在內(nèi)，歷史上前后發(fā)展了三個相關(guān)的中心極限定理，它們得出的結(jié)論及內(nèi)容分別是：

  • 棣莫弗－拉普拉斯（de Movire - Laplace）定理是中心極限定理的最初版本，討論了服從二項分布的隨機變量序列。
 其內(nèi)容為：若是n次伯努利實驗中事件A出現(xiàn)的次數(shù)，，則對任意有限區(qū)間：
(i)當(dāng)及時，一致地有

(ii)當(dāng)時，一致地有， 
，其中。
         它指出，參數(shù)為n, p的二項分布以np為均值、np(1-p)為方差的正態(tài)分布為極限。    
  • 林德伯格－列維（Lindeberg-Levy）定理，是棣莫佛－拉普拉斯定理的擴展，討論獨立同分布隨機變量序列的中心極限定理。
 其內(nèi)容為：設(shè)隨機變量獨立同分布， 且具有有限的數(shù)學(xué)期望和方差，。
記，，則，其中是標(biāo)準(zhǔn)正態(tài)分布的分布函數(shù)。 
    它表明，獨立同分布、且數(shù)學(xué)期望和方差有限的隨機變量序列的標(biāo)準(zhǔn)化和以標(biāo)準(zhǔn)正態(tài)分布為極限。
  • 林德伯格－費勒定理，是中心極限定理的高級形式，是對林德伯格－列維定理的擴展，討論獨立，但不同分布的情況下的隨機變量和。
    其內(nèi)容為：記隨機變量序列（獨立但不一定同分布，且有有限方差）部分和為
    記
，
    如果對每個，序列滿足
    則稱它滿足林德伯格（Lindeberg）條件。
    滿足此條件的序列趨向于正態(tài)分布，即
    與之相關(guān)的是李雅普諾夫（Lyapunov）條件：
    滿足李雅普諾夫條件的序列必滿足林德伯格條件。 

    它表明，滿足一定條件時，獨立，但不同分布的隨機變量序列的標(biāo)準(zhǔn)化和依然以標(biāo)準(zhǔn)正態(tài)分布為極限。

3.2.3、歷史

    1776年，拉普拉斯開始考慮一個天文學(xué)中的彗星軌道的傾角的計算問題，最終的問題涉及獨立隨機變量求和的概率計算，也就是計算如下的概率值
    令 Sn=X1+X2+?+Xn, 那么
    在這個問題的處理上，拉普拉斯充分展示了其深厚的數(shù)學(xué)分析功底和高超的概率計算技巧，他首次引入了特征函數(shù)(也就是對概率密度函數(shù)做傅立葉變換)來處理概率分布的神妙方法，而這一方法經(jīng)過幾代概率學(xué)家的發(fā)展，在現(xiàn)代概率論里面占有極其重要的位置?；谶@一分析方法，拉普拉斯通過近似計算，在他的1812年的名著《概率分析理論》中給出了中心極限定理的一般描述：
    [定理Laplace，1812]設(shè) ei(i=1,?n)為獨立同分布的測量誤差，具有均值μ和方差σ2。如果λ1,?,λn為常數(shù)，a>0,則有
    這已經(jīng)是比棣莫弗-拉普拉斯中心極限定理更加深刻的一個結(jié)論了，在現(xiàn)在大學(xué)本科的教材上，包括包括本文主要參考之一盛驟版的概率論與數(shù)理統(tǒng)計上，通常給出的是中心極限定理的一般形式： 
    [Lindeberg-Levy中心極限定理] 設(shè)X1,?,Xn獨立同分布，且具有有限的均值μ和方差σ2，則在n→∞時,有

    多么奇妙的性質(zhì)，隨意的一個概率分布中生成的隨機變量，在序列和(或者等價的求算術(shù)平均)的操作之下，表現(xiàn)出如此一致的行為，統(tǒng)一的規(guī)約到正態(tài)分布。
    概率學(xué)家們進一步的研究結(jié)果更加令人驚訝，序列求和最終要導(dǎo)出正態(tài)分布的條件并不需要這么苛刻，即便X1,?,Xn并不獨立，也不具有相同的概率分布形式，很多時候他們求和的最終歸宿仍然是正態(tài)分布。
    在正態(tài)分布、中心極限定理的確立之下，20世紀(jì)之后，統(tǒng)計學(xué)三大分布χ2分布、t分布、F分布也逐步登上歷史舞臺：

    如上所述，中心極限定理的歷史可大致概括為：

  1. 中心極限定理理的第一版被法國數(shù)學(xué)家棣莫弗發(fā)現(xiàn)，他在1733年發(fā)表的卓越論文中使用正態(tài)分布去估計大量拋擲硬幣出現(xiàn)正面次數(shù)的分布；
  2. 1812年，法國數(shù)學(xué)家拉普拉斯在其巨著 Théorie Analytique des Probabilités中擴展了棣莫弗的理論，指出二項分布可用正態(tài)分布逼近；
  3. 1901年，俄國數(shù)學(xué)家李雅普諾夫用更普通的隨機變量定義中心極限定理并在數(shù)學(xué)上進行了精確的證明。

    如今，中心極限定理被認(rèn)為是(非正式地)概率論中的首席定理。本文來自：http://www.3lll3.cn/


數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個參數(shù)驗證碼對象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務(wù)器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }