99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀數(shù)據(jù)挖掘中所需的概率論與數(shù)理統(tǒng)計(jì)知識(一)
數(shù)據(jù)挖掘中所需的概率論與數(shù)理統(tǒng)計(jì)知識(一)
2014-11-11
收藏

數(shù)據(jù)挖掘中所需的概率論與數(shù)理統(tǒng)計(jì)知識(一)


一個(gè)月余前，在微博上感慨道，不知日后是否有無機(jī)會搞DM，微博上的朋友只看不發(fā)的圍脖評論道：算法研究領(lǐng)域，那里要的是數(shù)學(xué)，你可以深入學(xué)習(xí)數(shù)學(xué)，將算法普及當(dāng)興趣。想想，甚合我意。自此，便從rickjin寫的“正態(tài)分布的前世今生”開始研習(xí)數(shù)學(xué)。

    如之前微博上所說，“今年5月接觸DM，循序?qū)W習(xí)決策樹.貝葉斯，SVM.KNN，感數(shù)學(xué)功底不足，遂補(bǔ)數(shù)學(xué)，從‘正態(tài)分布的前后今生’中感到數(shù)學(xué)史有趣，故買本微積分概念發(fā)展史讀，在嘆服前人偉大的創(chuàng)造之余，感微積分概念模糊，復(fù)習(xí)高等數(shù)學(xué)上冊，完后學(xué)概率論與數(shù)理統(tǒng)計(jì)，感概道：微積分是概數(shù)統(tǒng)計(jì)基礎(chǔ)，概數(shù)統(tǒng)計(jì)則是DM&ML之必修課?！卑ㄗx者相信也已經(jīng)感覺到，我在寫這個(gè)Top 10 Algorithms in Data Mining系列的時(shí)候，其中涉及到諸多的數(shù)學(xué)概念與基礎(chǔ)知識(例如此篇SVM文章內(nèi)諸多max.s.t.對偶.KKT條件.拉格朗日.松弛因子等問題則皆屬于數(shù)學(xué)內(nèi)一分支：最優(yōu)化理論與算法范疇內(nèi))，特別是概率論與數(shù)理統(tǒng)計(jì)部分。更進(jìn)一步，在寫上一篇文章的時(shí)候，看到機(jī)器學(xué)習(xí)中那么多距離度量的表示法，發(fā)現(xiàn)連最起碼的期望，方差，標(biāo)準(zhǔn)差等基本概念都甚感模糊，于此，便深感數(shù)學(xué)之重要性。

    很快，我便買了一本高等教育出版社出版的概率論與數(shù)理統(tǒng)計(jì)一書，此書“從0-1分布、到二項(xiàng)分布、正態(tài)分布，概率密度函數(shù)，從期望到方差、標(biāo)準(zhǔn)差、協(xié)方差，中心極限定理，樣本和抽樣，從最大似然估計(jì)量到各種置信區(qū)間，從方差分析到回歸分析，bootstrap方法，最后到馬爾可夫鏈，以前在學(xué)校沒開概率論與數(shù)理統(tǒng)計(jì)這門課，現(xiàn)在有的學(xué)有的看了”。且人類發(fā)明計(jì)算機(jī)，是為了輔助人類解決現(xiàn)實(shí)生活中遇到的問題，然計(jì)算機(jī)科學(xué)畢竟只發(fā)展了數(shù)十年，可在數(shù)學(xué).統(tǒng)計(jì)學(xué)中，諸多現(xiàn)實(shí)生活問題已經(jīng)思考了數(shù)百年甚至上千年，故，計(jì)算機(jī)若想更好的服務(wù)人類解決問題，須有效借鑒或參考數(shù)學(xué).統(tǒng)計(jì)學(xué)。世間萬事萬物，究其本質(zhì)乃數(shù)學(xué)，于變化莫測中尋其規(guī)律謂之統(tǒng)計(jì)學(xué)。

    話休絮煩。本文結(jié)合高等數(shù)學(xué)上下冊、微積分概念發(fā)展史，概率論與數(shù)理統(tǒng)計(jì)、數(shù)理統(tǒng)計(jì)學(xué)簡史等書，及rickjin寫的“正態(tài)分布的前世今生”系列(此文亦可看作讀書筆記或讀后感)與wikipedia整理而成，對數(shù)據(jù)挖掘中所需的概率論與數(shù)理統(tǒng)計(jì)相關(guān)知識概念作個(gè)總結(jié)梳理，方便你我隨時(shí)查看復(fù)習(xí)相關(guān)概念，而欲深入學(xué)習(xí)研究的課后還需參看相關(guān)專業(yè)書籍.資料。同時(shí)，本文篇幅會比較長，簡單來說：

  1. 第一節(jié)、介紹微積分中極限、導(dǎo)數(shù)，微分、積分等相關(guān)概念；
  2. 第二節(jié)、介紹隨機(jī)變量及其分布；
  3. 第三節(jié)、介紹數(shù)學(xué)期望.方差.協(xié)方差.相關(guān)系數(shù).中心極限定理等概念；
  4. 第四節(jié)、依據(jù)數(shù)理統(tǒng)計(jì)學(xué)簡史介紹正態(tài)分布的前后由來；
  5. 第五節(jié)、論道正態(tài)，介紹正態(tài)分布的4大數(shù)學(xué)推導(dǎo)。

    5部分起承轉(zhuǎn)合，彼此依托，層層遞進(jìn)。且在本文中，會出現(xiàn)諸多并不友好的大量各種公式，但基本的概念.定理是任何復(fù)雜問題的根基，所以，你我都有必要硬著頭皮好好細(xì)細(xì)閱讀。最后，本文若有任何問題或錯(cuò)誤，懇請廣大讀者朋友們不吝批評指正，謝謝。

第一節(jié)、微積分的基本概念

    開頭前言說，微積分是概數(shù)統(tǒng)計(jì)基礎(chǔ)，概數(shù)統(tǒng)計(jì)則是DM&ML之必修課”，是有一定根據(jù)的，包括后續(xù)數(shù)理統(tǒng)計(jì)當(dāng)中，如正態(tài)分布的概率密度函數(shù)中用到了相關(guān)定積分的知識，包括最小二乘法問題的相關(guān)探討求證都用到了求偏導(dǎo)數(shù)的等概念，這些都是跟微積分相關(guān)的知識。故咱們第一節(jié)先復(fù)習(xí)下微積分的相關(guān)基本概念。

    事實(shí)上，古代數(shù)學(xué)中，單單無窮小、無窮大的概念就討論了近200年，而后才由無限發(fā)展到極限的概念。

1.1、極限

    極限又分為兩部分：數(shù)列的極限和函數(shù)的極限。

1.1.1、數(shù)列的極限

    定義  如果數(shù)列{xn}與常a 有下列關(guān)系:對于任意給定的正數(shù)e (不論它多么小), 總存在正整數(shù)N , 使得對于n >N 時(shí)的一切xn, 不等式 |xn-a |或

    也就是說，

1.1.2、函數(shù)的極限

    設(shè)函數(shù)f(x)在點(diǎn)x0的某一去心鄰域內(nèi)有定義. 如果存在常數(shù)A, 對于任意給定的正數(shù)e (不論它多么小), 總存在正數(shù)d, 使得當(dāng)x滿足不等式0<|x-x0||f(x)-A|的極限, 記為

    也就是說，

    幾乎沒有一門新的數(shù)學(xué)分支是某個(gè)人單獨(dú)的成果，如笛卡兒和費(fèi)馬的解析幾何不僅僅是他們兩人研究的成果，而是若干數(shù)學(xué)思潮在16世紀(jì)和17世紀(jì)匯合的產(chǎn)物，是由許許多多的學(xué)者共同努力而成。

    甚至微積分的發(fā)展也不是牛頓與萊布尼茨兩人之功。在17世紀(jì)下半葉，數(shù)學(xué)史上出現(xiàn)了無窮小的概念，而后才發(fā)展到極限，到后來的微積分的提出。然就算牛頓和萊布尼茨提出了微積分，但微積分的概念尚模糊不清，在牛頓和萊布尼茨之后，后續(xù)經(jīng)過一個(gè)多世紀(jì)的發(fā)展，諸多學(xué)者的努力，才真正清晰了微積分的概念。

    也就是說，從無窮小到極限，再到微積分定義的真正確立，經(jīng)歷了幾代人幾個(gè)世紀(jì)的努力，而課本上所呈現(xiàn)的永遠(yuǎn)只是冰山一角。

1.2、導(dǎo)數(shù)

    設(shè)有定義域和取值都在實(shí)數(shù)域中的函數(shù)。若在點(diǎn)的某個(gè)鄰域內(nèi)有定義，則當(dāng)自變量在處取得增量（點(diǎn)仍在該鄰域內(nèi)）時(shí)，相應(yīng)地函數(shù)取得增量；如果與之比當(dāng)時(shí)的極限存在，則稱函數(shù)在點(diǎn)處可導(dǎo)，并稱這個(gè)極限為函數(shù)在點(diǎn)處的導(dǎo)數(shù)，記為。
    即：

    也可記為：，或。

1.3、微分

    設(shè)函數(shù)在某區(qū)間內(nèi)有定義。對于內(nèi)一點(diǎn)，當(dāng)變動到附近的（也在此區(qū)間內(nèi)）時(shí)。如果函數(shù)的增量可表示為（其中是不依賴于的常數(shù)），而是比高階的無窮小，那么稱函數(shù)在點(diǎn)是可微的，且稱作函數(shù)在點(diǎn)相應(yīng)于自變量增量的微分，記作，即，是的線性主部。通常把自變量的增量稱為自變量的微分，記作，即。 
    實(shí)際上，前面講了導(dǎo)數(shù)，而微積分則是在導(dǎo)數(shù)的基礎(chǔ)上加個(gè)后綴，即為：。

1.4、積分 

    積分是微積分學(xué)與數(shù)學(xué)分析里的一個(gè)核心概念。通常分為定積分和不定積分兩種。
不定積分的定義
    一個(gè)函數(shù)的不定積分，也稱為原函數(shù)或反導(dǎo)數(shù)，是一個(gè)導(dǎo)數(shù)等于的函數(shù)，即
    不定積分的有換元積分法，分部積分法等求法。
定積分的定義
    直觀地說，對于一個(gè)給定的正實(shí)值函數(shù)，在一個(gè)實(shí)數(shù)區(qū)間上的定積分：
    定積分與不定積分區(qū)別在于不定積分便是不給定區(qū)間，也就是說，上式子中，積分符號沒有a、b。下面，介紹定積分中值定理。
    如果函數(shù)f(x)在閉區(qū)間[a,b]上連續(xù), 則在積分區(qū)間[a,b]上至少存在一個(gè)點(diǎn),使下式成立：
    這個(gè)公式便叫積分中值公式。
牛頓-萊布尼茨公式
    接下來，咱們講介紹微積分學(xué)中最重要的一個(gè)公式：牛頓-萊布尼茨公式。
     如果函數(shù)F (x)是連續(xù)函數(shù)f(x)在區(qū)間[a, b]上的一個(gè)原函數(shù), 則
    此公式稱為牛頓-萊布尼茨公式, 也稱為微積分基本公式。這個(gè)公式由此便打通了原函數(shù)與定積分之間的聯(lián)系，它表明：一個(gè)連續(xù)函數(shù)在區(qū)間[a, b]上的定積分等于它的任一個(gè)原函數(shù)在區(qū)間[a, b]上的增量，如此，便給定積分提供了一個(gè)有效而極為簡單的計(jì)算方法，大大簡化了定積分的計(jì)算手續(xù)。
    下面，舉個(gè)例子說明如何通過原函數(shù)求取定積分。
    如要計(jì)算，由于是的一個(gè)原函數(shù)，所以。

1.5、偏導(dǎo)數(shù)

    對于二元函數(shù)z = f(x，y) 如果只有自變量x 變化，而自變量y固定 這時(shí)它就是x的一元函數(shù)，這函數(shù)對x的導(dǎo)數(shù)，就稱為二元函數(shù)z = f(x，y)對于x的偏導(dǎo)數(shù)。
    定義  設(shè)函數(shù)z = f(x，y)在點(diǎn)(x0，y0)的某一鄰域內(nèi)有定義，當(dāng)y固定在y0而x在x0處有增量時(shí)，相應(yīng)地函數(shù)有增量，
    如果極限
    存在，則稱此極限為函數(shù)z = f(x，y)在點(diǎn)(x0，y0)處對 x 的偏導(dǎo)數(shù)，記作：
    例如。類似的，二元函數(shù)對y求偏導(dǎo)，則把x當(dāng)做常量。
    此外，上述內(nèi)容只講了一階偏導(dǎo)，而有一階偏導(dǎo)就有二階偏導(dǎo)，這里只做個(gè)簡要介紹，具體應(yīng)用具體分析，或參看高等數(shù)學(xué)上下冊相關(guān)內(nèi)容。接下來，進(jìn)入本文的主題，從第二節(jié)開始。本文來自：http://www.3lll3.cn/


數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }