99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話:13121318867

登錄
首頁精彩閱讀ML基礎:無監(jiān)督學習之協(xié)方差矩陣
ML基礎:無監(jiān)督學習之協(xié)方差矩陣
2020-06-16
收藏

在翻譯sklearn文檔 2.無監(jiān)督學習 部分過程中,發(fā)現(xiàn)協(xié)方差矩陣幾乎貫穿整個章節(jié),但sklearn指導手冊把協(xié)方差部分放在了這一章節(jié)偏后的部分,作為機器學習一個基礎概念,在這篇文章中,想把協(xié)方差矩陣的相關(guān)知識以及主要應用。

統(tǒng)計學中常用平均值,方差,標準差等描述數(shù)據(jù)。平均值描述了樣本集合的中間點;方差總是一個非負數(shù),當隨機變量的可能值集中在數(shù)學期望的附近時,方差較小; 反之, 則方差較大。所以, 由方差的大小可以推斷隨機變量分布的分散程度, 方差能反映隨機變量的一切可能值在數(shù)學期望周圍的分散程度。標準差描述了各個樣本點到均值的距離的平均值。但這些統(tǒng)計量都是針對一維數(shù)據(jù)的計算,在處理高維數(shù)據(jù)時,便可以采用協(xié)方差來查看數(shù)據(jù)集中的一些規(guī)律。協(xié)方差來度量兩個隨機變量關(guān)系的統(tǒng)計量,它描述的意義是:如果結(jié)果為正值,則說明兩者是正相關(guān)的,否則是負相關(guān)的。需要注意的是,協(xié)方差是計算不同特征之間的統(tǒng)計量,不是不同樣本之間的統(tǒng)計量。

協(xié)方差基本知識:

協(xié)方差公式:

設n個隨機向量:

從公式上看,協(xié)方差是兩個變量與自身期望做差再相乘, 然后對乘積取期望。也就是說,當其中一個變量的取值大于自身期望,另一個變量的取值也大于自身期望時,即兩個變量的變化趨勢相同, 此時,兩個變量之間的協(xié)方差取正值。反之,即其中一個變量大于自身期望時,另外一個變量小于自身期望,那么這兩個變量之間的協(xié)方差取負值。下面根據(jù)舉一個例子來對協(xié)方差形象的解釋:

協(xié)方差矩陣是實對稱矩陣,實對稱矩陣的性質(zhì):

  1. 實對稱矩陣的不同特征值對應的特征向量時正交的
  2. 實對稱矩陣的特征值是實數(shù),特征向量是實向量
  3. 實對稱矩陣必可對角化,且其相似對角矩陣的對角線元素為n個特征

協(xié)方差矩陣中的對角線元素表示方差, 非對角線元素表示隨機向量 X 的不同分量之 問的協(xié)方差. 協(xié)方差一定程度上體現(xiàn)了相關(guān)性, 因而可作為刻畫不同分 量之間相關(guān)性的一個評判量。若不同分量之問的相關(guān)性越小,則 非對角線元素的值就越小。特別地, 若不同分量彼此不相關(guān), 那么 C 就變成了一個對角陣。注意, 我們并不能得到協(xié)方差矩陣 $C(X)$ 的真實值, 只能根據(jù)所提供的 X 的樣本數(shù)據(jù)對其進行近似估計。因此, 這樣計算得到的協(xié)方差矩陣是依賴于樣本數(shù)據(jù)的, 通常提供的樣本數(shù)目越多 , 樣本在總體中的覆蓋面就越廣。

理解協(xié)方差矩陣的關(guān)鍵就在于牢記它計算的是不同維度之間的協(xié)方差,而不是不同樣本之間,拿到一個樣本矩陣,我們最先要明確的就是一行是一個樣本還是一個維度,心中明確這個整個計算過程就會順流而下,這么一來就不會迷茫了。其實還有一個更簡單的容易記還不容易出錯的方法:協(xié)方差矩陣一定是一個對稱的方陣,

經(jīng)驗協(xié)方差

有時候由于種種原因,并不使用全部的樣本數(shù)據(jù)計算協(xié)方差矩陣,而是利用部分樣本數(shù)據(jù)計算,這時候就要考慮利用部分樣本計算得到的協(xié)方差矩陣是否和真實的協(xié)方差矩陣相同或者近似。

當提供的樣本數(shù)目相對于特征數(shù)足夠多時,利用最大似然估計(或者稱為經(jīng)驗協(xié)方差)計算的結(jié)果,可以認為是協(xié)方差矩陣的幾個近似結(jié)果。這種情況下,會假設數(shù)據(jù)的分布符合一個多元正太分布,數(shù)據(jù)的概率密度函數(shù)中是包含協(xié)方差矩陣的,利用最大似然函數(shù),對其進行估計。

收縮協(xié)方差

在矩陣的求逆過程中, 最大似然估計不是協(xié)方差矩陣的特征值的一個很好的估計, 所以從反演得到的精度矩陣是不準確的。 有時,甚至出現(xiàn)因矩陣元素地特性,經(jīng)驗協(xié)方差矩陣不能求逆。 為了避免這樣的反演問題,引入了經(jīng)驗協(xié)方差矩陣的一種變換方式,收縮協(xié)方差。

協(xié)方差矩陣——PCA實現(xiàn)的關(guān)鍵

PCA的本質(zhì)其實就是對角化協(xié)方差矩陣。PCA的目的就是“降噪”和“去冗余”?!敖翟搿钡哪康木褪鞘贡A粝聛淼木S度間的相關(guān)性盡可能小,而“去冗余”的目的就是使保留下來的維度含有的“能量”即方差盡可能大。那首先的首先,我們得需要知道各維度間的相關(guān)性以及個維度上的方差??!那有什么數(shù)據(jù)結(jié)構(gòu)能同時表現(xiàn)不同維度間的相關(guān)性以及各個維度上的方差呢?自然是非協(xié)方差矩陣莫屬。協(xié)方差矩陣度量的是維度與維度之間的關(guān)系,而非樣本與樣本之間。協(xié)方差矩陣的主對角線上的元素是各個維度上的方差(即能量),其他元素是兩兩維度間的協(xié)方差(即相關(guān)性)。我們需要的東西,協(xié)方差矩陣都有了。

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進行初始化 // 參數(shù)1:配置參數(shù) // 參數(shù)2:回調(diào),回調(diào)的第一個參數(shù)驗證碼對象,之后可以使用它調(diào)用相應的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須,不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式,包括:float,popup width: "280px", https: true // 更多配置參數(shù)說明請參見:http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'!'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'!'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }