99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁大數(shù)據(jù)時代離群值的判斷與處理_數(shù)據(jù)分析
離群值的判斷與處理_數(shù)據(jù)分析
2017-03-13
收藏

離群值的判斷與處理

我們在數(shù)據(jù)分析的時候，經(jīng)常會碰到某些數(shù)據(jù)遠遠大于或小于其他數(shù)據(jù)，這些明顯偏離的數(shù)據(jù)就是離群值，也叫奇異值、極端值。

離群值產(chǎn)生的原因大致有兩點：

1.總體固有變異的極端表現(xiàn)，這是真實而正常的數(shù)據(jù)，只是在這次實驗中表現(xiàn)的有些極端，這類離群值與其余觀測值屬于同一總體。

2.由于試驗條件和實驗方法的偶然性，或觀測、記錄、計算時的失誤所產(chǎn)生的結(jié)果，是一種非正常的、錯誤的數(shù)據(jù)，這些數(shù)據(jù)與其余觀測值不屬于同一總體。

由于數(shù)據(jù)的分布不同，判斷離群值的方法也有所差別，在此只介紹國標(biāo)GB/T4883-2008對于正態(tài)分布情況下的離群值判斷方法，其他分布情況下，我還沒有找到相關(guān)資料。

對于離群值，國標(biāo)也有一些概念定義：

1.檢出水平
為檢驗出離群值而指定的統(tǒng)計檢驗的顯著性水平，和大多數(shù)檢驗一樣，α一般為0.05

2.剔除水平
為檢驗出離群值是否為高度離群值而指定的統(tǒng)計檢驗的顯著性水平，剔除水平α*不應(yīng)超過檢出水平α，通常為0.01，個人認(rèn)為這個剔除水平就是判斷該離群值是否需要實際剔除，也就是說該離群值有可能是第二類原因產(chǎn)生的非正常樣本數(shù)據(jù)。

3.統(tǒng)計離群值
在剔除水平下統(tǒng)計檢驗為顯著的離群值

4.歧離值
在檢出水平下顯著，而在剔除水平下不顯著的離群值。
================================================

正態(tài)分布情況下的離群值判斷方法，大致可分為兩類：可以檢驗剔除水平和不可檢驗剔除水平

一、可檢驗剔除水平

1.總體標(biāo)準(zhǔn)差已知時，奈爾檢驗法

對樣本數(shù)據(jù)按從小到大順序排序，
如懷疑最大值X(n)為最大值，則計算統(tǒng)計量Rn


確定檢出水平α，查奈爾系數(shù)表（見國標(biāo)GB/T4883-2008），得出臨界值

當(dāng)Rn>R1-α(n)時，判定X(n)為離群值，否則不能判定

確定剔除水平α*，查奈爾系數(shù)表（見國標(biāo)GB/T4883-2008），得出臨界值

當(dāng)Rn>R1-α*(n)時，判定X(n)為統(tǒng)計離群值，否則不能判定

如懷疑最小值X(1)為最大值，則計算統(tǒng)計量Rn'

確定檢出水平α，查奈爾系數(shù)表（見國標(biāo)GB/T4883-2008），得出臨界值
當(dāng)Rn'>R1-α(n)時，判定X(1)為離群值，否則不能判定
確定剔除水平α*，查奈爾系數(shù)表（見國標(biāo)GB/T4883-2008），得出臨界值
當(dāng)Rn'>R1-α*(n)時，判定X(1)為統(tǒng)計離群值，否則不能判定

2.總體標(biāo)準(zhǔn)差未知時，格拉布斯檢驗法

對樣本數(shù)據(jù)按從小到大順序排序，然后計算樣本均值和樣本標(biāo)準(zhǔn)差s


如懷疑最大值X(n)為最大值，計算統(tǒng)計量Gn

確定檢出水平α，查出格拉布斯系數(shù)表（見國標(biāo)GB/T4883-2008），得出臨界值
當(dāng)Gn>G1-α(n)時，判定X(n)為離群值，否則不能判定
確定剔除水平α*，查出格拉布斯系數(shù)表（見國標(biāo)GB/T4883-2008），得出臨界值
當(dāng)Gn>G1-α*(n)時，判定X(n)為統(tǒng)計離群值，否則不能判定

如懷疑最小值X(1)為最大值，則計算統(tǒng)計量Gn'

確定檢出水平α，查出格拉布斯系數(shù)表（見國標(biāo)GB/T4883-2008），得出臨界值
當(dāng)Gn'>G1-α(n)時，判定X(1)為離群值，否則不能判定
確定剔除水平α*，查出格拉布斯系數(shù)表（見國標(biāo)GB/T4883-2008），得出臨界值
當(dāng)Gn'>G1-α*(n)時，判定X(1)為統(tǒng)計離群值，否則不能判定

3.總體標(biāo)準(zhǔn)差未知時，狄克遜(Dixon)檢驗法

對樣本數(shù)據(jù)按從小到大順序排序

樣本量n在3-30時

計算統(tǒng)計量


樣本量n在30-100時
計算統(tǒng)計量



確定檢出水平α，查狄克遜系數(shù)表（見國標(biāo)GB/T4883-2008），得出臨界值
當(dāng)Dn>D1-α(n)時，判定高端值X(n)為離群值，否則不能判定
當(dāng)Dn'>D1-α*(n)時，判定低端值X(1)為離群值，否則不能判定

4.總體標(biāo)準(zhǔn)差未知時，偏度-峰度檢驗法

我們知道峰度和偏度是判斷數(shù)據(jù)是否為正態(tài)分布的指標(biāo)，而離群值則明顯偏離樣本主體，因此我們也可以使用偏度-峰度檢驗法來判斷離群值

單側(cè)情形——偏度檢驗法

當(dāng)離群值處于高端或低端一側(cè)時，可使用偏度檢驗法判斷，首先構(gòu)造偏度統(tǒng)計量bs

確定檢出水平α，查偏度檢驗系數(shù)表（見國標(biāo)GB/T4883-2008），得出臨界值
當(dāng)bs>b1-α(n)時，判定高端值X(n)為離群值，否則不能判定
當(dāng)bs'>b1-α(n)時，判定低端值X(1)為離群值，否則不能判定

確定剔除水平α*，查偏度系數(shù)表（見國標(biāo)GB/T4883-2008），得出臨界值
當(dāng)bs>b1-α*(n)時，判定高端值X(n)為統(tǒng)計離群值，否則不能判定
當(dāng)bs'>b1-α*(n)時，判定低端值X(1)為統(tǒng)計離群值，否則不能判定

雙側(cè)情形——峰度檢驗法

當(dāng)高端、低端兩側(cè)都可能出現(xiàn)離群值時，可使用峰度檢驗法判斷，首先構(gòu)造峰度統(tǒng)計量bk

確定檢出水平α，查峰度檢驗系數(shù)表（見國標(biāo)GB/T4883-2008），得出臨界值
當(dāng)bk>b'1-α(n)時，判定離均值最遠的觀測值為離群值，否則判定未發(fā)現(xiàn)離群值

確定剔除水平α*，查峰度系數(shù)表（見國標(biāo)GB/T4883-2008），得出臨界值
當(dāng)bk>b'1-α*(n)時，判定離均值最遠的觀測值為統(tǒng)計離群值，否則未發(fā)現(xiàn)統(tǒng)計離群值。

二、不可檢驗剔除水平

1.觀察法

根據(jù)直方圖或四分位圖進行判斷，現(xiàn)在很多統(tǒng)計軟件在繪制這兩種圖時，都會將離群值特殊標(biāo)記，一般認(rèn)為在均值±3倍標(biāo)準(zhǔn)差以外都屬于離群值，高出四分位距兩倍以上也屬于離群值。

2.萊伊達法

又稱為3σ準(zhǔn)則，在已知總體標(biāo)準(zhǔn)差的情況下使用σ進行判斷，但是實際上總體標(biāo)準(zhǔn)差往往未知，因此常使用樣本標(biāo)準(zhǔn)差s替代σ，以樣本均值替代真值，具體為

Xd是疑似離群值，X為均值

如果疑似離群值與均值的差值大于三倍標(biāo)準(zhǔn)差，則可認(rèn)為該值為離群值。

3.肖維特法

統(tǒng)計量

如果計算出的ω值大于肖維特系數(shù)表中相應(yīng)測定次數(shù)n時的值，則可認(rèn)為該值為異常值

3.羅曼諾夫斯基檢驗法

又稱t檢驗，首先將疑似離群值剔除，然后計算剔除后的均值和標(biāo)準(zhǔn)差

根據(jù)測量次數(shù)n和顯著性水平α，進行t檢驗，得出系數(shù)k，如果

則認(rèn)為xj為離群值

4.4d檢驗法




5.中位數(shù)與算數(shù)平均值比較判斷法

我們知道中位數(shù)居于一組數(shù)據(jù)中間的數(shù)，而均值則可認(rèn)為是一組數(shù)字的“重心”或“平衡點”，當(dāng)二者相等的時候，可認(rèn)為這組數(shù)字是絕對平衡、沒有離群值的，我們可以據(jù)此進行判斷，當(dāng)二者相差較大時，表面該組數(shù)據(jù)可能存在離群值，將疑似離群值剔除之后，再計算均值和中位數(shù)，如果二者相差變小，則可認(rèn)為被剔除值是離群值。

======================================

數(shù)據(jù)分析師們：判斷離群值方法的選擇與應(yīng)注意的問題

1.合理選擇離群值的判斷方法

離群值的判斷方法很多，實際中到底選用哪一個，需根據(jù)對測量要求的精準(zhǔn)度和測量次數(shù)多少來綜合確定，一般情況下，測量次數(shù)多于30，或大于10次且只做粗略判斷時，使用萊伊達法即可；判斷精度要求不高，但要求快捷方便時，可以選用4d和中位數(shù)與算數(shù)平均數(shù)比較法。實際上，對于不用查表的方法大都比較便捷，但是代價是精度不夠，且無法檢驗剔除水平，相反一些需要借助查表的方法精度較高但是計算復(fù)雜，各有利弊。

2.準(zhǔn)確找出離群值

一般情況下，測量列中殘差較大者就是疑似離群值，它也就是樣本數(shù)據(jù)中的最大值或最小值
3.查找產(chǎn)生離群值的原因

已經(jīng)判斷為離群值的，即使是統(tǒng)計離群值，也不要簡單剔除了之，應(yīng)進一步分析產(chǎn)生離群值的原因。

推薦學(xué)習(xí)書籍
《CDA一級教材》適合CDA一級考生備考，也適合業(yè)務(wù)及數(shù)據(jù)分析崗位的從業(yè)者提升自我。完整電子版已上線CDA網(wǎng)校，累計已有10萬+在讀~

免費加入閱讀：https://edu.cda.cn/goods/show/3151?targetId=5147&preview=0

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個參數(shù)驗證碼對象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務(wù)器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }