在python數(shù)據(jù)清洗過程中，我們經(jīng)常會遇到一些偏離正常范圍的數(shù)據(jù)，例如人的體重為56噸，這些數(shù)據(jù)叫做異常值，如果不做異常值處理，會對我們最終的數(shù)據(jù)分析造成影響。小編今天給大家?guī)砹艘环N很實(shí)用的異常值處理方法—3σ原則，希望對大家有所幫助。
一、哪些數(shù)據(jù)是異常值
異常值，指的是數(shù)據(jù)集中存在不合理的值，又叫做離群點(diǎn)。異常值處理就是要將這些離群點(diǎn)找出來，然后進(jìn)行分析，并確定如何處理，采用何種方式處理。
二、異常值出現(xiàn)原因
1.傳感器故障
2.數(shù)據(jù)錄入錯誤
3.異常事件
三、3σ原則異常值處理
1.正態(tài)分布
數(shù)據(jù)服從正態(tài)分布。正態(tài)分布，又叫做高斯分布。特征為中間高兩邊低左右對稱。
正態(tài)分布特性：
1)集中性：曲線的最高峰位于正中央，并且位置為均數(shù)所在的位置。
2)對稱性：以均數(shù)所在的位置為中心呈左右對稱，并且曲線兩段無限趨近于橫軸。
3)均勻變動性：正態(tài)分布曲線以均數(shù)所在的位置為中心均勻向左右兩側(cè)下降。
正態(tài)分布函數(shù)公式如下：
2.3σ原則
3σ原則是建立在正態(tài)分布的等精度重復(fù)測量基礎(chǔ)上而造成奇異數(shù)據(jù)的干擾或噪聲難以滿足正態(tài)分布。如果一組測量數(shù)據(jù)中的某個測量值的殘余誤差的絕對值 νi>3σ,則該測量值為壞值,應(yīng)剔除.通常把等于 ±3σ的誤差作為極限誤差,對于正態(tài)分布的隨機(jī)誤差,落在 ±3σ以外的概率只有 0.27%,它在有限次測量中發(fā)生的可能性很小,故存在3σ準(zhǔn)則.3σ準(zhǔn)則是最常用也是最簡單的粗大誤差判別準(zhǔn)則,它一般應(yīng)用于測量次數(shù)充分多( n ≥30)或當(dāng) n>10做粗略判別時的情況.
σ代表標(biāo)準(zhǔn)差,μ代表均值
樣本數(shù)據(jù)服從正態(tài)分布的情況下
數(shù)值分布在(μ-σ,μ+σ)中的概率為0.6826
數(shù)值分布在(μ-2σ,μ+2σ)中的概率為0.9544
數(shù)值分布在(μ-3σ,μ+3σ)中的概率為0.9974
可以認(rèn)為，Y 的取值幾乎全部集中在（μ-3σ,μ+3σ)區(qū)間內(nèi)，超出這個范圍的可能性僅占不到0.3%。
3.python實(shí)現(xiàn)
#用numpy隨機(jī)生成100個服從正態(tài)分布的隨機(jī)數(shù)
num=np.random.randn(100)
#隨機(jī)插入兩個異常值進(jìn)去，此時num.shape[0]==102
np.apend(num,[10,20])
#設(shè)定法則的左右邊界
left=num.mean()-3*num.std()
right=num.mean()+3*num.std()
#獲取在范圍內(nèi)的數(shù)據(jù)
new_num=num[(left異常值<="" pre="">
推薦學(xué)習(xí)書籍
《CDA一級教材》適合CDA一級考生備考，也適合業(yè)務(wù)及數(shù)據(jù)分析崗位的從業(yè)者提升自我。完整電子版已上線CDA網(wǎng)校，累計(jì)已有10萬+在讀~
免費(fèi)加入閱讀：https://edu.cda.cn/goods/show/3151?targetId=5147&preview=0
CDA數(shù)據(jù)分析師考試相關(guān)入口一覽（建議收藏）：
? 想報(bào)名CDA認(rèn)證考試，點(diǎn)擊>>>
“CDA報(bào)名”
了解CDA考試詳情；
? 想學(xué)習(xí)CDA考試教材，點(diǎn)擊>>> “CDA教材” 了解CDA考試詳情；
? 想加入CDA考試題庫，點(diǎn)擊>>> “CDA題庫” 了解CDA考試詳情；
? 想了解CDA考試含金量，點(diǎn)擊>>> “CDA含金量” 了解CDA考試詳情；
京公網(wǎng)安備 11010802034615號
經(jīng)營許可證編號：京B2-20210330