在python數(shù)據(jù)清洗過程中，我們經(jīng)常會遇到一些偏離正常范圍的數(shù)據(jù)，例如人的體重為56噸，這些數(shù)據(jù)叫做異常值，如果不做異常值處理，會對我們最終的數(shù)據(jù)分析造成影響。小編今天給大家?guī)砹艘环N很實用的異常值處理方法—3σ原則，希望對大家有所幫助。
一、哪些數(shù)據(jù)是異常值
異常值，指的是數(shù)據(jù)集中存在不合理的值，又叫做離群點。異常值處理就是要將這些離群點找出來，然后進行分析，并確定如何處理，采用何種方式處理。
二、異常值出現(xiàn)原因
1.傳感器故障
2.數(shù)據(jù)錄入錯誤
3.異常事件
三、3σ原則異常值處理
1.正態(tài)分布
數(shù)據(jù)服從正態(tài)分布。正態(tài)分布，又叫做高斯分布。特征為中間高兩邊低左右對稱。
正態(tài)分布特性：
1)集中性：曲線的最高峰位于正中央，并且位置為均數(shù)所在的位置。
2)對稱性：以均數(shù)所在的位置為中心呈左右對稱，并且曲線兩段無限趨近于橫軸。
3)均勻變動性：正態(tài)分布曲線以均數(shù)所在的位置為中心均勻向左右兩側下降。
正態(tài)分布函數(shù)公式如下：
2.3σ原則
3σ原則是建立在正態(tài)分布的等精度重復測量基礎上而造成奇異數(shù)據(jù)的干擾或噪聲難以滿足正態(tài)分布。如果一組測量數(shù)據(jù)中的某個測量值的殘余誤差的絕對值 νi>3σ,則該測量值為壞值,應剔除.通常把等于 ±3σ的誤差作為極限誤差,對于正態(tài)分布的隨機誤差,落在 ±3σ以外的概率只有 0.27%,它在有限次測量中發(fā)生的可能性很小,故存在3σ準則.3σ準則是最常用也是最簡單的粗大誤差判別準則,它一般應用于測量次數(shù)充分多( n ≥30)或當 n>10做粗略判別時的情況.
σ代表標準差,μ代表均值
樣本數(shù)據(jù)服從正態(tài)分布的情況下
數(shù)值分布在(μ-σ,μ+σ)中的概率為0.6826
數(shù)值分布在(μ-2σ,μ+2σ)中的概率為0.9544
數(shù)值分布在(μ-3σ,μ+3σ)中的概率為0.9974
可以認為，Y 的取值幾乎全部集中在（μ-3σ,μ+3σ)區(qū)間內(nèi)，超出這個范圍的可能性僅占不到0.3%。
3.python實現(xiàn)
#用numpy隨機生成100個服從正態(tài)分布的隨機數(shù)
num=np.random.randn(100)
#隨機插入兩個異常值進去，此時num.shape[0]==102
np.apend(num,[10,20])
#設定法則的左右邊界
left=num.mean()-3*num.std()
right=num.mean()+3*num.std()
#獲取在范圍內(nèi)的數(shù)據(jù)
new_num=num[(left異常值<="" pre="">
推薦學習書籍
《CDA一級教材》適合CDA一級考生備考，也適合業(yè)務及數(shù)據(jù)分析崗位的從業(yè)者提升自我。完整電子版已上線CDA網(wǎng)校，累計已有10萬+在讀~
免費加入閱讀：https://edu.cda.cn/goods/show/3151?targetId=5147&preview=0
CDA數(shù)據(jù)分析師考試相關入口一覽（建議收藏）：
? 想報名CDA認證考試，點擊>>>
“CDA報名”
了解CDA考試詳情；
? 想學習CDA考試教材，點擊>>> “CDA教材” 了解CDA考試詳情；
? 想加入CDA考試題庫，點擊>>> “CDA題庫” 了解CDA考試詳情；
? 想了解CDA考試含金量，點擊>>> “CDA含金量” 了解CDA考試詳情；
京公網(wǎng)安備 11010802034615號
經(jīng)營許可證編號：京B2-20210330