
作者:張良均 譚立云 劉名軍 江建明
來源:大數(shù)據(jù)DT(ID:hzdashuju)
內(nèi)容摘編自《Python數(shù)據(jù)分析與挖掘?qū)崙?zhàn)》(第2版)
導(dǎo)讀:數(shù)據(jù)質(zhì)量分析是數(shù)據(jù)挖掘中數(shù)據(jù)準(zhǔn)備過程的重要一環(huán),是數(shù)據(jù)預(yù)處理的前提,也是數(shù)據(jù)挖掘分析結(jié)論有效性和準(zhǔn)確性的基礎(chǔ)。沒有可信的數(shù)據(jù),數(shù)據(jù)挖掘構(gòu)建的模型將是空中樓閣。
數(shù)據(jù)質(zhì)量分析的主要任務(wù)是檢查原始數(shù)據(jù)中是否存在臟數(shù)據(jù)。臟數(shù)據(jù)一般是指不符合要求以及不能直接進(jìn)行相應(yīng)分析的數(shù)據(jù)。在常見的數(shù)據(jù)挖掘工作中,臟數(shù)據(jù)包括:缺失值、異常值、不一致的值、重復(fù)數(shù)據(jù)及含有特殊符號(hào)(如#、¥、*)的數(shù)據(jù)。
本文將主要對(duì)數(shù)據(jù)中的缺失值、異常值和一致性進(jìn)行分析。
01 缺失值分析
數(shù)據(jù)的缺失主要包括記錄的缺失和記錄中某個(gè)字段信息的缺失,兩者都會(huì)造成分析結(jié)果不準(zhǔn)確。下面從缺失值產(chǎn)生的原因及影響等方面展開分析。
1. 缺失值產(chǎn)生的原因
缺失值產(chǎn)生的原因主要有以下3點(diǎn):
有些信息暫時(shí)無法獲取,或者獲取信息的代價(jià)太大。
有些信息是被遺漏的??赡苁且?yàn)檩斎霑r(shí)認(rèn)為該信息不重要、忘記填寫或?qū)?shù)據(jù)理解錯(cuò)誤等一些人為因素而遺漏,也可能是由于數(shù)據(jù)采集設(shè)備故障、存儲(chǔ)介質(zhì)故障、傳輸媒體故障等非人為原因而丟失。
屬性值不存在。在某些情況下,缺失值并不意味著數(shù)據(jù)有錯(cuò)誤。對(duì)一些對(duì)象來說某些屬性值是不存在的,如一個(gè)未婚者的配偶姓名、一個(gè)兒童的固定收入等。
2. 缺失值的影響
缺失值會(huì)產(chǎn)生以下的影響:
數(shù)據(jù)挖掘建模將丟失大量的有用信息。
數(shù)據(jù)挖掘模型所表現(xiàn)出的不確定性更加顯著,模型中蘊(yùn)含的規(guī)律更難把握。
包含空值的數(shù)據(jù)會(huì)使建模過程陷入混亂,導(dǎo)致不可靠的輸出。
3. 缺失值的分析
對(duì)缺失值的分析主要從以下兩方面進(jìn)行:
使用簡單的統(tǒng)計(jì)分析,可以得到含有缺失值的屬性的個(gè)數(shù)以及每個(gè)屬性的未缺失數(shù)、缺失數(shù)與缺失率等。
對(duì)于缺失值的處理,從總體上來說分為刪除存在缺失值的記錄、對(duì)可能值進(jìn)行插補(bǔ)和不處理3種情況。
02 異常值分析
異常值分析是檢驗(yàn)數(shù)據(jù)是否有錄入錯(cuò)誤,是否含有不合常理的數(shù)據(jù)。忽視異常值的存在是十分危險(xiǎn)的,不加剔除地將異常值放入數(shù)據(jù)的計(jì)算分析過程中,會(huì)對(duì)結(jié)果造成不良影響;重視異常值的出現(xiàn),分析其產(chǎn)生的原因,常常成為發(fā)現(xiàn)問題進(jìn)而改進(jìn)決策的契機(jī)。
異常值是指樣本中的個(gè)別值,其數(shù)值明顯偏離其他的觀測值。異常值也稱為離群點(diǎn),異常值分析也稱為離群點(diǎn)分析。
1. 簡單統(tǒng)計(jì)量分析
在進(jìn)行異常值分析時(shí),可以先對(duì)變量做一個(gè)描述性統(tǒng)計(jì),進(jìn)而查看哪些數(shù)據(jù)是不合理的。最常用的統(tǒng)計(jì)量是最大值和最小值,用來判斷這個(gè)變量的取值是否超出了合理范圍。如客戶年齡的最大值為199歲,則判斷該變量的取值存在異常。
2. 3σ原則
如果數(shù)據(jù)服從正態(tài)分布,在3σ原則下,異常值被定義為一組測定值中與平均值的偏差超過3倍標(biāo)準(zhǔn)差的值。在正態(tài)分布的假設(shè)下,距離平均值3σ之外的值出現(xiàn)的概率為P(|x-μ|>3σ)≤0.003.屬于極個(gè)別的小概率事件。
如果數(shù)據(jù)不服從正態(tài)分布,也可以用遠(yuǎn)離平均值的標(biāo)準(zhǔn)差倍數(shù)來描述。
3. 箱型圖分析
箱型圖提供了識(shí)別異常值的一個(gè)標(biāo)準(zhǔn):異常值通常被定義為小于QL -1.5IQR或大于QU +1.5IQR的值。
QL稱為下四分位數(shù),表示全部觀察值中有四分之一的數(shù)據(jù)取值比它小;
QU稱為上四分位數(shù),表示全部觀察值中有四分之一的數(shù)據(jù)取值比它大;
IQR稱為四分位數(shù)間距,是上四分位數(shù)QU與下四分位數(shù)QL之差,其間包含了全部觀察值的一半。
箱型圖依據(jù)實(shí)際數(shù)據(jù)繪制,對(duì)數(shù)據(jù)沒有任何限制性要求,如服從某種特定的分布形式,它只是真實(shí)直觀地表現(xiàn)數(shù)據(jù)分布的本來面貌;另一方面,箱型圖判斷異常值的標(biāo)準(zhǔn)以四分位數(shù)和四分位距為基礎(chǔ),四分位數(shù)具有一定的魯棒性:多達(dá)25%的數(shù)據(jù)可以變得任意遠(yuǎn)而不會(huì)嚴(yán)重?cái)_動(dòng)四分位數(shù),所以異常值不能對(duì)這個(gè)標(biāo)準(zhǔn)施加影響。
由此可見,箱型圖識(shí)別異常值的結(jié)果比較客觀,在識(shí)別異常值方面有一定的優(yōu)越性,如圖3-1所示。
▲圖3-1 箱型圖檢測異常值
餐飲系統(tǒng)中的銷量數(shù)據(jù)可能出現(xiàn)缺失值和異常值,例如表3-1中數(shù)據(jù)所示。
▲表3-1 餐飲日銷額數(shù)據(jù)示例
分析餐飲系統(tǒng)日銷額數(shù)據(jù)可以發(fā)現(xiàn),其中有部分?jǐn)?shù)據(jù)是缺失的,但是如果數(shù)據(jù)記錄和屬性較多,使用人工分辨的方法就不切實(shí)際,所以這里需要編寫程序來檢測出含有缺失值的記錄和屬性以及缺失率個(gè)數(shù)和缺失率等。
在Python的pandas庫中,只需要讀入數(shù)據(jù),然后使用describe()方法即可查看數(shù)據(jù)的基本情況,如代碼清單3-1所示。
代碼清單3-1 使用describe()方法查看數(shù)據(jù)的基本情況
import pandas as pd
catering_sale = '../data/catering_sale.xls' # 餐飲數(shù)據(jù)
data = pd.read_excel(catering_sale, index_col='日期')
# 讀取數(shù)據(jù),指定“日期”列為索引列
print(data.describe())
代碼清單3-1的運(yùn)行結(jié)果如下:
本文摘編自《Python數(shù)據(jù)分析與挖掘?qū)崙?zhàn)》(第2版) 銷量
count 200.000000
mean 2755.214700
std 751.029772
min 22.000000
25% 2451.975000
50% 2655.850000
75% 3026.125000
max 9106.440000
其中count是非空值數(shù),通過len(data)可以知道數(shù)據(jù)記錄為201條,因此缺失值數(shù)為1.另外,提供的基本參數(shù)還有平均值(mean)、標(biāo)準(zhǔn)差(std)、最小值(min)、最大值(max)以及1/4、1/2、3/4分位數(shù)(25%、50%、75%)。
更直觀地展示這些數(shù)據(jù)并且可以檢測異常值的方法是使用箱型圖。其Python檢測代碼如代碼清單3-2所示。
代碼清單3-2 餐飲日銷額數(shù)據(jù)異常值檢測
import matplotlib.pyplot as plt# 導(dǎo)入圖像庫
plt.rcParams['font.sans-serif'] = ['SimHei']# 用來正常顯示中文標(biāo)簽
plt.rcParams['axes.unicode_minus'] = False # 用來正常顯示負(fù)號(hào)
plt.figure() # 建立圖像
p = data.boxplot(return_type='dict') # 畫箱型圖,直接使用DataFrame的方法
x = p['fliers'][0].get_xdata() # 'flies'即為異常值的標(biāo)簽
y = p['fliers'][0].get_ydata()
y.sort() # 從小到大排序,該方法直接改變原對(duì)象
'''
用annotate添加注釋
其中有些相近的點(diǎn),注釋會(huì)出現(xiàn)重疊,難以看清,需要一些技巧來控制
以下參數(shù)都是經(jīng)過調(diào)試的,需要具體問題具體調(diào)試
'''
for i in range(len(x)):
if i>0:
plt.annotate(y[i], xy=(x[i],y[i]), xytext=(x[i]+0.05 -0.8/(y[i]-y[i-1]), y[i]))
else:
plt.annotate(y[i], xy=(x[i],y[i]), xytext=(x[i]+0.08.y[i]))
plt.show() # 展示箱型圖
運(yùn)行代碼清單3-2.可以得到圖3-2所示的箱型圖。
▲圖3-2 異常值檢測箱型圖
從圖3-2可以看出,箱型圖中超過上下界的7個(gè)日銷售額數(shù)據(jù)可能為異常值。結(jié)合具體業(yè)務(wù)可以把865.0、4060.3、4065.2歸為正常值,將22.0、51.0、60.0、6607.4、9106.44歸為異常值。最后確定過濾規(guī)則為日銷額在400元以下或5000元以上則屬于異常數(shù)據(jù),編寫過濾程序,進(jìn)行后續(xù)處理。
03 一致性分析
數(shù)據(jù)不一致性是指數(shù)據(jù)的矛盾性、不相容性。直接對(duì)不一致的數(shù)據(jù)進(jìn)行挖掘,可能會(huì)產(chǎn)生與實(shí)際相違背的挖掘結(jié)果。
在數(shù)據(jù)挖掘過程中,不一致數(shù)據(jù)的產(chǎn)生主要發(fā)生在數(shù)據(jù)集成的過程中,可能是由于被挖掘數(shù)據(jù)來自于不同的數(shù)據(jù)源、對(duì)于重復(fù)存放的數(shù)據(jù)未能進(jìn)行一致性更新造成的。
例如,兩張表中都存儲(chǔ)了用戶的電話號(hào)碼,但在用戶的電話號(hào)碼發(fā)生改變時(shí)只更新了一張表中的數(shù)據(jù),那么這兩張表中就有了不一致的數(shù)據(jù)。
本文摘編自《Python數(shù)據(jù)分析與挖掘?qū)崙?zhàn)》(第2版),經(jīng)出版方授權(quán)發(fā)布。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03