作者 | 劉順祥

來(lái)源 | 數(shù)據(jù)分析1480

數(shù)據(jù)分析過(guò)程中最頭疼也是工作量最大的部分算是探索和清洗了——探索的目的是了解數(shù)據(jù)，了解數(shù)據(jù)背后隱藏的規(guī)律；洗的目的則是為了讓干凈的數(shù)據(jù)進(jìn)入分析或建模的下一個(gè)環(huán)節(jié)。小編將通過(guò)三篇文章，詳細(xì)講解工作中常規(guī)的數(shù)據(jù)清洗方法，包括數(shù)據(jù)類型的轉(zhuǎn)換，重復(fù)數(shù)據(jù)的處理，缺失值的處理以及異常數(shù)據(jù)的識(shí)別和處理。這是Python數(shù)據(jù)清洗系列的第一篇文章，主要分享的內(nèi)容包括——數(shù)據(jù)類型的轉(zhuǎn)換and冗余數(shù)據(jù)的識(shí)別和處理.

數(shù)據(jù)類型的判斷和轉(zhuǎn)換

如下表所示，為某公司用戶的個(gè)人信息和交易數(shù)據(jù)，涉及的字段為用戶id、性別、年齡、受教育水平、交易金額和交易日期。從表面上看，似乎沒(méi)有看出數(shù)據(jù)背后可能存在的問(wèn)題，那接下來(lái)就將其讀入到Python中，并通過(guò)探索的方式發(fā)現(xiàn)數(shù)據(jù)中的問(wèn)題。

讀取數(shù)據(jù)，以及查看數(shù)據(jù)規(guī)模、查看數(shù)據(jù)中各變量的數(shù)據(jù)類型的代碼如下：

# 導(dǎo)入第三方包
import pandas as pd

# 讀入外部數(shù)據(jù)
data3 = pd.read_excel(io=r'C:\Users\Administrator\Desktop\datas\data3.xlsx')
# 查看數(shù)據(jù)的規(guī)模
data3.shape
out:
(3000, 6)

# 查看表中各變量的數(shù)據(jù)類型
# data3.dtypes
out:

表中各變量的數(shù)據(jù)類型如表下表所示：

上述代碼利用shape“方法”返回了數(shù)據(jù)集的規(guī)模，即該數(shù)據(jù)包含3000行6列；通過(guò)dtypes“方法”則返回了數(shù)據(jù)集中各變量的數(shù)據(jù)類型——除id變量和age變量為數(shù)值型，其余變量均為字符型。直觀上能夠感受到一點(diǎn)問(wèn)題，即數(shù)據(jù)類型不對(duì)，例如用戶id應(yīng)該為字符型，消費(fèi)金額custom_amt為數(shù)值型，訂單日期為日期型。如果發(fā)現(xiàn)數(shù)據(jù)類型不對(duì)，如何借助于Python工具實(shí)現(xiàn)數(shù)據(jù)類型的轉(zhuǎn)換呢？可參照如下代碼的實(shí)現(xiàn)。

# 數(shù)值型轉(zhuǎn)字符型
data3['id'] = data3['id'].astype(str)
# 字符型轉(zhuǎn)數(shù)值型
data3['custom_amt'] = data3['custom_amt'].str[1:].astype(float)
# 字符型轉(zhuǎn)日期型
data3['order_date'] = pd.to_datetime(data3['order_date'], format = '%Y年%m月%d日')

# 重新查看數(shù)據(jù)集的各變量類型
data3.dtypes
out:

這些數(shù)據(jù)經(jīng)過(guò)處理后，各個(gè)字段的數(shù)據(jù)類型如下表所示：

如上結(jié)果所示，三個(gè)變量全都轉(zhuǎn)換成了各自所期望的數(shù)據(jù)類型。astype“方法”用于數(shù)據(jù)類型的強(qiáng)制轉(zhuǎn)換，可選擇的常用轉(zhuǎn)換類型包括str（表示字符型）、float（表示浮點(diǎn)型）和int（表示整型）。由于消費(fèi)金額custom_amt變量中的值包含人民幣符號(hào)“￥”，所以在數(shù)據(jù)類型轉(zhuǎn)換之前必須將其刪除（通過(guò)字符串的切片方法刪除，[1:]表示從字符串的第二個(gè)元素開始截?cái)?/span>）。對(duì)于字符轉(zhuǎn)日期問(wèn)題，推薦使用更加靈活的to_datetime函數(shù)，因?yàn)樗趂ormat參數(shù)的調(diào)節(jié)下，可以識(shí)別任意格式的字符型日期值。

需要注意的是，Python中的函數(shù)有兩種表現(xiàn)形式，一種是常規(guī)理解下的函數(shù)（語(yǔ)法為func(parameters)，如to_datetime函數(shù)），另一種則是“方法”（語(yǔ)法為obj.func(parameters)，如dtypes和astype“方法”）。兩者的區(qū)別在于 “方法”是針對(duì)特定對(duì)象的函數(shù)（即該“方法”只能用在某個(gè)固定類型的對(duì)象上），而函數(shù)并沒(méi)有這方面的限制。

基于如上類型的轉(zhuǎn)換結(jié)果，最后瀏覽一下數(shù)據(jù)的展現(xiàn)形式：

# 預(yù)覽數(shù)據(jù)的前5行
data3.head()

冗余數(shù)據(jù)的判斷和處理

如上過(guò)程是對(duì)數(shù)據(jù)中各變量類型的判斷和轉(zhuǎn)換，除此還需要監(jiān)控表中是否存在“臟”數(shù)據(jù)，如冗余的重復(fù)觀測(cè)和缺失值等。可以通過(guò)duplicated“方法”進(jìn)行 “臟”數(shù)據(jù)的識(shí)別和處理。仍然對(duì)上邊的data3數(shù)據(jù)為例進(jìn)行操作，具體代碼如下所示。

# 判斷數(shù)據(jù)中是否存在重復(fù)觀測(cè)
data3.duplicated().any()

out:
False

如上結(jié)果返回的是False，說(shuō)明該數(shù)據(jù)集中并不存在重復(fù)觀測(cè)。假如讀者利用如上的代碼在數(shù)據(jù)集中發(fā)現(xiàn)了重復(fù)觀測(cè)，可以使用drop_duplicates“方法”將冗余信息刪除。

需要說(shuō)明的是，在使用duplicated“方法”對(duì)數(shù)據(jù)行作重復(fù)性判斷時(shí)，會(huì)返回一個(gè)與原數(shù)據(jù)行數(shù)相同的序列（如果數(shù)據(jù)行沒(méi)有重復(fù)，則對(duì)應(yīng)False，否則對(duì)應(yīng)True），為了得到最終的判斷結(jié)果，需要再使用any“方法”（即序列中只要存在一個(gè)True，則返回True）。

duplicated“方法”和drop_duplicates“方法”都有一個(gè)非常重要的參數(shù)，就是subset。默認(rèn)情況下不設(shè)置該參數(shù)時(shí)，表示對(duì)數(shù)據(jù)的所有列進(jìn)行重復(fù)性判斷；如果需要按指定的變量做數(shù)據(jù)的重復(fù)性判斷時(shí)，就可以使用該參數(shù)指定具體的變量列表。舉例如下：

# 構(gòu)造數(shù)據(jù)
df = pd.DataFrame(dict(name = ['張三','李四','王二','張三','趙五','丁一','王二'],
 gender = ['男','男','女','男','女','女','男'],
 age = [29,25,27,29,21,22,27],
 income = [15600,14000,18500,15600,10500,18000,13000],
 edu = ['本科','本科','碩士','本科','大專','本科','碩士']))
# 查看數(shù)據(jù)
df

目測(cè)有兩條數(shù)據(jù)完全一樣，就是用戶張三，如果直接使用drop_duplicates“方法”，而不做任何參數(shù)的修改時(shí)，將會(huì)刪除第二次出現(xiàn)的用戶張三。代碼如下：

# 默認(rèn)情況下，對(duì)數(shù)據(jù)的所有變量進(jìn)行判斷
df.drop_duplicates()

假設(shè)在數(shù)據(jù)清洗中，用戶的姓名和年齡相同就認(rèn)為是重復(fù)數(shù)據(jù)，那么該如何基于這兩個(gè)變量進(jìn)行重復(fù)值的刪除呢？此時(shí)就需要使用subset參數(shù)了，代碼如下：

df.drop_duplicates(subset=['name','age'])

需要注意的是，使用drop_duplicates“方法”刪除重復(fù)數(shù)據(jù)，并不能直接影響到原始數(shù)據(jù)，即原始數(shù)據(jù)中還是存在重復(fù)觀測(cè)的。如需使drop_duplicates“方法”的刪除功能作用在原始數(shù)據(jù)中，必須將inplace參數(shù)設(shè)置為True。

本期的內(nèi)容就介紹到這里，下一篇將分享缺失值的識(shí)別和處理技術(shù)。