用R語(yǔ)言做簡(jiǎn)單的數(shù)據(jù)清洗

昨天和學(xué)長(zhǎng)聊到下周要做的數(shù)據(jù)清洗工作，心想應(yīng)該很好上手吧，結(jié)果今早爬起來(lái)一問(wèn)度娘，立馬就被灌了整鍋的毒雞湯…某論壇上的網(wǎng)友甚至告訴小編，數(shù)據(jù)清洗占了他某項(xiàng)工作中的八成分量，是絕對(duì)的大工程…

額…好吧，盡管小編還是這方面的零基礎(chǔ)學(xué)員，鼓搗了一整天依然圖樣圖森破，但是在“還要多學(xué)習(xí)”的精神指引下，還是來(lái)跟大家分享一點(diǎn)學(xué)習(xí)中的收獲吧。

前方預(yù)警：大神請(qǐng)繞行~

在開(kāi)始今天的介紹之前，有幾點(diǎn)說(shuō)明：

1. 這次介紹的代碼主要針對(duì)重復(fù)值、缺失值和字符中的空格等情況的處理；

2. 由于篇幅限制，演示中導(dǎo)入csv格式文件作為數(shù)據(jù)來(lái)源；

3. 請(qǐng)?jiān)凇拔募辈藛沃邪裄軟件的“當(dāng)前工作目錄”改為導(dǎo)入文件所在目錄；

4. 本次使用的數(shù)據(jù)是世界銀行數(shù)據(jù)庫(kù)中的“國(guó)家政策和制度評(píng)估（CPIA）：公共部門管理和機(jī)構(gòu)集群平均值（1=低至 6=高）”數(shù)據(jù)；另外，為使清洗效果更明顯，我對(duì)其做了點(diǎn)“手腳”，讓其顯得“更亂”:

那么，這么“臟亂”的數(shù)據(jù)該咋“洗”呢？具體步驟如下：

1. 讀取并創(chuàng)建數(shù)據(jù)表?？梢酝ㄟ^(guò)查看數(shù)據(jù)表前5行看看是否讀?。?

#讀取并創(chuàng)建數(shù)據(jù)表

data=data.frame(read.csv('CPIA.csv',header =1))

#查看數(shù)據(jù)表前5行

head(data)

2. 清洗特定列的重復(fù)值。R語(yǔ)言的返回結(jié)果為：重復(fù)的標(biāo)記為TURE，不重復(fù)的值標(biāo)記為FALSE；下面以清洗“國(guó)家名稱”這一列的重復(fù)值為例，其他各列依次完成；

#重復(fù)值清洗

duplicated(data$Country.Name)

#刪除重復(fù)值，返回唯一值列表

data=unique(data)

#查看清洗結(jié)果

duplicated(data$Country.Name)

3. 空值清洗。

（1）如果查找數(shù)據(jù)表中的空值，則代碼為：

#查找數(shù)據(jù)表中的空值

head(is.na(data),n = 264)

需要注意的是，這里的264是數(shù)據(jù)容量，R語(yǔ)言的返回結(jié)果依然是空值標(biāo)記為TURE，非空值標(biāo)記為FALSE；

（2）如果查找特定列中的空值，則代碼如下（以2015年數(shù)據(jù)為例）：

#查看特定列中的空值

is.na(data$X2015)

（3）處理空值的方式有兩種，將空值填充為0或刪除空值所在行；

#將空值填充為0

data[is.na(data)] <- 0

#刪除空值所在行

data<-na.omit(data)

4. 去除特定列中字符間的空格。需要安裝并加載raster包，以“國(guó)家名稱”列為例；

#提取“國(guó)家名稱”列

Country.Name=as.vector(data$Country.Name)

#安裝raster包

install.packages('raster')

#加載raster包

library(raster)

#去除“國(guó)家名稱”字段中的空格

Country=trim(Country.Name)

#覆蓋原有“國(guó)家名稱”字段

data$Country.Name=Country

5. 另存為新文件，供后續(xù)分析；

#保存為csv文件

write.csv(data,file="CPIA1.csv")