使用R語言進行數(shù)據(jù)清洗

數(shù)據(jù)清洗是整個數(shù)據(jù)分析過程中一個非常重要的環(huán)節(jié)。數(shù)據(jù)清洗的目的有兩個，第一是通過清洗讓數(shù)據(jù)可用。第二是讓數(shù)據(jù)變的更適合進行后續(xù)的分析工作。本篇文章將介紹幾種簡單的使用R進行數(shù)據(jù)清洗的方法。
讀取并創(chuàng)建數(shù)據(jù)表
首先將數(shù)據(jù)讀取到R中，并創(chuàng)建名為loan的數(shù)據(jù)表。后面我們將對這個數(shù)據(jù)表進行清洗。
#讀取并創(chuàng)建數(shù)據(jù)表
loan=data.frame(read.csv('loan.csv',header = 1))
使用head函數(shù)查看數(shù)據(jù)表的前5行。
#查看數(shù)據(jù)表前5行
head(loan)

數(shù)據(jù)清洗
重復(fù)值
使用duplicated函數(shù)查看數(shù)據(jù)表中的用戶ID列是否存在重復(fù)值，duplicated函數(shù)返回該字段每一行的檢查結(jié)果，重復(fù)的標(biāo)記為TURE，不重復(fù)的值標(biāo)記為FALSE。在下面的結(jié)果中可以看到數(shù)據(jù)表的用戶ID列最后四個值為重復(fù)值。
#查看特定列是否有重復(fù)
duplicated(loan$member_id)
[1] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
[23] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE TRUE TRUE TRUE TRUE
對于包含重復(fù)值的數(shù)據(jù)表，可以使用unique函數(shù)提取數(shù)據(jù)表中的唯一值，并用唯一值覆蓋原有數(shù)據(jù)，達(dá)到去除重復(fù)值的目的。下面的代碼提取了loan數(shù)據(jù)表中的唯一值，并重新賦給loan數(shù)據(jù)表。此時loan數(shù)據(jù)表中就不包含重復(fù)值了。
#刪除重復(fù)值，返回唯一值列表
loan=unique(loan)
去除完重復(fù)值后，再次使用duplicated函數(shù)查看，返回的結(jié)果中都為FALSE，已經(jīng)沒有重復(fù)值了。
#查看重復(fù)值
duplicated(loan$member_id)
[1] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
[23] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
查找空值
使用is.na函數(shù)查看數(shù)據(jù)表中的空值，和重復(fù)值一樣，空值在結(jié)果中顯示為TURE，非空值顯示為FALSE。下面是對loan數(shù)據(jù)表檢查空值的代碼和結(jié)果。
#查找數(shù)據(jù)表中的空值
head(is.na(loan),n = 10)

除了對數(shù)據(jù)表查看空值以外，還可以對表中特定的列檢查空值，在is.na函數(shù)中輸入表和列的名稱，就會看到該列中空值的情況，TRUE為空值，F(xiàn)ALSE為非空值。
#查看特定列中的空值
is.na(loan$loan_amnt)
[1] FALSE FALSE FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
[23] TRUE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
填充空值
對于數(shù)據(jù)表中的空值，有兩種處理方法，第一種是用0進行填充，第二種是刪除包含空值的行。下面是第一種方法，將loan表中的空值填充為0.
#將空值填充為0
loan[is.na(loan)] <- 0
&#91;/code]
第二種方法使用 刪除loan表中包含有空值的行。
&#91;code lang="r"]
#刪除空值所在行
loan<-na.omit(loan)
&#91;/code]
<h2>
大小寫轉(zhuǎn)換</h2>
英文字母的大小寫和字符間的空格是影響數(shù)據(jù)統(tǒng)計的一個常見原因。例如下面我們使用table函數(shù)對數(shù)據(jù)表按貸款狀態(tài)進行匯總時，相同的貸款狀態(tài)由于大小寫和空格被分割成多種狀態(tài)。造成統(tǒng)計數(shù)據(jù)不可用。下面我們對這個字段進行大小寫轉(zhuǎn)換和去除空格的清洗。
#按貸款狀態(tài)進行匯總
table(loan$loan_status)
Fully Paid charged off Charged Off Charged Off Current fully paid fully Paid Fully paid Fully Paid
1 1 8 1 1 2 1 1 15
將英文字母轉(zhuǎn)換為小寫的函數(shù)是tolower，下面的代碼中我們將貸款狀態(tài)列統(tǒng)一轉(zhuǎn)化為小寫字母，然后重復(fù)賦給數(shù)據(jù)表中的貸款狀態(tài)列。
#將貸款狀態(tài)轉(zhuǎn)換為小寫
loan$loan_status=tolower(loan$loan_status)
轉(zhuǎn)化完成后，再次使用table函數(shù)按貸款狀態(tài)進行匯總，下面下面的結(jié)果中可以看到分類從之前的8個減少到了4個，并且的分類都為小寫字母。下面我們在繼續(xù)進行空格清洗。
#按貸款狀態(tài)進行匯總
table(loan$loan_status)
fully paid charged off charged off current fully paid
1 9 1 1 19
去除兩側(cè)空格
去除字符間的空格比大小寫轉(zhuǎn)換要復(fù)雜一些，首先我們將需要去除空格的列單獨拿出來
#提取貸款狀態(tài)列
loan_status=as.vector(loan$loan_status)
然后使用trim函數(shù)去除該列中的空格，trim函數(shù)在raster包中，因此需要先安裝raster的包。
#安裝raster包
install.packages('raster')
安裝完成后加載raster包。
#加載raster包
library(raster)
加載完raster包后，使用trim函數(shù)去除貸款狀態(tài)字符中的空格。
#去除貸款狀態(tài)字段中的空格
loan_s=trim(loan_status)
使用去除完空格的貸款狀態(tài)覆蓋數(shù)據(jù)表中原有的貸款狀態(tài)列。
#覆蓋原有貸款狀態(tài)字段
loan$loan_status=loan_s
去除完空格后，再次按貸款狀態(tài)進行匯總，結(jié)果從5個減少為3個，恢復(fù)正常。
#按貸款狀態(tài)進行匯總
table(loan$loan_status)
charged off current fully paid
10 1 20
查看數(shù)據(jù)類型
使用typeof函數(shù)可以查看數(shù)據(jù)表中字段的數(shù)據(jù)類型，下面的代碼對數(shù)據(jù)表中的用戶收入字段進行數(shù)據(jù)類型查看，結(jié)果為double型。
#查看用戶收入字段的數(shù)據(jù)類型
typeof(loan$annual_inc)
[1] "double"
更改數(shù)據(jù)類型
使用as.integer函數(shù)將用戶收入字段的數(shù)據(jù)類型由double型轉(zhuǎn)化為integer型。
#將用戶收入字段更改為integer
loan$annual_inc=as.integer(loan$annual_inc)
轉(zhuǎn)化后再次使用typeof函數(shù)查看數(shù)據(jù)類型，此時已經(jīng)顯示數(shù)據(jù)類型為integer。
#查看用戶收入字段
typeof(loan$annual_inc)
[1] “integer”
數(shù)據(jù)預(yù)處理
數(shù)據(jù)分列
很多時候我們需要對一列數(shù)據(jù)進行分裂處理，在excel中直接使用分列功能就可以完成，在R中，使用strsplit函數(shù)也可以實現(xiàn)。首先將需要分列的列單獨提取出來。這里我們需要對貸款期限進行分裂。
#提取貸款期限字段
term=as.vector(loan$term)
[1] ” 36 months” ” 60 months” ” 36 months” ” 36 months” ” 60 months” ” 36 months” ” 60 months” ” 36 months” ” 60 months” ” 60 months”
[11] ” 60 months” ” 36 months” ” 36 months” ” 36 months” ” 36 months” ” 36 months” ” 36 months” ” 36 months” ” 36 months” ” 36 months”
[21] ” 60 months” ” 36 months” ” 36 months” ” 36 months” ” 36 months” ” 36 months” ” 36 months” ” 60 months” ” 36 months” ” 36 months”
[31] ” 36 months” ” 60 months” ” 36 months” ” 36 months”

然后使用strsplit函數(shù)對貸款期限進行分列，分列的依據(jù)是空格。具體代碼和分列的結(jié)果如下所示。
#使用空格對字段進行分裂
strsplit(term,' ')
[[1]]
[1] “” “36” “months”
[[2]]
[1] “” “60” “months”
[[3]]
[1] “” “36” “months”

除了分列以外，還可以對一個字段中的某些信息進行提取，并單獨形成一列進行分析。下面我們對貸款日期中的月份進行提取，并合并到原數(shù)據(jù)表中。提取月份所使用的函數(shù)為substr。下面的代碼中對貸款日期字段的4-6位進行提取，這部分對應(yīng)著月信息。
#提取貸款日期字段中的月信息(4-6位)
month=substr(loan$issue_d,4,6)
#查看提取的月信息
month
[1] “Jun” “Sep” “Jun” “Apr” “Jun” “Jan” “May” “Dec” “Aug” “Mar” “Dec” “Aug” “Nov” “Jun” “Mar” “Jun” “Apr” “May” “Jul” “Feb” “Jun” “Jun”
[23] “Jun” “Mar” “Mar” “Sep” “Jun” “May” “Jun” “Dec” “Jun” “May” “Jun” “Dec”

將提取出來的月信息與原數(shù)據(jù)表合并，并查看前5行數(shù)據(jù)，從下面的結(jié)果中可以看出第一列是新增加的月信息。
#將月信息與原貸款表合并并查看前5行
head(cbind(month,loan))