來源：丁點幫你

作者：丁點helper

在前面的文章中，我們跟大家一起學(xué)習(xí)了R中的數(shù)據(jù)導(dǎo)入、基本的操作方法、描述性統(tǒng)計等內(nèi)容。

這其中的很多操作都是針對格式和內(nèi)容都完好的數(shù)據(jù)而言的。但在實際工作中，我們收集到的數(shù)據(jù)往往不那么完美，需要先進行一番清理。今天開始，我們來學(xué)習(xí)如何將雜亂的數(shù)據(jù)整理得井井有條。

示例數(shù)據(jù)導(dǎo)入

多重線性回歸，一般是指有多個自變量X，只有一個因變量Y。前面我們主要是以簡單線性回歸為例在介紹，兩者的差距主要在于自變量X的數(shù)量，在只有一個X時，就稱簡單線性回歸。

示例數(shù)據(jù)是某高校教師對本班學(xué)生的調(diào)查結(jié)果，為方便練習(xí)，大家可先下載：

文件名：survey.csv

鏈接: https://pan.baidu.com/s/1XZgdyb59wPyWy6wp_hmoQw

密碼: 5lyw

接下來導(dǎo)入數(shù)據(jù)至R中：

survey <- read.csv("http://Users//Desktop//titanic.csv"， header = TRUE)

用下面的語句來了解一下這個數(shù)據(jù)：

#數(shù)據(jù)有多少行多少列dim(survey)[1] 238 17#獲取數(shù)據(jù)中的變量名稱 names(survey) [1] "ClassProb" "Status" "Year" "Division" "Gender" "HtCm" "Hand" "Haircut" [9] "Exercise" "Coursework" "Web" "TV" "Social" "Econ" "Animal" "Friends" [17] "Pulse"

可以知道，這項調(diào)查共涉及到238名同學(xué)，調(diào)查項目有17項。

數(shù)據(jù)清理第一步：有無缺失
多重線性回歸，一般是指有多個自變量X，只有一個因變量Y。前面我們主要是以簡單線性回歸為例在介紹，兩者的差距主要在于自變量X的數(shù)量，在只有一個X時，就稱簡單線性回歸。

今天這篇文章只介紹如何對數(shù)據(jù)的完整性進行判斷。

在survey這個數(shù)據(jù)庫的238條記錄中，如果某條記錄中的17個變量都獲取到了信息，不存在漏填的情況，那么認為這條記錄是完整的。

1.用complete.cases()這個函數(shù)得到數(shù)據(jù)中的每條記錄是否完整，其結(jié)果是一個邏輯型變量。

如下面的結(jié)果，survey這個數(shù)據(jù)的第一條記錄（第一行）是完整的，而第232條記錄是不完整的。

complete.cases(survey) [1] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE FALSE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE [20] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE [39] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE [58] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE [77] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE FALSE TRUE TRUE TRUE TRUE [96] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE[115] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE[134] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE[153] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE FALSE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE[172] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE FALSE TRUE TRUE[191] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE[210] TRUE TRUE TRUE TRUE TRUE TRUE FALSE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE[229] TRUE TRUE TRUE FALSE TRUE TRUE TRUE TRUE TRUE TRUE

2. 那么有多少條記錄是完整的呢？根據(jù)下面的結(jié)果，答案是232條。

下面的語句中，which()的作用是得到邏輯型變量complete.cases(survey)中值為TRUE的順序號。大家可以自行運行一下which(complete.cases(survey))這個語句，看看結(jié)果是什么。

所以最后用length()，可以得到共有多少條記錄的完整性檢驗結(jié)果為TRUE。

length(which(complete.cases(survey)))[1] 232

3. 僅保留所有完整的記錄，并生成一個新數(shù)據(jù)集。有兩種方法：

# 僅保留complete.cases(survey) = TRUE的記錄 survey_com <- survey[complete.cases(survey),] # 去掉有缺失情況的記錄survey_com <- na.omit(survey)

4. 我們也可以看看有缺失的記錄是哪些，來進一步考察數(shù)據(jù)的缺失規(guī)律。

survey_miss <- survey[!complete.cases(survey),] survey_miss

結(jié)果如下圖：

由圖可知：

• Pulse這個變量缺失情況最嚴重；
• survey_miss這個缺失數(shù)據(jù)集的行名稱為各條記錄在原始數(shù)據(jù)集survey中的行序號。

小結(jié)
多重線性回歸，一般是指有多個自變量X，只有一個因變量Y。前面我們主要是以簡單線性回歸為例在介紹，兩者的差距主要在于自變量X的數(shù)量，在只有一個X時，就稱簡單線性回歸。

面對一個數(shù)據(jù)，除了了解數(shù)據(jù)的行、列、變量等，每條記錄的完整性是我們首先需要關(guān)注的問題之一。因為缺失記錄和未缺失記錄之間的差異很可能會對數(shù)據(jù)分析結(jié)果的準確性有直接影響。

通過本文介紹的4個方面來判斷數(shù)據(jù)的缺失情況、定位完整數(shù)據(jù)和缺失數(shù)據(jù)，可以對所得樣本的質(zhì)量進行估計，也可為數(shù)據(jù)填補做好準備。

關(guān)于缺失數(shù)據(jù)的處理方法，大家可以參考這篇文章。

如果你也有待處理的數(shù)據(jù)，那么快用今天學(xué)的方法檢驗一下你的數(shù)據(jù)是否完整吧。

只有從根本上了解自己的數(shù)據(jù)，把每一個缺失值處理好，才可能做出邏輯嚴密、有說服力的結(jié)果。