鑒定離群值的方法有很多種，包括基于標(biāo)準(zhǔn)差的方法和基于四分位距的Tukey法。本文我將使用不依賴余數(shù)據(jù)分布類型的Tukey法做演示，該方法的另一個(gè)優(yōu)勢是無需考慮數(shù)據(jù)均值和方差，而這兩個(gè)統(tǒng)計(jì)量恰恰很容易被極端值（離群值）影響。

腳本

我寫了一個(gè)腳本來識別、描述、繪制并移除離群值。我先利用箱線圖來鑒定樣本點(diǎn)是否為離群值。在R中可以使用boxplot.stats()$out命令來繪制這個(gè)圖，該圖能利用Tukey法將游離在1.5倍四分位距外的樣本點(diǎn)單獨(dú)繪制出來。在描述數(shù)據(jù)時(shí)，我喜歡匯報(bào)數(shù)據(jù)中離群值的百分比和其均值，同時(shí)我也會分別計(jì)算包含和移除離群值后數(shù)據(jù)的均值。而在各種數(shù)據(jù)圖中，箱線圖和直方圖值最能體現(xiàn)離群值的存在感，因此在下面的腳本中，我將繪制包含和移除離群值的這兩類圖形。最后，在Selva的幫助下，我添加了一個(gè)簡單問題（是/否）來詢問是否要保留離群值。如果選擇是，那么離群值將被NA取代。

腳本如下：

ooutlierKD <- function(dt, var) {
     var_name <- eval(substitute(var),eval(dt))
     tot <- sum(!is.na(var_name))
     na1 <- sum(is.na(var_name))
     m1 <- mean(var_name, na.rm = T)
     par(mfrow=c(2, 2), oma=c(0,0,3,0))
     boxplot(var_name, main="With outliers")
     hist(var_name, main="With outliers", xlab=NA, ylab=NA)
     outlier <- boxplot.stats(var_name)$out
     mo <- mean(outlier)
     var_name <- ifelse(var_name %in% outlier, NA, var_name)
     boxplot(var_name, main="Without outliers")
     hist(var_name, main="Without outliers", xlab=NA, ylab=NA)
     title("Outlier Check", outer=TRUE)
     na2 <- sum(is.na(var_name))
     cat("Outliers identified:", na2 - na1, "\n")
     cat("Propotion (%) of outliers:", round((na2 - na1) / tot*100, 1), "\n")
     cat("Mean of the outliers:", round(mo, 2), "\n")
     m2 <- mean(var_name, na.rm = T)
     cat("Mean without removing outliers:", round(m1, 2), "\n")
     cat("Mean if we remove outliers:", round(m2, 2), "\n")
     response <- readline(prompt="Do you want to remove outliers and to replace with NA? [yes/no]: ")
     if(response == "y" | response == "yes"){
          dt[as.character(substitute(var))] <- invisible(var_name)
          assign(as.character(as.list(match.call())$dt), dt, envir = .GlobalEnv)
          cat("Outliers successfully removed", "\n")
          return(invisible(dt))
     } else{
          cat("Nothing changed", "\n")
          return(invisible(var_name))
     }
}

你可以直接運(yùn)行這些代碼，只要把其中的數(shù)據(jù)集和變量的名稱替換下。

source("http://goo.gl/UUyEzD")
outlierKD(dat, variable)

一個(gè)例子:

Outliers identified: 58
Propotion (%) of outliers: 3.8
Mean of the outliers: 108.1
Mean without removing outliers: 53.79
Mean if we remove outliers: 52.82
Do you want to remove outliers and to replace with NA? [yes/no]: y
Outliers successfully removed

繪制的圖形的例子：

我知道這個(gè)腳本還可以添加不少功能和細(xì)節(jié)，很多地方還能優(yōu)化