數(shù)據(jù)批處理--R語言里最重要的一個函數(shù)家族：*pply

之前我們講過循環(huán)，簡單講解了向量計算，它可以代替循環(huán)進行比較搞笑的批量計算，試想計算數(shù)據(jù)框中的總收入加上10，我們沒必要進行循環(huán)計算這一列的每一個元素與10的和，只需要把這一列當(dāng)成一個向量執(zhí)行就可以了，這就是向量計算，但是問題來了，如果我要數(shù)據(jù)框中所有列都加上10或者求所有列的均值、中位數(shù)又或?qū)λ鼈冋{(diào)用更加復(fù)雜的函數(shù)，該怎么辦？第一個想到的還是循環(huán)，但是R里面循環(huán)很慢這時*pply家族的函數(shù)就派上用場了，專門完成比向量更高層次的批量處理。

apply函數(shù)

temp <- data.frame(a = rnorm(30, mean = 0), b = rnorm(30, 2), c = rnorm(30, 4))
apply(X = temp, MARGIN = 2, FUN = mean)
apply(temp, 2, sd)
apply(temp, 1, mean)
apply(temp, 2, function(x) length(x[x > 1]))

1行生成一個數(shù)據(jù)框，它每一列的數(shù)都是從一個正態(tài)分布中抽取的樣本，描述一個正態(tài)分布的樣本集至少要包含三個要素：樣本數(shù)、均值mean、標(biāo)準差sd，函數(shù)rnorm的參數(shù)也主要包含這三個要素，主要用于隨機產(chǎn)生一個指定特征的正態(tài)分布樣本集，這里a列表示隨機抽取一個包含30個樣本，均值為0，標(biāo)準差為1（默認是1）的向量，然后賦值給a列，b為隨機抽取一個包含30個樣本均值為2的正態(tài)分布向量，c同樣解釋；為了驗證抽樣效果，我們可以求每一列的均值看看和設(shè)定的是否一樣，這里不需要循環(huán)，只用apply函數(shù)即可，參數(shù)X(大寫)用于指定數(shù)據(jù)集，MARGIN用于指定是對行計算還是對列計算，行用1表示，列2表示，也可以同時進行行和列計算，最后一個參數(shù)FUN指定調(diào)用的函數(shù)，連起來解釋將temp中的每一列丟給mean函數(shù)計算求均值，可以看到第一列的均值接近0，第二列接近2，第三列接近4，和我們設(shè)定的一樣；3行對每一列求標(biāo)準差，可以看到標(biāo)準差都接近1，和默認的標(biāo)準差一樣；4行對每一行求均值；5行使用了自編函數(shù)，這里是一個匿名函數(shù)，所謂匿名函數(shù)就是沒有函數(shù)名，它統(tǒng)計x中大于1的個數(shù)，這句整體連起來是將temp的每一列丟給匿名函數(shù)，計算每一列中大于1的數(shù)值個數(shù)，有意思的是*pply家族大多數(shù)用于自編函數(shù)，進行一些批量的特殊操作。

除了對矩陣或者數(shù)據(jù)框進行操作以外，我們有時候還會用到對list的批量操作，這就需要用到lapply或者sapply函數(shù)了，

lapply函數(shù)

temp <- list(a = rnorm(30, mean = 0), b = rnorm(10, 2), c = rnorm(20, 4))
lapply(X = temp, FUN = length)
length(temp)
myfun <- function(x) {
  a <- median(x)
  b <- mean(x)
  return(c(a, b))
}
lapply(temp, myfun)

1行創(chuàng)建了一個包含3個向量元素的list；2行使用lapply函數(shù)將list的每一個元素丟給length函數(shù)，統(tǒng)計每一個元素的長度，返回的結(jié)果是一個和X等長的list，包含3個計數(shù)結(jié)果；4行返回temp的長度為3；5行起編了一個自編函數(shù)myfun，它計算x的中位數(shù)和均值，并將結(jié)果捆綁為向量返回；最后一行將temp應(yīng)用于自編函數(shù)myfun，返回計算結(jié)果，結(jié)果是一個list，和temp等長，包含三個向量，每個向量包含兩個元素，即temp中每個向量的中位數(shù)和均值。

有時候我們需要向函數(shù)傳遞多個參數(shù)，然后進行批量操作，如下：

lapply傳遞多個參數(shù)

myfun2 <- function(x, y) {
  a <- median(x + y)
  b <- mean(x - y)
  return(list(a, b))
}
b = 3
lapply(X = temp, myfun2, y = b)

1行設(shè)計了一個自編函數(shù)myfun2，它需要用戶傳遞兩個參數(shù)：x、y；最后一行使用lapply傳遞多個參數(shù)，只需要在FUN后面繼續(xù)賦值FUN所需的參數(shù)就可以了，比如myfun2需要y參數(shù)，我們就在后面賦值y = b，這樣就可以完成傳參了，表示temp中每個元素向量都要和y一起參與計算，是整體的y不是y下面的每一元素，因為temp是按元素被lapply傳遞，而y不是，y是整體賦值。

sapply函數(shù)

sapply(X = temp, FUN = myfun, simplify = F)
sapply(X = temp, FUN = myfun, simplify = T)

sapply函數(shù)就是lapply的一個簡化版本，因為它添加了simplify參數(shù)而更名為sapply，我們看到在simplify等于F時，它返回的結(jié)果和lapply一樣是個list，當(dāng)simplify為T時它就將結(jié)果整理成了一個矩陣，其實這個使用do.call函數(shù)也可以將lapply的結(jié)果轉(zhuǎn)化為矩陣，后面應(yīng)用到很多，原因是我已經(jīng)忘了sapply函數(shù)。

另外一個傳遞多個參數(shù)進行建模的函數(shù)為mapply，這個函數(shù)很重要，一般在模型比較的交叉檢驗時經(jīng)常用到，比如后面章節(jié)比較隨機森林的樹數(shù)對模型的影響時就用到了，它的一個作用就是避免多重循環(huán)，因為它和lapply的多參數(shù)傳遞不同，它是將多個參數(shù)的元素一一對應(yīng)傳遞的。

mapply函數(shù)

x <- 1:3

y <- c(4, 2, 2)
z <- c(1, 3, 4)
myfun3 <- function(x, y, z) {
  m <- y + z*x
}
mapply(myfun3, x, y, z)
lapply(x, myfun3, y = y, z = z)

前三行創(chuàng)建了三個向量，4行創(chuàng)建了一個自編函數(shù)myfun3；mapply函數(shù)將x、y、z的元素一一對應(yīng)的傳遞給myfun3，返回的變量是一個向量，包含了3個元素，因為x、y、z的元素共產(chǎn)生了3次一一對應(yīng)的關(guān)系，看到了么，如果你將要使用一個三重循環(huán)就可以使用這這種方法避免，速度快很多，具體用例請參看輿情監(jiān)控的章節(jié)；而lapply返回的結(jié)果就比較復(fù)雜了，所以它們的傳參邏輯不是一回事。

除了上面講到的函數(shù)以外，*pply家族還有很多變種，什么ddply、vapply、rapply等等，大同小異根本沒必要記憶，因為上面的函數(shù)足夠完成它們的工作，比如tapply函數(shù)比較像分組函數(shù)，可以使用之前的透視表函數(shù)替代他，更加方便。其實一旦你搞通了之后，就會發(fā)現(xiàn)很多函數(shù)都是浮云，我僅僅用到兩個*pply函數(shù)lapply和mapply，其他的都被其他函數(shù)替代掉了。數(shù)據(jù)分析師培訓(xùn)