分類算法的R語(yǔ)言實(shí)現(xiàn)案例

最近在讀《R語(yǔ)言與網(wǎng)站分析》，書(shū)中對(duì)分類、聚類算法的講解通俗易懂，和數(shù)據(jù)挖掘理論一起看的話，有很好的參照效果。
然而，這么好的講解，作者居然沒(méi)提供對(duì)應(yīng)的數(shù)據(jù)集。手癢之余，我自己動(dòng)手整理了一個(gè)可用于分類算法的數(shù)據(jù)集（下載鏈接：csdn下載頻道搜索“R語(yǔ)言與網(wǎng)站分析：數(shù)據(jù)集樣例及分類算法實(shí)現(xiàn)”），并用R語(yǔ)言實(shí)現(xiàn)了樸素貝葉斯、SVM和人工神經(jīng)網(wǎng)絡(luò)分類。

數(shù)據(jù)集記錄的是泰坦尼克號(hào)乘客的存活情況。數(shù)據(jù)集包括乘客的等級(jí)（class）、年齡（age）、性別（sex）和存活情況（survive），最終希望通過(guò)分析乘客的等級(jí)、年齡和性別建立模型，對(duì)乘客是否能夠存活進(jìn)行分類。
以下是使用read.table()函數(shù)讀取的數(shù)據(jù)集情況，可以看到class的3/4分位數(shù)和最大值、age的最小值和1/4分位數(shù)以及sex的1/4分位數(shù)和中位值分別相等，判斷數(shù)據(jù)集可能已經(jīng)離散化。
[plain] view plain copy
    > data <- read.table("./titanic_s.txt", header = TRUE, sep = ",")  
    > summary(data)  
         class                 age                 sex                survive         
     Min.   :-1.8700000   Min.   :-0.228000   Min.   :-1.9200000   Min.   :-1.0000    
     1st Qu.:-0.9230000   1st Qu.:-0.228000   1st Qu.: 0.5210000   1st Qu.:-1.0000    
     Median : 0.0214000   Median :-0.228000   Median : 0.5210000   Median :-1.0000    
     Mean   :-0.0007595   Mean   : 0.000202   Mean   :-0.0002494   Mean   :-0.3539    
     3rd Qu.: 0.9650000   3rd Qu.:-0.228000   3rd Qu.: 0.5210000   3rd Qu.: 1.0000    
     Max.   : 0.9650000   Max.   : 4.380000   Max.   : 0.5210000   Max.   : 1.0000  
將數(shù)據(jù)全部轉(zhuǎn)換為因子類型?？梢钥吹浇?jīng)過(guò)轉(zhuǎn)換后，class有四類（貴族、高、中、低）、age有兩類（孩子和成人）、sex有兩類（男和女）、survive有兩類（存活和未存活）。
[plain] view plain copy
    > data$class <- as.factor(data$class)  
    > data$age <- as.factor(data$age)  
    > data$sex <- as.factor(data$sex)  
    > data$survive <- as.factor(data$survive)  
    > summary(data)  
        class         age          sex       survive    
     -1.87 :325   -0.228:2092   -1.92: 470   -1:1490    
     -0.923:285   4.38  : 109   0.521:1731   1 : 711    
     0.0214:706                                         
     0.965 :885  

使用table()函數(shù)可查看未存活和存活人數(shù)分別為1490人、711人，二者數(shù)據(jù)量相差較大；如果用這樣的數(shù)據(jù)集建模，可能影響分類結(jié)果。
[plain] view plain copy
    > table(data$survive)  
      
      -1    1   
    1490  711 
為此，對(duì)數(shù)據(jù)量較少的存活人員樣本進(jìn)行重抽樣，使得二者的樣本數(shù)量一致。
[plain] view plain copy

    > balance <- function(data,yval) {  
    +   y.vector <- with(data,get(yval))  
    +   index.0 <- which(y.vector==-1)  
    +   index.1 <- which(y.vector==1)  
    +   index.1 <- sample(index.1, length(index.0), replace = TRUE)  
    +   result <- data[sample(c(index.0,index.1)),]  
    +   result  
    + }  
    >   
    > sdata <- balance(data, "survive")  
    > table(sdata$survive)  
      
      -1    1   
    1490 1490 
將重抽樣后的數(shù)據(jù)分為訓(xùn)練數(shù)據(jù)集和樣本數(shù)據(jù)集，比例默認(rèn)按7:3分配。
[plain] view plain copy
    > apart.data <- function(data, percent = 0.7) {  
    +   train.index <- sample(c(1:nrow(data)),round(percent*nrow(data)))  
    +   data.train <- data[train.index,]  
    +   data.test <- data[-c(train.index),]  
    +   result <- list(train = data.train, test = data.test)  
    +   result  
    + }  
    > p.data <- apart.data(sdata)  
    > data.train <- p.data$train  
    > data.test <- p.data$test 
數(shù)據(jù)準(zhǔn)備妥當(dāng)后，可以開(kāi)始采用不同的分類算法構(gòu)建模型，并使用測(cè)試數(shù)據(jù)集對(duì)模型的分類效果進(jìn)行評(píng)估。要構(gòu)建的模型是關(guān)于存活情況survive與class、age以及sex之間的關(guān)系，可用如下公式表示。
[plain] view plain copy
    > mod.formula <- as.formula("survive~class+age+sex")</span> 
分類算法1：樸素貝葉斯分類，注意要加載e1071庫(kù)。應(yīng)用測(cè)試數(shù)據(jù)集對(duì)效果進(jìn)行評(píng)估，結(jié)果真正率tpr（也就是“預(yù)測(cè)活著也真活著的人數(shù)”/“實(shí)際活著的人數(shù)”）為57%，真負(fù)率tnr（也就是“預(yù)測(cè)沒(méi)活也真沒(méi)活的人數(shù)”/“實(shí)際沒(méi)活的人數(shù)”）84%?？磥?lái)預(yù)測(cè)“沒(méi)活”的情況比較準(zhǔn)。
[plain] view plain copy
    > install.packages("e1071")  
    > library(e1071)  
    > nb.sol <- naiveBayes(mod.formula, data.train);nb.sol  
    > nb.predict <- predict(nb.sol, newdata = data.test)  
    > tb <- table(nb.predict, data.test$survive)  
    > tpr <- tb[2,2]/(tb[2,2]+tb[1,2]);tpr  
    [1] 0.5735608  
    > tnr <- tb[1,1]/(tb[1,1]+tb[2,1]);tnr  
    [1] 0.8447059 
分類算法2：支持向量機(jī)（SVM）分類。應(yīng)用測(cè)試數(shù)據(jù)集對(duì)效果進(jìn)行評(píng)估，結(jié)果也是真正率tpr較低，真負(fù)率tnr較高。
[plain] view plain copy
    > svm.sol <- svm(mod.formula, data.train);svm.sol  
    > svm.predict <- predict(svm.sol, data.test)  
    > tb <- table(svm.predict, data.test$survive)  
    > tpr <- tb[2,2]/(tb[2,2]+tb[1,2]);tpr  
    [1] 0.5095949  
    > tnr <- tb[1,1]/(tb[1,1]+tb[2,1]);tnr  
    [1] 0.9152941 
分類算法3：人工神經(jīng)網(wǎng)絡(luò)（ANN）分類，注意加載nnet包。應(yīng)用測(cè)試數(shù)據(jù)集對(duì)效果進(jìn)行評(píng)估，結(jié)果也是真正率tpr較低，真負(fù)率tnr較高。
[plain] view plain copy
    > library(nnet)  
    > nnet.sol <- nnet(mod.formula, data.train, size =7, maxit = 1000);nnet.sol  
    > pred.prob <- predict(nnet.sol, data.test)  
    > pred.class <- ifelse(pred.prob>0.5, 1,0)  
    > table(pred.class, data.test$survive)  
    > tb <- table(pred.class, data.test$survive)  
    > tpr <- tb[2,2]/(tb[2,2]+tb[1,2]);tpr  
    [1] 0.5095949  
    > tnr <- tb[1,1]/(tb[1,1]+tb[2,1]);tnr  
    [1] 0.9152941 
通過(guò)對(duì)具體的數(shù)據(jù)集進(jìn)行數(shù)據(jù)的重抽樣、劃分訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集，以及最終實(shí)施相應(yīng)的分類算法，可以加深對(duì)于R語(yǔ)言分類分析過(guò)程和方法的理解。