R語(yǔ)言與機(jī)器學(xué)習(xí)學(xué)習(xí)筆記1（分類(lèi)算法）

人工神經(jīng)網(wǎng)絡(luò)（ANN），簡(jiǎn)稱(chēng)神經(jīng)網(wǎng)絡(luò)，是一種模仿生物神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和功能的數(shù)學(xué)模型或計(jì)算模型。神經(jīng)網(wǎng)絡(luò)由大量的人工神經(jīng)元聯(lián)結(jié)進(jìn)行計(jì)算。大多數(shù)情況下人工神經(jīng)網(wǎng)絡(luò)能在外界信息的基礎(chǔ)上改變內(nèi)部結(jié)構(gòu)，是一種自適應(yīng)系統(tǒng)。現(xiàn)代神經(jīng)網(wǎng)絡(luò)是一種非線性統(tǒng)計(jì)性數(shù)據(jù)建模工具，常用來(lái)對(duì)輸入和輸出間復(fù)雜的關(guān)系進(jìn)行建模，或用來(lái)探索數(shù)據(jù)的模式。

     人工神經(jīng)網(wǎng)絡(luò)從以下四個(gè)方面去模擬人的智能行為:

• 物理結(jié)構(gòu)：人工神經(jīng)元將模擬生物神經(jīng)元的功能

• 計(jì)算模擬：人腦的神經(jīng)元有局部計(jì)算和存儲(chǔ)的功能，通過(guò)連接構(gòu)成一個(gè)系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)中也有大量有局部處理能力的神經(jīng)元，也能夠?qū)⑿畔⑦M(jìn)行大規(guī)模并行處理

• 存儲(chǔ)與操作：人腦和人工神經(jīng)網(wǎng)絡(luò)都是通過(guò)神經(jīng)元的連接強(qiáng)度來(lái)實(shí)現(xiàn)記憶存儲(chǔ)功能，同時(shí)為概括、類(lèi)比、推廣提供有力的支持

• 訓(xùn)練：同人腦一樣，人工神經(jīng)網(wǎng)絡(luò)將根據(jù)自己的結(jié)構(gòu)特性，使用不同的訓(xùn)練、學(xué)習(xí)過(guò)程，自動(dòng)從實(shí)踐中獲得相關(guān)知識(shí)

       神經(jīng)網(wǎng)絡(luò)是一種運(yùn)算模型，由大量的節(jié)點(diǎn)（或稱(chēng)“神經(jīng)元”，或“單元”）和之間相互聯(lián)接構(gòu)成。每個(gè)節(jié)點(diǎn)代表一種特定的輸出函數(shù)，稱(chēng)為激勵(lì)函數(shù)。每?jī)蓚€(gè)節(jié)點(diǎn)間的連接都代表一個(gè)對(duì)于通過(guò)該連接信號(hào)的加權(quán)值，稱(chēng)之為權(quán)重，這相當(dāng)于人工神經(jīng)網(wǎng)絡(luò)的記憶。網(wǎng)絡(luò)的輸出則依網(wǎng)絡(luò)的連接方式，權(quán)重值和激勵(lì)函數(shù)的不同而不同。而網(wǎng)絡(luò)自身通常都是對(duì)自然界某種算法或者函數(shù)的逼近，也可能是對(duì)一種邏輯策略的表達(dá)。

一、感知器

        感知器相當(dāng)于神經(jīng)網(wǎng)絡(luò)的一個(gè)單層，由一個(gè)線性組合器和一個(gè)二值閾值原件構(gòu)成：

     構(gòu)成ANN系統(tǒng)的單層感知器：

• 感知器以一個(gè)實(shí)數(shù)值向量作為輸入，計(jì)算這些輸入的線性組合，如果結(jié)果大于某個(gè)閾值，就輸出1，否則輸出‐1。

• 感知器函數(shù)可寫(xiě)為：sign（w*x）有時(shí)可加入偏置b，寫(xiě)為sign（w*x b）

• 學(xué)習(xí)一個(gè)感知器意味著選擇權(quán)w0,…,wn的值。所以感知器學(xué)習(xí)要考慮的候選假設(shè)空間H就是所有可能的實(shí)數(shù)值權(quán)向量的集合

     算法訓(xùn)練步驟：

1、定義變量與參數(shù)x（輸入向量）,w（權(quán)值向量）,b（偏置）,y（實(shí)際輸出）,d（期望輸出）,a（學(xué)習(xí)率參數(shù)）

2、初始化，n=0,w=0

3、輸入訓(xùn)練樣本，對(duì)每個(gè)訓(xùn)練樣本指定其期望輸出：A類(lèi)記為1，B類(lèi)記為-1

4、計(jì)算實(shí)際輸出y=sign(w*x b)

5、更新權(quán)值向量w(n 1)=w(n) a[d-y(n)]*x(n),0<a<1

6、判斷，若滿(mǎn)足收斂條件，算法結(jié)束，否則返回3

      注意，其中學(xué)習(xí)率a為了權(quán)值的穩(wěn)定性不應(yīng)過(guò)大，為了體現(xiàn)誤差對(duì)權(quán)值的修正不應(yīng)過(guò)小，說(shuō)到底，這是個(gè)經(jīng)驗(yàn)問(wèn)題。

      從前面的敘述來(lái)看，感知器對(duì)于線性可分的例子是一定收斂的，對(duì)于不可分問(wèn)題，它沒(méi)法實(shí)現(xiàn)正確分類(lèi)。這里與我們前面講到的支持向量機(jī)的想法十分的相近，只是確定分類(lèi)直線的辦法有所不同?？梢赃@么說(shuō)，對(duì)于線性可分的例子，支持向量機(jī)找到了“最優(yōu)的”那條分類(lèi)直線，而單層感知器找到了一條可行的直線。

      我們以鳶尾花數(shù)據(jù)集為例，由于單層感知器是一個(gè)二分類(lèi)器，所以我們將鳶尾花數(shù)據(jù)也分為兩類(lèi)，“setosa”與“versicolor”（將后兩類(lèi)均看做第2類(lèi)），那么數(shù)據(jù)按照特征：花瓣長(zhǎng)度與寬度做分類(lèi)。

運(yùn)行下面的代碼：

[plain] view plaincopyprint?

1. #感知器訓(xùn)練結(jié)果：  

2. a<-0.2  

3. w<-rep(0,3)  

4. iris1<-t(as.matrix(iris[,3:4]))  

5. d<-c(rep(0,50),rep(1,100))  

6. e<-rep(0,150)  

7. p<-rbind(rep(1,150),iris1)  

8. max<-100000  

9. eps<-rep(0,100000)  

10. i<-0  

11. repeat{  

12.    v<-w%*%p;  

13.    y<-ifelse(sign(v)>=0,1,0);  

14.    e<-d-y;  

15.    eps[i 1]<-sum(abs(e))/length(e)  

16.    if(eps[i 1]<0.01){  

17.        print("finish:");  

18.        print(w);  

19.        break;  

20.    }  

21.    w<-w a*(d-y)%*%t(p);  

22.    i<-i 1;  

23.    if(i>max){  

24.        print("max time loop");  

25.        print(eps[i])  

26.        print(y);  

27.        break;  

28.    }  

29. }  

30. #繪圖程序  

31. plot(Petal.Length~Petal.Width,xlim=c(0,3),ylim=c(0,8),  

32. data=iris[iris$Species=="virginica",])  

33. data1<-iris[iris$Species=="versicolor",]  

34. points(data1$Petal.Width,data1$Petal.Length,col=2)  

35. data2<-iris[iris$Species=="setosa",]  

36. points(data2$Petal.Width,data2$Petal.Length,col=3)  

37. x<-seq(0,3,0.01)  

38. y<-x*(-w[2]/w[3])-w[1]/w[3]  

39. lines(x,y,col=4)  

40. #繪制每次迭代的平均絕對(duì)誤差  

41. plot(1:i,eps[1:i],type="o")  

      分類(lèi)結(jié)果如圖：

       這是運(yùn)行了7次得到的結(jié)果。與我們前面的支持向量機(jī)相比，顯然神經(jīng)網(wǎng)絡(luò)的單層感知器分類(lèi)不是那么的可信，有些弱。

      我們可以嘗試來(lái)做交叉驗(yàn)證，可以發(fā)現(xiàn)交叉驗(yàn)證結(jié)果并不理想。

二、線性神經(jīng)網(wǎng)絡(luò)

      盡管當(dāng)訓(xùn)練樣例線性可分時(shí)，感知器法則可以成功地找到一個(gè)權(quán)向量，但如果樣例不是線性可分時(shí)它將不能收斂。因此，人們?cè)O(shè)計(jì)了另一個(gè)訓(xùn)練法則來(lái)克服這個(gè)不足，稱(chēng)為delta法則。

     如果訓(xùn)練樣本不是線性可分的，那么delta法則會(huì)收斂到目標(biāo)概念的最佳近似。

     delta法則的關(guān)鍵思想是使用梯度下降來(lái)搜索可能權(quán)向量的假設(shè)空間，以找到最佳擬合訓(xùn)練樣例的權(quán)向量。

     我們將算法描述如下：

1、定義變量與參數(shù)。x（輸入向量）,w（權(quán)值向量）,b（偏置）,y（實(shí)際輸出）,d（期望輸出）,a（學(xué)習(xí)率參數(shù)）（為敘述簡(jiǎn)便，我們可以將偏置并入權(quán)值向量中）

2、初始化w=0

3、輸入樣本，計(jì)算實(shí)際輸出與誤差。e(n)=d-x*w(n)

4、調(diào)整權(quán)值向量w(n 1)=w(n) a*x*e(n)

5、判斷是否收斂，收斂結(jié)束，否則返回3

         Hayjin證明，只要學(xué)習(xí)率a<2/maxeign, delta法則按方差收斂。其中maxeigen為x’x的最大特征值。故我們這里使用1/maxeign作為a的值。

       我們還是以上面的鳶尾花數(shù)據(jù)為例來(lái)說(shuō)這個(gè)問(wèn)題。運(yùn)行代碼：

[plain] view plaincopyprint?

1. p<-rbind(rep(1,150),iris1)  

2. d<-c(rep(0,50),rep(1,100))  

3. w<-rep(0,3)  

4. a<-1/max(eigen(t(p)%*%p)$values)  

5. max<-1000  

6. e<-rep(0,150)  

7. eps<-rep(0,1000)  

8. i<-0  

9. for(i in 1:max){  

10.    v<-w%*%p;  

11.    y<-v;  

12.    e<-d-y;  

13.    eps[i 1]<-sum(e^2)/length(e)  

14.    w<-w a*(d-y)%*%t(p);  

15.    if(i==max)  

16.        print(w)  

17. }  

       得到分類(lèi)直線：

      相比感知器分類(lèi)而言已經(jīng)好了太多了，究其原因不外乎傳遞函數(shù)由二值閾值函數(shù)變?yōu)榱司€性函數(shù)，這也就是我們前面提到的delta法則會(huì)收斂到目標(biāo)概念的最佳近似。增量法則漸近收斂到最小誤差假設(shè)，可能需要無(wú)限的時(shí)間，但無(wú)論訓(xùn)練樣例是否線性可分都會(huì)收斂。

       為了明了這一點(diǎn)我們考慮鳶尾花數(shù)據(jù)后兩類(lèi)花的分類(lèi)（這里我們將前兩類(lèi)看做一類(lèi)），使用感知器：

使用線性分類(lèi)器：

       但是要解釋的一點(diǎn)是，收斂并不意味著分類(lèi)效果更好，要解決線性不可分問(wèn)題需要的是添加非線性輸入或者增加神經(jīng)元。我們以Minsky & Papert (1969)提出的異或例子為例說(shuō)明這一點(diǎn)。

使用線性神經(jīng)網(wǎng)絡(luò)，代碼與上面完全相同，略。

第一個(gè)神經(jīng)元輸出：

權(quán)值： [,1]     [,2]    [,3]

[1,]    0.75   0.5    -0.5

測(cè)試： [,1]   [,2]   [,3]   [,4]

[1,]       1      0       1      1

第二個(gè)神經(jīng)元輸出：

權(quán)值： [,1]     [,2]     [,3]

[1,]    0.75    -0.5    0.5

測(cè)試： [,1]   [,2]   [,3]  [,4]

[1,]        1      1       0    1

求解異或邏輯（相同取0，不同取1）有結(jié)果：（代碼xor(c(1,0,1,1),c(1,1,0,1))）

[1] FALSE  TRUE TRUE   FALSE

即0，1，1，0，分類(lèi)正確。

       最后再說(shuō)一點(diǎn)，Delta規(guī)則只能訓(xùn)練單層網(wǎng)絡(luò)，但這不會(huì)對(duì)其功能造成很大的影響。從理論上說(shuō)，多層神經(jīng)網(wǎng)絡(luò)并不比單層神經(jīng)網(wǎng)絡(luò)更強(qiáng)大，他們具有同樣的能力。

三、BP神經(jīng)網(wǎng)絡(luò)

1、sigmoid函數(shù)分類(lèi)

        回顧我們前面提到的感知器，它使用示性函數(shù)作為分類(lèi)的辦法。然而示性函數(shù)作為分類(lèi)器它的跳點(diǎn)讓人覺(jué)得很難處理，幸好sigmoid函數(shù)y=1/(1 e^-x)有類(lèi)似的性質(zhì)，且有著光滑性這一優(yōu)良性質(zhì)。我們通過(guò)下圖可以看見(jiàn)sigmoid函數(shù)的圖像：

Sigmoid函數(shù)有著計(jì)算代價(jià)不高，易于理解與實(shí)現(xiàn)的優(yōu)點(diǎn)但也有著欠擬合，分類(lèi)精度不高的特性，我們?cè)?a href='/map/zhichixiangliangji/' style='color:#000;font-size:inherit;'>支持向量機(jī)一章中就可以看到sigmoid函數(shù)差勁的分類(lèi)結(jié)果。

2、BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

       BP (Back Propagation)神經(jīng)網(wǎng)絡(luò)，即誤差反傳誤差反向傳播算法的學(xué)習(xí)過(guò)程，由信息的正向傳播和誤差的反向傳播兩個(gè)過(guò)程組成。由下圖可知，BP神經(jīng)網(wǎng)絡(luò)是一個(gè)三層的網(wǎng)絡(luò):

• 輸入層(input layer)：輸入層各神經(jīng)元負(fù)責(zé)接收來(lái)自外界的輸入信息，并傳遞給中間層各神經(jīng)元；

• 隱藏層(Hidden Layer):中間層是內(nèi)部信息處理層，負(fù)責(zé)信息變換，根據(jù)信息變化能力的需求，中間層可以設(shè)計(jì)為單隱層或者多隱層結(jié)構(gòu)；最后一個(gè)隱層傳遞到輸出層各神經(jīng)元的信息，經(jīng)進(jìn)一步處理后，完成一次學(xué)習(xí)的正向傳播處理過(guò)程；

• 輸出層(Output Layer):顧名思義，輸出層向外界輸出信息處理結(jié)果