簡(jiǎn)單易學(xué)的機(jī)器學(xué)習(xí)算法—極限學(xué)習(xí)機(jī)(ELM)

一、極限學(xué)習(xí)機(jī)的概念
    極限學(xué)習(xí)機(jī)(Extreme Learning Machine) ELM，是由黃廣斌提出來(lái)的求解單隱層神經(jīng)網(wǎng)絡(luò)的算法。
    ELM最大的特點(diǎn)是對(duì)于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，尤其是單隱層前饋神經(jīng)網(wǎng)絡(luò)(SLFNs)，在保證學(xué)習(xí)精度的前提下比傳統(tǒng)的學(xué)習(xí)算法速度更快。
二、極限學(xué)習(xí)機(jī)的原理
ELM是一種新型的快速學(xué)習(xí)算法，對(duì)于單隱層神經(jīng)網(wǎng)絡(luò)，ELM 可以隨機(jī)初始化輸入權(quán)重和偏置并得到相應(yīng)的輸出權(quán)重。

對(duì)于一個(gè)單隱層神經(jīng)網(wǎng)絡(luò)(見(jiàn)Figure 1)，假設(shè)有個(gè)任意的樣本，其中，。對(duì)于一個(gè)有L個(gè)隱層節(jié)點(diǎn)的單隱層神經(jīng)網(wǎng)絡(luò)可以表示為

其中，為激活函數(shù)，為輸入權(quán)重，為輸出權(quán)重，是第個(gè)隱層單元的偏置。表的內(nèi)積。

     單隱層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的目標(biāo)是使得輸出的誤差最小，可以表示為

即存在，使得

可以矩陣表示為

其中，H是隱層節(jié)點(diǎn)的輸出，為輸出權(quán)重，T為期望輸出。

為了能夠訓(xùn)練單隱層神經(jīng)網(wǎng)絡(luò)，我們希望得到使得

其中，，這等價(jià)于最小化損失函數(shù)

傳統(tǒng)的一些基于梯度下降法的算法，可以用來(lái)求解這樣的問(wèn)題，但是基本的基于梯度的學(xué)習(xí)算法需要在迭代的過(guò)程中調(diào)整所有參數(shù)。而在ELM算法中, 一旦輸入權(quán)重和隱層的偏置被隨機(jī)確定，隱層的輸出矩陣就被唯一確定。訓(xùn)練單隱層神經(jīng)網(wǎng)絡(luò)可以轉(zhuǎn)化為求解一個(gè)線性系統(tǒng)。并且輸出權(quán)重可以被確定

其中，是矩陣的Moore-Penrose廣義逆。且可證明求得的解的范數(shù)是最小的并且唯一。
三、實(shí)驗(yàn)
    我們使用《簡(jiǎn)單易學(xué)的機(jī)器學(xué)習(xí)算法——Logistic回歸》中的實(shí)驗(yàn)數(shù)據(jù)。

原始數(shù)據(jù)集
我們采用統(tǒng)計(jì)錯(cuò)誤率的方式來(lái)評(píng)價(jià)實(shí)驗(yàn)的效果，其中錯(cuò)誤率公式為：

對(duì)于這樣一個(gè)簡(jiǎn)單的問(wèn)題。
MATLAB代碼
主程序
[plain] view plain copy 在CODE上查看代碼片派生到我的代碼片
%% 主函數(shù)，二分類(lèi)問(wèn)題  
 
%導(dǎo)入數(shù)據(jù)集  
A = load('testSet.txt');  
 
data = A(:,1:2);%特征  
label = A(:,3);%標(biāo)簽  
 
[N,n] = size(data);  
 
L = 100;%隱層節(jié)點(diǎn)個(gè)數(shù)  
m = 2;%要分的類(lèi)別數(shù)  
 
%--初始化權(quán)重和偏置矩陣  
W = rand(n,L)*2-1;  
b_1 = rand(1,L);  
ind = ones(N,1);  
b = b_1(ind,:);%擴(kuò)充成N*L的矩陣  
 
tempH = data*W+b;  
H = g(tempH);%得到H  
 
%對(duì)輸出做處理  
temp_T=zeros(N,m);  
for i = 1:N  
    if label(i,:) == 0  
        temp_T(i,1) = 1;  
    else   
        temp_T(i,2) = 1;  
    end      
end  
T = temp_T*2-1;  
 
outputWeight = pinv(H)*T;  
 
%--畫(huà)出圖形  
x_1 = data(:,1);    
x_2 = data(:,2);    
hold on    
for i = 1 : N    
    if label(i,:) == 0    
        plot(x_1(i,:),x_2(i,:),'.g');    
    else    
        plot(x_1(i,:),x_2(i,:),'.r');    
    end    
end  
 
output = H * outputWeight;  
%---計(jì)算錯(cuò)誤率  
tempCorrect=0;  
for i = 1:N  
    [maxNum,index] = max(output(i,:));  
    index = index-1;  
    if index == label(i,:);  
        tempCorrect = tempCorrect+1;  
    end  
end  
 
errorRate = 1-tempCorrect./N;  

激活函數(shù)
[plain] view plain copy 在CODE上查看代碼片派生到我的代碼片
function [ H ] = g( X )  
    H = 1 ./ (1 + exp(-X));  
end