簡(jiǎn)單易學(xué)的機(jī)器學(xué)習(xí)算法—Logistic回歸

一、Logistic回歸的概述
    Logistic回歸是一種簡(jiǎn)單的分類算法，提到“回歸”，很多人可能覺得與分類沒什么關(guān)系，Logistic回歸通過對(duì)數(shù)據(jù)分類邊界的擬合來實(shí)現(xiàn)分類。而“回歸”也就意味著最佳擬合。要進(jìn)行最佳擬合，則需要尋找到最佳的擬合參數(shù)，一些最優(yōu)化方法就可以用于最佳回歸系數(shù)的確定。
二、最優(yōu)化方法確定最佳回歸系數(shù)
    最優(yōu)化方法有基于梯度的梯度下降法、梯度上升發(fā)，改進(jìn)的隨機(jī)梯度下降法等等?；谔荻鹊膬?yōu)化方法在求解問題時(shí)，本身對(duì)要求解的問題有要求：即問題本身必須是可導(dǎo)的。其次，基于梯度的方法會(huì)使得待優(yōu)化問題陷入局部最優(yōu)。此時(shí)，一些啟發(fā)式優(yōu)化方法可以很好的解決這樣的問題，但是啟發(fā)式算法的求解速度較慢，占用內(nèi)存較大。
    對(duì)于確定回歸系數(shù)這樣的問題

不存在多峰，也就是說不存在除最優(yōu)值之外的局部最優(yōu)值。其次，這樣的問題是可求導(dǎo)的，所以基于梯度的方法是可以用來求解回歸系數(shù)的問題的。優(yōu)化算法見optimal algorithm類別。
三、Sigmoid函數(shù)

當(dāng)分類邊界的函數(shù)被表示出來后，可以使用一種被稱為海維塞德階躍函數(shù)(Heaviside step function)來處理，簡(jiǎn)稱為單位階躍函數(shù)。其中Sigmoid函數(shù)是其中使用較多的一種階躍函數(shù)。Sigmoid函數(shù)如下圖：

Sigmoid函數(shù)的公式為：

當(dāng)z為0時(shí)，函數(shù)值為0.5；
四、實(shí)驗(yàn)(MATLAB程序)
    1、梯度上升法
[plain] view plain copy 在CODE上查看代碼片派生到我的代碼片
%%gradient method  
function weights = gradient(x, y)  
    alpha = 0.001;%Step  
    maxCycle = 500;  
    [m,n] = size(x);  
    weights = ones(n,1);  
    for i = 1 : maxCycle  
        h = sigmoid(x * weights);  
        error = y - h;  
        weights = weights + alpha * x' * error;%注意點(diǎn)1  
    end  
end  

    2、Sigmoid
[plain] view plain copy 在CODE上查看代碼片派生到我的代碼片
%% sigmoid function  
function out = sigmoid(x)  
    out = 1./(1+exp(-x));  
end  

    3、主程序
[plain] view plain copy 在CODE上查看代碼片派生到我的代碼片
%----start-----  
data = load('testSet.txt');%導(dǎo)入數(shù)據(jù)  
[m,n] = size(data);%行和列  
o = ones(m,1);  
dataX = data(:,1:2);  
X = [o,dataX];  
Y = data(:,3);  
 
%--experiments--  
weights = gradient(X,Y);  
 
%% plot the pic  
Ypic = X * weights;  
x_1 = X(:,2);  
x_2 = X(:,3);  
hold on  
for i = 1 : 100  
    if Y(i,:) == 0  
        plot(x_1(i,:),x_2(i,:),'.g');  
    else  
        plot(x_1(i,:),x_2(i,:),'.r');  
    end  
end  
x = -3.0:0.1:3;  
y = (-weights(1)-weights(2)*x)/weights(3);%注意點(diǎn)2  
plot(x,y);  
    4、測(cè)試的數(shù)據(jù)以及最終的分類

五、注意點(diǎn)
    在程序的實(shí)現(xiàn)過程中有兩個(gè)注意點(diǎn)，分別用注釋標(biāo)出，第一處在梯度上升法中的求權(quán)重weights的公式；第二處是主程序中的注釋標(biāo)出。
    1、先說說第一處：
    令，則。可知，假設(shè)有m個(gè)樣本，且樣本之間相互獨(dú)立。則似然函數(shù)為。
取對(duì)數(shù)。對(duì)其中一個(gè)樣本而言求偏導(dǎo)：。要求極大似然估計(jì)，故要使用梯度上升法求最大值：。數(shù)據(jù)分析師培訓(xùn)
    2、再說說第二處：
    要畫出擬合直線，橫坐標(biāo)為x_1，縱坐標(biāo)為x_2，直線的方程為，求出x_1和x_2的對(duì)應(yīng)關(guān)系即可。