簡單易學(xué)的機器學(xué)習(xí)算法—主成分分析(PCA)

一、數(shù)據(jù)降維
    對于現(xiàn)在維數(shù)比較多的數(shù)據(jù)，我們首先需要做的就是對其進行降維操作。降維，簡單來說就是說在盡量保證數(shù)據(jù)本質(zhì)的前提下將數(shù)據(jù)中的維數(shù)降低。降維的操作可以理解為一種映射關(guān)系，例如函數(shù)，即由原來的二維轉(zhuǎn)換成了一維。處理降維的技術(shù)有很多種，如前面的SVD奇異值分解，主成分分析(PCA)，因子分析(FA)，獨立成分分析(ICA)等等。
二、PCA的概念
    PCA是一種較為常用的降維技術(shù)，PCA的思想是將n維特征映射到K維上，這維是全新的正交特征。這K維特征稱為主元，是重新構(gòu)造出來的K維特征。在PCA中，數(shù)據(jù)從原來的坐標系轉(zhuǎn)換到新的坐標系下，新的坐標系的選擇與數(shù)據(jù)本身是密切相關(guān)的。其中，第一個新坐標軸選擇的是原始數(shù)據(jù)中方差最大的方向，第二個新坐標軸選取的是與第一個坐標軸正交且具有最大方差的方向，依次類推，我們可以取到這樣的K個坐標軸。
三、PCA的操作過程
    1、PCA的操作流程大致如下：
去平均值，即每一位特征減去各自的平均值
計算協(xié)方差矩陣
計算協(xié)方差矩陣的特征值與特征向量
對特征值從大到小排序
保留最大的K個特征向量
將數(shù)據(jù)轉(zhuǎn)換到K個特征向量構(gòu)建的新空間中
    2、具體的例子
        假設(shè)二維數(shù)據(jù)為

取平均值
       我們計算每一維特征的平均值，并去除平均值，我們計算出均值為

去除均值后的矩陣為

計算的協(xié)方差矩陣

計算的特征值與特征向量
其中，特征值為

特征向量為

對特征值進行排序，顯然就兩個特征值
選擇最大的那個特征值對應(yīng)的特征向量
轉(zhuǎn)換到新的空間

四、實驗的仿真
我們隊一個數(shù)據(jù)集進行了測試：

MATLAB實驗代碼如下：
主程序
[plain] view plain copy 在CODE上查看代碼片派生到我的代碼片
%% pca  
 
dataSet = load('testSet.txt');%導(dǎo)入數(shù)據(jù)  
 
% pca  
[FinalData, reconData] = PCA(dataSet, 1);  
 
%% 作圖  
hold on  
plot(dataSet(:,1), dataSet(:,2), '.');  
plot(reconData(:,1), reconData(:,2), '.r');  
hold off  
      
      

PCA函數(shù)段
[plain] view plain copy 在CODE上查看代碼片派生到我的代碼片
function [ FinalData,reconData ] = PCA( dataSet, k )  
    [m,n] = size(dataSet);  
 
   %% 去除平均值  
    %取平均值  
    dataSetMean = mean(dataSet);  
    %減去平均值  
    dataSetAdjust = zeros(m,n);  
    for i = 1 : m  
        dataSetAdjust(i , :) = dataSet(i , :) - dataSetMean;  
    end  
 
    %% 計算協(xié)方差矩陣  
    dataCov = cov(dataSetAdjust);  
 
    %% 計算協(xié)方差矩陣的特征值與特征向量  
    [V, D] = eig(dataCov);  
      
    % 將特征值矩陣轉(zhuǎn)換成向量  
    d = zeros(1, n);  
    for i = 1:n  
        d(1,i) = D(i,i);  
    end  
      
    %% 對特征值排序  
    [maxD, index] = sort(d);  
      
    %% 選取前k個最大的特征值  
    % maxD_k = maxD(1, (n-k+1):n);  
    index_k = index(1, (n-k+1):n);  
    % 對應(yīng)的特征向量  
    V_k = zeros(n,k);  
    for i = 1:k  
        V_k(:,i) = V(:,index_k(1,i));  
    end  
      
    %% 轉(zhuǎn)換到新的空間  
    FinalData = dataSetAdjust*V_k;  
      
    % 在原圖中找到這些點  
    reconData = FinalData * V_k';  
    for i = 1 : m  
        reconData(i , :) = reconData(i , :) + dataSetMean;  
    end  
end