數(shù)據(jù)挖掘十大算法總結(jié)--核心思想，算法優(yōu)缺點(diǎn)，應(yīng)用領(lǐng)域，數(shù)據(jù)挖掘優(yōu)缺點(diǎn)

本文所涉算法均只概述核心思想，具體實(shí)現(xiàn)細(xì)節(jié)參看“數(shù)據(jù)挖掘算法學(xué)習(xí)”分類下其他文章，不定期更新中。轉(zhuǎn)載請注明出處，謝謝。

參考了許多資料加上個人理解，對十大算法進(jìn)行如下分類：

?分類算法：C4.5,CART,Adaboost,NaiveBayes,KNN,SVM

?聚類算法：KMeans

?統(tǒng)計(jì)學(xué)習(xí)：EM

?關(guān)聯(lián)分析：Apriori

?鏈接挖掘：PageRank

其中，EM算法雖可以用來聚類，但是由于EM算法進(jìn)行迭代速度很慢，比kMeans性能差很多，并且KMeans算法 聚類效果沒有比EM差多少，所以一般用kMeans進(jìn)行聚類，而不是EM。EM算法的主要作用是用來進(jìn)行參數(shù)估計(jì)，故將其分入統(tǒng)計(jì)學(xué)習(xí)類。SVM算法在回歸分析，統(tǒng)計(jì)方面也有不小的貢獻(xiàn)，并且在分類算法中也占有一定地位，思考了下還是將SVM分入分類算法中。對分類有不同看法的讀者歡迎留言討論。

以下逐一介紹。

分類算法--C4.5 詳細(xì)講解參見數(shù)據(jù)挖掘算法學(xué)習(xí)（五）C4.5算法

?核心思想：以信息增益率為衡量標(biāo)準(zhǔn)實(shí)現(xiàn)對數(shù)據(jù)歸納分類

?算法優(yōu)點(diǎn)：產(chǎn)生的分類規(guī)則易于理解，準(zhǔn)確率較高

?算法缺點(diǎn)：在構(gòu)造樹的過程中，需要對數(shù)據(jù)集進(jìn)行多次的順序掃描和排序，因而導(dǎo)致算法的低效

?應(yīng)用領(lǐng)域：臨床決策、生產(chǎn)制造、文檔分析、生物信息學(xué)、空間數(shù)據(jù)建模等

分類算法--CART  詳細(xì)講解參見數(shù)據(jù)挖掘算法學(xué)習(xí)（六）CART算法

?核心思想：以基于最小距離的尼基指數(shù)估計(jì)函數(shù)為衡量標(biāo)準(zhǔn)對數(shù)據(jù)進(jìn)行遞歸分類

?算法優(yōu)點(diǎn)：抽取規(guī)則簡便且易于理解；面對存在缺失值、變量數(shù)多等問題時非常穩(wěn)健

?算法缺點(diǎn)：要求被選擇的屬性只能產(chǎn)生兩個子節(jié)點(diǎn)；類別過多時，錯誤可能增加的較快

?應(yīng)用領(lǐng)域：信息失真識別，電信業(yè)潛在客戶識別，預(yù)測貸款風(fēng)險(xiǎn)等等

分類算法--Adaboost 詳細(xì)講解參見數(shù)據(jù)挖掘算法學(xué)習(xí)（八）Adaboost算法

?核心思想：針對同一個訓(xùn)練集訓(xùn)練不同的分類器(弱分類器)，然后把這些弱分類器集合起來，構(gòu)成一個更強(qiáng)的最終分類器(強(qiáng)分類器)

?算法優(yōu)點(diǎn)：高精度，簡單無需做特征篩選，不會過度擬合

?算法缺點(diǎn)：訓(xùn)練時間過長，執(zhí)行效果依賴于弱分類器的選擇

?應(yīng)用領(lǐng)域：廣泛應(yīng)用于人臉檢測、目標(biāo)識別等領(lǐng)域

分類算法--NaiveBayes 詳細(xì)講解參見數(shù)據(jù)挖掘算法學(xué)習(xí)（三）NaiveBayes算法

?核心思想：通過某對象的先驗(yàn)概率，利用貝葉斯公式計(jì)算出其后驗(yàn)概率，即該對象屬于某一類的概率，選擇具有最大后驗(yàn)概率的類作為該對象所屬的類

?算法優(yōu)點(diǎn)：算法簡單，所需估計(jì)的參數(shù)很少，對缺失數(shù)據(jù)不太敏感

?算法缺點(diǎn)：屬性個數(shù)比較多或者屬性之間相關(guān)性較大時，分類效率下降

?應(yīng)用領(lǐng)域：垃圾郵件過濾，文本分類

分類算法--KNN

?核心思想：如果一個樣本在特征空間中的k個最相似(即特征空間中最鄰近)的樣本中的大多數(shù)屬于某一個類別，則該樣本也屬于這個類別

?算法優(yōu)點(diǎn)：簡單，無需估計(jì)參數(shù)，無需訓(xùn)練，適合于多分類問題

?算法缺點(diǎn)：計(jì)算量較大；可解釋性較差，無法給出決策樹那樣的規(guī)則

?應(yīng)用領(lǐng)域：客戶流失預(yù)測、欺詐偵測等（更適合于稀有事件的分類問題）

分類算法--SVM 詳細(xì)講解參見數(shù)據(jù)挖掘算法學(xué)習(xí)（七）SVM算法

?核心思想：建立一個最優(yōu)決策超平面，使得該平面兩側(cè)距離平面最近的兩類樣本之間的距離最大化，從而對分類問題提供良好的泛化能力

?算法優(yōu)點(diǎn)：更好的泛化能力，解決非線性問題的同時避免維度災(zāi)難，可找到全局最優(yōu)

?算法缺點(diǎn)：運(yùn)算效率低，計(jì)算時占用資源過大

?應(yīng)用領(lǐng)域：遙感圖像分類，污水處理過程運(yùn)行狀態(tài)監(jiān)控等

聚類算法--KMeans   詳細(xì)講解參見數(shù)據(jù)挖掘算法學(xué)習(xí)（一）KMeans算法

?核心思想：輸入聚類個數(shù)k，以及包含n個數(shù)據(jù)對象的數(shù)據(jù)庫，輸出滿足方差最小標(biāo)準(zhǔn)的k個聚類

?算法優(yōu)點(diǎn)：運(yùn)算速度快

?算法缺點(diǎn)：聚類數(shù)目k是一個輸入?yún)?shù)，不合適的k值可能返回較差的結(jié)果

?應(yīng)用領(lǐng)域：圖片分割，分析商品相似度進(jìn)而歸類商品，分析公司的客戶分類以使用不同的商業(yè)策略

統(tǒng)計(jì)學(xué)習(xí)--EM

?核心思想：通過E步驟和M步驟使得期望最大化

?算法優(yōu)點(diǎn)：簡單穩(wěn)定

?算法缺點(diǎn)：迭代速度慢，次數(shù)多，容易陷入局部最優(yōu)

?應(yīng)用領(lǐng)域：參數(shù)估計(jì)，計(jì)算機(jī)視覺的數(shù)據(jù)集聚

關(guān)聯(lián)分析--Apriori

?核心思想：基于兩階段頻集思想挖掘關(guān)聯(lián)規(guī)則的算法

?算法優(yōu)點(diǎn)：簡單、易理解、數(shù)據(jù)要求低

?算法缺點(diǎn)：I/O負(fù)載大，產(chǎn)生過多的候選項(xiàng)目集

?應(yīng)用領(lǐng)域：消費(fèi)市場價格分析，入侵檢測，移動通信領(lǐng)域

鏈接挖掘--PageRank

?核心思想：基于從許多優(yōu)質(zhì)的網(wǎng)頁鏈接過來的網(wǎng)頁，必定還是優(yōu)質(zhì)網(wǎng)頁的回歸關(guān)系，來判定所有網(wǎng)頁的重要性

?算法優(yōu)點(diǎn)：完全獨(dú)立于查詢，只依賴于網(wǎng)頁鏈接結(jié)構(gòu)，可以離線計(jì)算

?算法缺點(diǎn)：忽略了網(wǎng)頁搜索的時效性；舊網(wǎng)頁排序很高，存在時間長，積累了大量的in-links，擁有最新資訊的新網(wǎng)頁排名卻很低，因?yàn)樗鼈儙缀鯖]有in-links

?應(yīng)用領(lǐng)域：頁面排序

國際權(quán)威的學(xué)術(shù)組織the IEEE International Conference on Data Mining (ICDM) 2006年12月評選出了數(shù)據(jù)挖掘領(lǐng)域的十大經(jīng)典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART.
不僅僅是選中的十大算法，其實(shí)參加評選的18種算法，實(shí)際上隨便拿出一種來都可以稱得上是經(jīng)典算法，它們在數(shù)據(jù)挖掘領(lǐng)域都產(chǎn)生了極為深遠(yuǎn)的影響。
1. C4.5
C4.5算法是機(jī)器學(xué)習(xí)算法中的一種分類決策樹算法,其核心算法是ID3算法. C4.5算法繼承了ID3算法的優(yōu)點(diǎn)，并在以下幾方面對ID3算法進(jìn)行了改進(jìn)：
1) 用信息增益率來選擇屬性，克服了用信息增益選擇屬性時偏向選擇取值多的屬性的不足；
2) 在樹構(gòu)造過程中進(jìn)行剪枝；
3) 能夠完成對連續(xù)屬性的離散化處理；
4) 能夠?qū)Σ煌暾麛?shù)據(jù)進(jìn)行處理。
C4.5算法有如下優(yōu)點(diǎn)：產(chǎn)生的分類規(guī)則易于理解，準(zhǔn)確率較高。其缺點(diǎn)是：在構(gòu)造樹的過程中，需要對數(shù)據(jù)集進(jìn)行多次的順序掃描和排序，因而導(dǎo)致算法的低效。
2. The k-means algorithm 即K-Means算法
k-means algorithm算法是一個聚類算法，把n的對象根據(jù)他們的屬性分為k個分割，k < n。它與處理混合正態(tài)分布的最大期望算法很相似，因?yàn)樗麄兌荚噲D找到數(shù)據(jù)中自然聚類的中心。它假設(shè)對象屬性來自于空間向量，并且目標(biāo)是使各個群組內(nèi)部的均 方誤差總和最小。
3. Support vector machines
支持向量機(jī)，英文為Support Vector Machine，簡稱SV機(jī)（論文中一般簡稱SVM）。它是一種監(jiān)督式學(xué)習(xí)的方法，它廣泛的應(yīng)用于統(tǒng)計(jì)分類以及回歸分析中。支持向量機(jī)將向量映射到一個更 高維的空間里，在這個空間里建立有一個最大間隔超平面。在分開數(shù)據(jù)的超平面的兩邊建有兩個互相平行的超平面。分隔超平面使兩個平行超平面的距離最大化。假 定平行超平面間的距離或差距越大，分類器的總誤差越小。一個極好的指南是C.J.C Burges的《模式識別支持向量機(jī)指南》。van der Walt 和 Barnard 將支持向量機(jī)和其他分類器進(jìn)行了比較。
4. The Apriori algorithm
Apriori算法是一種最有影響的挖掘布爾關(guān)聯(lián)規(guī)則頻繁項(xiàng)集的算法。其核心是基于兩階段頻集思想的遞推算法。該關(guān)聯(lián)規(guī)則在分類上屬于單維、單層、布爾關(guān)聯(lián)規(guī)則。在這里，所有支持度大于最小支持度的項(xiàng)集稱為頻繁項(xiàng)集，簡稱頻集。
5. 最大期望(EM)算法
在統(tǒng)計(jì)計(jì)算中，最大期望（EM，Expectation–Maximization）算法是在概率（probabilistic）模型中尋找參數(shù)最大似然 估計(jì)的算法，其中概率模型依賴于無法觀測的隱藏變量（Latent Variabl）。最大期望經(jīng)常用在機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺的數(shù)據(jù)集聚（Data Clustering）領(lǐng)域。
6. PageRank
PageRank是Google算法的重要內(nèi)容。2001年9月被授予美國專利，專利人是Google創(chuàng)始人之一拉里·佩奇（Larry Page）。因此，PageRank里的page不是指網(wǎng)頁，而是指佩奇，即這個等級方法是以佩奇來命名的。
PageRank根據(jù)網(wǎng)站的外部鏈接和內(nèi)部鏈接的數(shù)量和質(zhì)量倆衡量網(wǎng)站的價值。PageRank背后的概念是，每個到頁面的鏈接都是對該頁面的一次投票， 被鏈......余下全文>>

有十大經(jīng)典算法： 我是看譚磊的那本書學(xué)的。。。
下面是網(wǎng)站給出的答案：
1. C4.5
C4.5算法是機(jī)器學(xué)習(xí)算法中的一種分類決策樹算法,其核心算法是ID3算法. C4.5算法繼承了ID3算法的優(yōu)點(diǎn)，并在以下幾方面對ID3算法進(jìn)行了改進(jìn)：
1) 用信息增益率來選擇屬性，克服了用信息增益選擇屬性時偏向選擇取值多的屬性的不足；
2) 在樹構(gòu)造過程中進(jìn)行剪枝；
3) 能夠完成對連續(xù)屬性的離散化處理；
4) 能夠?qū)Σ煌暾麛?shù)據(jù)進(jìn)行處理。
C4.5算法有如下優(yōu)點(diǎn)：產(chǎn)生的分類規(guī)則易于理解，準(zhǔn)確率較高。其缺點(diǎn)是：在構(gòu)造樹的過程中，需要對數(shù)據(jù)集進(jìn)行多次的順序掃描和排序，因而導(dǎo)致算法的低效。
2. The k-means algorithm 即K-Means算法
k-means algorithm算法是一個聚類算法，把n的對象根據(jù)他們的屬性分為k個分割，k < n。它與處理混合正態(tài)分布的最大期望算法很相似，因?yàn)樗麄兌荚噲D找到數(shù)據(jù)中自然聚類的中心。它假設(shè)對象屬性來自于空間向量，并且目標(biāo)是使各個群組內(nèi)部的均 方誤差總和最小。
3. Support vector machines
支持向量機(jī)，英文為Support Vector Machine，簡稱SV機(jī)（論文中一般簡稱SVM）。它是一種監(jiān)督式學(xué)習(xí)的方法，它廣泛的應(yīng)用于統(tǒng)計(jì)分類以及回歸分析中。支持向量機(jī)將向量映射到一個更 高維的空間里，在這個空間里建立有一個最大間隔超平面。在分開數(shù)據(jù)的超平面的兩邊建有兩個互相平行的超平面。分隔超平面使兩個平行超平面的距離最大化。假 定平行超平面間的距離或差距越大，分類器的總誤差越小。一個極好的指南是C.J.C Burges的《模式識別支持向量機(jī)指南》。van der Walt 和 Barnard 將支持向量機(jī)和其他分類器進(jìn)行了比較。
4. The Apriori algorithm
Apriori算法是一種最有影響的挖掘布爾關(guān)聯(lián)規(guī)則頻繁項(xiàng)集的算法。其核心是基于兩階段頻集思想的遞推算法。該關(guān)聯(lián)規(guī)則在分類上屬于單維、單層、布爾關(guān)聯(lián)規(guī)則。在這里，所有支持度大于最小支持度的項(xiàng)集稱為頻繁項(xiàng)集，簡稱頻集。
5. 最大期望(EM)算法
在統(tǒng)計(jì)計(jì)算中，最大期望（EM，Expectation–Maximization）算法是在概率（probabilistic）模型中尋找參數(shù)最大似然 估計(jì)的算法，其中概率模型依賴于無法觀測的隱藏變量（Latent Variabl）。最大期望經(jīng)常用在機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺的數(shù)據(jù)集聚（Data Clustering）領(lǐng)域。
6. PageRank
PageRank是Google算法的重要內(nèi)容。2001年9月被授予美國專利，專利人是Google創(chuàng)始人之一拉里·佩奇（Larry Page）。因此，PageRank里的page不是指網(wǎng)頁，而是指佩奇，即這個等級方法是以佩奇來命名的。
PageRank根據(jù)網(wǎng)站的外部鏈接和內(nèi)部鏈接的數(shù)量和質(zhì)量倆衡量網(wǎng)站的價值。PageRank背后的概念是，每個到頁面的鏈接都是對該頁面的一次投票， 被鏈接的越多，就意味著被其他網(wǎng)站投票越多。這個就是所謂的“鏈接流行度”——衡量多少人愿意將他們的網(wǎng)站和你的網(wǎng)站掛鉤。PageRank這個概念引自 學(xué)術(shù)中一篇論文的被引述的頻度——即被別人引述的次數(shù)越多，一般判斷這篇論文的共識性就越高。
7. AdaBoost
Adaboost是一種迭代算法，其核心思想是針對同一個訓(xùn)練集訓(xùn)練不同的分類器(弱分類器)，然后把這些弱分類器集合起來，構(gòu)成一個更強(qiáng)的最終分類器