機(jī)器學(xué)習(xí)的第一步：先學(xué)會(huì)這6種常用算法

機(jī)器學(xué)習(xí)領(lǐng)域不乏算法，但眾多的算法中什么是最重要的?哪種是最適合您使用的?哪些又是互補(bǔ)的?使用選定資源的最佳順序是什么?今天筆者就帶大家一起來分析一下。

通用的機(jī)器學(xué)習(xí)算法包括：

* 決策樹方法

* SVM

* 樸素貝葉斯方法

* KNN

* K均值

* 隨機(jī)森林方法

下圖是使用Python代碼和R代碼簡要說明的常見機(jī)器學(xué)習(xí)算法。

決策樹方法

決策樹是一種主要用于分類問題的監(jiān)督學(xué)習(xí)算法，它不僅適用于分類，同時(shí)也適用于連續(xù)因變量。在這個(gè)算法中，把種群組分為兩個(gè)或兩個(gè)以上更多的齊次集合。基于顯著的屬性和獨(dú)立變量使群組盡可能地不同。

Python代碼：

R代碼：

SVM

SVM屬于分類方法的一種。在這個(gè)算法中，可以將每個(gè)數(shù)據(jù)項(xiàng)繪制成一個(gè)n維空間中的一個(gè)點(diǎn)(其中n是擁有的特征數(shù)量)，每個(gè)特征的值都是一個(gè)特定坐標(biāo)的值。例如，我們只有兩個(gè)特征：身高和頭發(fā)長度，首先將這兩個(gè)變量繪制在一個(gè)二維空間中，每個(gè)點(diǎn)有兩個(gè)坐標(biāo)(稱為支持向量)。然后找到一些能將兩個(gè)不同分類的數(shù)據(jù)組之間進(jìn)行分割的數(shù)據(jù)。

Python代碼：

R代碼：

樸素貝葉斯方法

這是一種基于貝葉斯定理的分類技術(shù)，在預(yù)測變量之間建立獨(dú)立的假設(shè)。簡而言之，樸素貝葉斯分類器假定類中特定特征的存在與任何其他特征存在之間無關(guān)。樸素貝葉斯模型很容易構(gòu)建，對于大型的數(shù)據(jù)集來說，樸素貝葉斯模型特別有用。最讓人心動(dòng)的是，雖然樸素貝葉斯算法很簡單，但它的表現(xiàn)不亞于高度復(fù)雜的分類方法。

貝葉斯定理提供了一種計(jì)算P(c)，P(x)和P(x | c)的后驗(yàn)概率的方法：P(c | x)。

P(c | x)是給定預(yù)測器(屬性)的類(目標(biāo))的后驗(yàn)概率。

P(c)是類的先驗(yàn)概率。

P(x | c)是預(yù)測器給定類的概率的可能性。

P(x)是預(yù)測器的先驗(yàn)概率。

Python代碼：

R代碼：

KNN

KNN可以用于分類和回歸問題。但在機(jī)器學(xué)習(xí)行業(yè)中分類問題更為廣泛。K近鄰是一種簡單的算法，存儲(chǔ)所有可用的案例，并通過其K個(gè)鄰居的投票情況來分類新案例。KNN方法可以很容易地映射到我們的真實(shí)生活中，例如想了解一個(gè)陌生人，最好的方法可能就是從他的好朋友和生活子中獲得信息!

選擇KNN之前需要考慮的事項(xiàng)：

* 計(jì)算上昂貴。

* 變量需要被標(biāo)準(zhǔn)化，否則較高范圍的變量可能會(huì)產(chǎn)生偏差。

* 在進(jìn)行KNN之前，要進(jìn)行很多預(yù)處理階段工作。

Python代碼：

R代碼

K均值

K均值是一種解決聚類問題的無監(jiān)督算法。其過程遵循一個(gè)簡單易行的方法，通過一定數(shù)量的集群(假設(shè)K個(gè)聚類)對給定的數(shù)據(jù)集進(jìn)行分類。集群內(nèi)的數(shù)據(jù)點(diǎn)對同組來說是同質(zhì)且異構(gòu)的。

K-均值是如何形成一個(gè)集群：

* K-均值為每個(gè)群集選取K個(gè)點(diǎn)，稱為質(zhì)心。

* 每個(gè)數(shù)據(jù)點(diǎn)形成具有最接近的質(zhì)心的群集，即K個(gè)群集。

* 根據(jù)現(xiàn)有集群成員查找每個(gè)集群的質(zhì)心。篩選出新的質(zhì)心。

* 由于出現(xiàn)了有新的質(zhì)心，請重復(fù)步驟2和步驟3，從新質(zhì)心找到每個(gè)數(shù)據(jù)點(diǎn)的最近距離，并與新的K個(gè)聚類關(guān)聯(lián)。重復(fù)這個(gè)過程。

如何確定K的價(jià)值

在K-均值中，我們有集群，每個(gè)集群都有各自的質(zhì)心。集群內(nèi)質(zhì)心和數(shù)據(jù)點(diǎn)之差的平方和構(gòu)成了該集群的平方和的總和。另外，當(dāng)所有群集的平方和的總和被加上時(shí)，它成為群集解決方案的平方和的總和。隨著集群數(shù)量的增加，這個(gè)值會(huì)不斷下降，但如果繪制結(jié)果的話，您可能會(huì)看到，平方距離的總和急劇下降到某個(gè)K值，然后會(huì)減緩下降速度。在這里，可以找到最佳的集群數(shù)。

Python代碼：

R代碼：

隨機(jī)森林方法

隨機(jī)森林是一個(gè)決策樹集合的術(shù)語。在隨機(jī)森林里，我們有一系列被稱為森林的決策樹。為了根據(jù)屬性對一個(gè)新的對象進(jìn)行分類，每棵樹都給出了一個(gè)分類。

每棵樹形成過程如下：

* 如果訓(xùn)練集中的例數(shù)為N，則隨機(jī)抽取N個(gè)例樣本，并進(jìn)行替換。這個(gè)樣本將成為樹生長的的訓(xùn)練集。

* 如果有M個(gè)輸入變量，則指定一個(gè)數(shù)m << M，從M中隨機(jī)選擇每個(gè)m變量，并且使用m上的最佳劃分來分割節(jié)點(diǎn)。在森林生長期間，m的值保持不變。

* 讓每棵樹都盡可能地長到最大。

Python代碼：

R代碼：