機(jī)器學(xué)習(xí)既是藝術(shù)又是科學(xué)。但當(dāng)您查看機(jī)器學(xué)習(xí)算法時(shí)，沒有一種解決方案或一種適合所有情況的算法。有幾個(gè)因素會(huì)影響您選擇哪種機(jī)器學(xué)習(xí)。

有些問題非常具體，需要采取獨(dú)特的方法。例如，如果您使用推薦系統(tǒng)，這是一種非常常見的機(jī)器學(xué)習(xí)算法，解決的是非常具體的問題。而其他問題非常開放，則需要試錯(cuò)的方法去解決。監(jiān)督學(xué)習(xí)、分類和回歸都是非常開放的。它們可以用于異常檢測(cè)，或者用來打造更通用的預(yù)測(cè)模型。。

我們?cè)谶x擇機(jī)器學(xué)習(xí)算法時(shí)所做的一些決定，更多地取決于商業(yè)決策，而不是優(yōu)化或者算法的技術(shù)面。在下文中，我們將討論有助于縮小機(jī)器學(xué)習(xí)算法選擇范圍的一些因素。

數(shù)據(jù)科學(xué)過程

在開始審視不同的機(jī)器學(xué)習(xí)算法之前，你必須對(duì)你的數(shù)據(jù)、面臨的問題和局限有一個(gè)清晰的認(rèn)識(shí)。

了解你的數(shù)據(jù)

在決定使用哪種算法時(shí)，必須考慮數(shù)據(jù)的類型和種類。一些算法只需要少量樣本，另一些則需要大量樣本。某些算法只能處理特定類型的數(shù)據(jù)。例如，樸素貝葉斯算法與分類數(shù)據(jù)相得益彰，但對(duì)缺失數(shù)據(jù)完全不敏感。

因此，您需要：

了解數(shù)據(jù)

1. 查看匯總統(tǒng)計(jì)信息和可視化

• 百分位數(shù)可以幫助確定大部分?jǐn)?shù)據(jù)的范圍
• 平均值和中位數(shù)可以描述集中趨勢(shì)
• 相關(guān)性可以指明緊密的關(guān)系

1. 可視化數(shù)據(jù)

• 箱形圖可以識(shí)別異常值
• 密度圖和直方圖顯示數(shù)據(jù)的分布
• 散點(diǎn)圖可以描述雙變量關(guān)系

清理數(shù)據(jù)

1. 處理缺失值。缺失數(shù)據(jù)對(duì)某些模型的影響超過了對(duì)其他模型的影響。即便是對(duì)能夠處理缺失數(shù)據(jù)的模型來說，它們也可能受到影響（某些變量的缺失數(shù)據(jù)會(huì)導(dǎo)致糟糕的預(yù)測(cè)）。
2. 選擇如何處理異常值

• 異常值在多維數(shù)據(jù)中非常常見。
• 一些模型對(duì)異常值的敏感性低于其他模型。通常，樹模型對(duì)異常值的存在不太敏感。但是，回歸模型或任何嘗試使用等式的模型肯定會(huì)受到異常值的影響。
• 異常值可能是數(shù)據(jù)收集不正確的結(jié)果，也可能是真實(shí)的極端值。

3.數(shù)據(jù)是否需要匯總

增強(qiáng)數(shù)據(jù)

1. 特征工程是從原始數(shù)據(jù)到建?？捎脭?shù)據(jù)的過程。這有幾個(gè)目的：

• 使模型更易于解釋（比如分箱）
• 抓取更復(fù)雜的關(guān)系（比如神經(jīng)網(wǎng)絡(luò)）
• 減少數(shù)據(jù)冗余和維度（比如主成分分析）
• 重新縮放變量（比如標(biāo)準(zhǔn)化或正則化）

2.不同的模型可能對(duì)特征工程有不同的要求。一些要求已經(jīng)內(nèi)置到特征工程中。

問題歸類

下一步是對(duì)問題進(jìn)行歸類。這分兩步。

1. 按輸入數(shù)據(jù)分類：

• 如果是標(biāo)簽數(shù)據(jù)，那就是監(jiān)督學(xué)習(xí)問題。
• 如果是無(wú)標(biāo)簽數(shù)據(jù)，想找到結(jié)構(gòu)，那就是非監(jiān)督學(xué)習(xí)問題。
• 如果想通過與環(huán)境互動(dòng)來優(yōu)化一個(gè)目標(biāo)函數(shù)，那就是強(qiáng)化學(xué)習(xí)問題。

2.按輸出數(shù)據(jù)分類。

• 如果模型的輸出數(shù)據(jù)是一個(gè)數(shù)字，那就是回歸問題。
• 如果模型的輸出數(shù)據(jù)是一個(gè)類，那就是分類問題。
• 如果模型的輸出數(shù)據(jù)是一組輸入數(shù)據(jù)，那就是聚類問題。
• 是不是想檢測(cè)一個(gè)異常？那就是異常檢測(cè)。

了解你的限制

• **數(shù)據(jù)存儲(chǔ)能力如何？**根據(jù)系統(tǒng)的存儲(chǔ)能力，你可能無(wú)法存儲(chǔ)大量的分類/回歸模型或者待聚類的大量數(shù)據(jù)。例如，嵌入式系統(tǒng)就是這樣。
• **是否必須迅速作出預(yù)測(cè)？**在實(shí)時(shí)應(yīng)用中，盡可能快地作出預(yù)測(cè)顯然非常重要。例如，在自動(dòng)駕駛時(shí)，必須盡可能快地對(duì)道路標(biāo)志進(jìn)行分類，以免發(fā)生事故。
• **是否必須迅速學(xué)習(xí)？**在某些情況下，快速訓(xùn)練模型是必需的。有時(shí)，你需要在匆忙之中用不同的數(shù)據(jù)集迅速更新你的模型。

查找可用的算法

你已經(jīng)對(duì)自己的處境有了一個(gè)清晰的認(rèn)識(shí)，接下來是識(shí)別適用的、利用手中工具可以實(shí)際執(zhí)行的算法。影響模型選擇的因素包括：

• 模型是否符合商業(yè)目標(biāo)
• 模型需要多大程度的預(yù)處理
• 模型的準(zhǔn)確性
• 模型的可解釋性
• 模型的速度：建立模型需要多久，模型作出預(yù)測(cè)需要多久
• 模型的擴(kuò)展性

影響算法選擇的一個(gè)重要標(biāo)準(zhǔn)是模型的復(fù)雜性。一般來說，更復(fù)雜的模型：

• 需要更多的特征來學(xué)習(xí)和預(yù)測(cè)（比如使用兩個(gè)特征VS使用10個(gè)特征來預(yù)測(cè)一個(gè)目標(biāo)）
• 需要更復(fù)雜的特征工程（比如使用多項(xiàng)式項(xiàng)、交互關(guān)系或主成分）
• 需要更大的計(jì)算開銷（比如1顆決策樹VS由100顆決策樹組成的隨機(jī)森林）

此外，同一種機(jī)器學(xué)習(xí)算法會(huì)因?yàn)閰?shù)的數(shù)量或者對(duì)某些超參數(shù)的選擇而變得更加復(fù)雜。例如：

• 一個(gè)回歸模型可能擁有更多的特征或者多項(xiàng)式項(xiàng)和交互項(xiàng)。
• 一顆決策樹可能擁有更大或更小的深度。

使同一算法更復(fù)雜，這會(huì)增加過擬合的幾率。

常用的機(jī)器學(xué)習(xí)算法

線性回歸

這可能是最簡(jiǎn)單的機(jī)器學(xué)習(xí)算法。當(dāng)你想計(jì)算某個(gè)連續(xù)值的時(shí)候，可以使用回歸算法，而分類算法的輸出數(shù)據(jù)是類。所以，每當(dāng)你要預(yù)測(cè)一個(gè)正在進(jìn)行當(dāng)中的過程的某個(gè)未來值時(shí)，你可以使用回歸算法。但線性回歸在特征冗余（也就是存在多重共線性）的情況下會(huì)不穩(wěn)定。

線性回歸的幾個(gè)用例：

• 是時(shí)候從一個(gè)地方到另一個(gè)地方
• 預(yù)測(cè)特定產(chǎn)品在下個(gè)月的銷量
• 血液酒精含量對(duì)身體協(xié)調(diào)性的影響
• 預(yù)測(cè)每月禮品卡銷量和改善每年收入預(yù)期

邏輯回歸

邏輯回歸進(jìn)行二元分類，所以輸出數(shù)據(jù)是二元的。這種算法把非線性函數(shù)（sigmoid）應(yīng)用于特征的線性組合，所以它是一個(gè)非常小的神經(jīng)網(wǎng)絡(luò)實(shí)例。

邏輯回歸提供了模型正則化的很多方法，不必?fù)?dān)心特征是否相關(guān)，就像使用樸素貝葉斯算法的時(shí)候一樣。與決策樹和支持向量機(jī)相比，邏輯回歸提供了出色的概率解釋，能輕易地用新數(shù)據(jù)來更新模型。如果想建立一個(gè)概率框架，或者希望以后將更多的訓(xùn)練數(shù)據(jù)迅速整合到模型中，可以使用邏輯回歸。這種算法還能幫助你了解預(yù)測(cè)背后的貢獻(xiàn)因素，不是一種黑箱方法。

邏輯回歸的幾個(gè)用例：

• 預(yù)測(cè)客戶流失
• 信用評(píng)分和欺詐檢測(cè)
• 衡量營(yíng)銷活動(dòng)的效果

決策樹

人們很少使用單一的決策樹，但與其他很多決策樹結(jié)合起來，就能變成非常有效的算法，比如隨機(jī)森林和梯度提升樹。

**決策樹可以輕松地處理特征的交互關(guān)系，并且是非參數(shù)化的，所以不必?fù)?dān)心離群值或者數(shù)據(jù)是否線性可分。**缺點(diǎn)是不支持在線學(xué)習(xí)，所以在新樣本到來時(shí)，必須重建決策樹。另一個(gè)缺點(diǎn)是容易過擬合，但隨機(jī)森林和提升樹等集成方法可以克服這一缺點(diǎn)。決策樹還會(huì)占用很多內(nèi)存（特征越多，決策樹就可能越深、越大）。

決策樹是幫助你在幾個(gè)行動(dòng)方案之間作出選擇的出色工具。

• 投資決策
• 客戶流失
• 銀行貸款違約人
• 自建VS購(gòu)買決策
• 銷售線索資質(zhì)

K-means

有時(shí)，你不知道任何標(biāo)簽，你的目標(biāo)是根據(jù)對(duì)象的特征賦予標(biāo)簽。這被稱為聚類任務(wù)。聚類算法的一個(gè)用例是根據(jù)某些共同屬性，將一大群用戶分組。

如果在你的問題陳述中，存在“這是如何組織的”等疑問，或者要求將某物分組或聚焦于特定的組，那么你應(yīng)該采用聚類算法。

K-Means的最大缺點(diǎn)，在于必須事先知道你的數(shù)據(jù)中將有多少個(gè)簇。因此，這可能需要進(jìn)行很多的嘗試，來“猜測(cè)”簇的最佳K值。

主成分分析（PCA）

PCA能降維。有時(shí)，數(shù)據(jù)的特征很廣泛，可能彼此高度相關(guān)，在數(shù)據(jù)量大的情況下，模型容易過擬合。這時(shí)可以使用PCA。

PCA大受歡迎的一個(gè)關(guān)鍵，在于除了樣本的低維表示以外，它還提供了變量的同步低維表示。同步的樣本和變量表示提供了以可視方式尋找一組樣本的特征變量。

支持向量機(jī)（SVM）

SVM是一種監(jiān)督學(xué)習(xí)方法，被廣泛用于模式識(shí)別和分類問題（前提是數(shù)據(jù)只有兩類）。

SVM的優(yōu)點(diǎn)是精度高，對(duì)避免過擬合有很好的理論保障，而且只要有了適當(dāng)?shù)暮撕瘮?shù)，哪怕數(shù)據(jù)在基本特征空間中不是線性可分的，SVM也能運(yùn)行良好。在解決高維空間是常態(tài)的文本分類問題時(shí)，SVM特別受歡迎。SVM的缺點(diǎn)是消耗大量?jī)?nèi)存、難以解釋和不易調(diào)參。

SVM在現(xiàn)實(shí)中的幾個(gè)應(yīng)用：

• 探測(cè)常見疾?。ū热缣悄虿。┗颊?
• 手寫文字識(shí)別
• 文本分類——按話題劃分的新聞報(bào)道
• 股價(jià)預(yù)測(cè)

樸素貝葉斯

這是一種基于貝葉斯定理的分類方法，很容易構(gòu)建，對(duì)大數(shù)據(jù)集特別有用。除了具有簡(jiǎn)單的優(yōu)點(diǎn)以外，樸素貝葉斯甚至好于某些高度復(fù)雜的分類方法。在CPU和內(nèi)存資源是限制因素的情況下，樸素貝葉斯也是很好的選擇。

樸素貝葉斯超級(jí)簡(jiǎn)單，只需要做些算術(shù)即可。如果樸素貝葉斯關(guān)于條件獨(dú)立的假設(shè)確實(shí)成立，那么樸素貝葉斯分類器將比邏輯回歸等判別模型更快地收斂，因此你需要的訓(xùn)練數(shù)據(jù)更少。即使假設(shè)不成立，樸素貝葉斯分類器在實(shí)踐中仍然常常表現(xiàn)不俗。如果你需要的是快速簡(jiǎn)單且表現(xiàn)出色，樸素貝葉斯將是不錯(cuò)的選擇。其主要缺點(diǎn)是學(xué)習(xí)不了特征間的交互關(guān)系。

樸素貝葉斯在現(xiàn)實(shí)中的幾個(gè)應(yīng)用：

• 情感分析和文本分類
• 推薦系統(tǒng)，比如Netflix和亞馬遜
• 把電子郵件標(biāo)記為垃圾郵件或者非垃圾郵件
• 面部識(shí)別

隨機(jī)森林

隨機(jī)森林包含多顆決策樹。它能解決擁有大數(shù)據(jù)集的回歸和分類問題，還有助于從眾多的輸入變量中識(shí)別最重要的變量。隨機(jī)森林可擴(kuò)展到任意維數(shù)，其表現(xiàn)通常是可接受的。遺傳算法可擴(kuò)展到任何維度以及對(duì)數(shù)據(jù)本身知之甚少的任何數(shù)據(jù)，微生物遺傳算法實(shí)現(xiàn)起來代價(jià)最低、最簡(jiǎn)單。但隨機(jī)森林的學(xué)習(xí)速度可能很慢（取決于參數(shù)化），而且不可能迭代地改進(jìn)生成模型。

隨機(jī)森林在現(xiàn)實(shí)中的幾個(gè)應(yīng)用：

• 預(yù)測(cè)高風(fēng)險(xiǎn)患者
• 預(yù)測(cè)制造業(yè)的零件故障
• 預(yù)測(cè)貸款違約人

神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)包含神經(jīng)元之間的連接權(quán)重。權(quán)重是平衡的，在學(xué)習(xí)數(shù)據(jù)點(diǎn)后繼續(xù)學(xué)習(xí)數(shù)據(jù)點(diǎn)。所有權(quán)重被訓(xùn)練后，神經(jīng)網(wǎng)絡(luò)可以用來預(yù)測(cè)類或者量，如果發(fā)生了一個(gè)新的輸入數(shù)據(jù)點(diǎn)的回歸。用神經(jīng)網(wǎng)絡(luò)可以訓(xùn)練極其復(fù)雜的模型，它們能作為黑箱，不必在訓(xùn)練模型之前進(jìn)行不可預(yù)測(cè)的、復(fù)雜的特征工程。再加上“深度方法”，即便是更加不可預(yù)測(cè)的模型也能被用來實(shí)現(xiàn)新的可能性。例如，利用深度神經(jīng)網(wǎng)絡(luò)，對(duì)象識(shí)別近期取得巨大進(jìn)步。應(yīng)用于非監(jiān)督學(xué)習(xí)任務(wù)，比如特征提取，深度學(xué)習(xí)還能從原始圖像或語(yǔ)音中提取特征，不需要太多的人類干預(yù)。

另一方面，神經(jīng)網(wǎng)絡(luò)非常難以解釋說明，參數(shù)化極其令人頭疼，而且非常耗費(fèi)資源和內(nèi)存。

Scikit速查表

scikit-learn提供了一張非常深入、清晰易懂的流程圖，幫助你選擇適當(dāng)?shù)乃惴ǎ闷饋矸浅７奖恪?

總結(jié)

通常來說，你可以參考以上內(nèi)容，縮小算法選擇的范圍，但一開始很難知道哪個(gè)算法最適合你。最好是迭代篩選。把你的數(shù)據(jù)輸入你認(rèn)為可能是佳選擇的機(jī)器學(xué)習(xí)算法，并行或依次運(yùn)行這些算法，最后評(píng)估算法的表現(xiàn)，選出最好的那個(gè)。

最后，為現(xiàn)實(shí)問題設(shè)計(jì)恰當(dāng)?shù)慕鉀Q方案不僅僅是一個(gè)應(yīng)用數(shù)學(xué)問題，還需要考慮商業(yè)需求、規(guī)章制度、利益相關(guān)者的關(guān)切和相當(dāng)多的專業(yè)知識(shí)。在解決一個(gè)機(jī)器問題時(shí)，結(jié)合和平衡這幾個(gè)方面至關(guān)重要。能做到這一點(diǎn)的人才能創(chuàng)造最大的價(jià)值。

原文鏈接：https://hackernoon.com/choosing-the-right-machine-learning-algorithm-68126944ce1f