入門級攻略：機(jī)器學(xué)習(xí) VS. 深度學(xué)習(xí)

機(jī)器學(xué)習(xí)和深度學(xué)習(xí)現(xiàn)在很火，你會發(fā)現(xiàn)突然間很多人都在談?wù)撍鼈儭Ｈ缦聢D所示，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的趨勢對比（來自Google trend，縱軸表示搜索熱度）：

本文將會以簡單易懂的語言及示例為大家詳細(xì)解釋深度學(xué)習(xí)和機(jī)器學(xué)習(xí)的區(qū)別，并介紹相關(guān)用途。

機(jī)器學(xué)習(xí)和深度學(xué)習(xí)簡介

機(jī)器學(xué)習(xí)

Tom Mitchell 關(guān)于機(jī)器學(xué)習(xí)的定義被廣泛引用，如下所示：

對于某類任務(wù)T和性能度量P，如果一個計算機(jī)程序在T上以P衡量的性能隨著經(jīng)驗(yàn)E而不斷自我完善，那么我們稱這個計算機(jī)程序在從經(jīng)驗(yàn)E學(xué)習(xí)。

“A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P if its performance at tasks in T, as measured by P, improves with experience E ”

上面的抽象定義可能使你感到困惑，相信下面幾個簡單的示例會讓你恍然大悟。

【例1 根據(jù)身高預(yù)測體重】

假設(shè)你要創(chuàng)建一個根據(jù)人的身高預(yù)測體重的系統(tǒng)。第一步是收集數(shù)據(jù)，收集完之后畫出數(shù)據(jù)分布圖如下所示。圖中的每個點(diǎn)都代表一條數(shù)據(jù)，橫坐標(biāo)表示身高，縱坐標(biāo)表示體重。

我們可以畫一條簡單的直線來根據(jù)身高預(yù)測體重，比如：

Weight (in kg) = Height (in cm) – 100

如果這條直線預(yù)測身高很準(zhǔn)確，那怎樣來衡量它的性能呢？比如以預(yù)測值和真實(shí)值之間的差值來衡量預(yù)測模型的性能。當(dāng)然，源數(shù)據(jù)越多，模型效果就越好。如果效果不好，那么可以使用其他方法來提升模型性能，如增加變量（如性別）或者改變預(yù)測直線。

【例2 風(fēng)暴預(yù)測系統(tǒng)】

假定要構(gòu)建一個風(fēng)暴預(yù)測系統(tǒng)，你手頭上有過去發(fā)生的風(fēng)暴數(shù)據(jù)以及這些風(fēng)暴發(fā)生前三個月的天氣數(shù)據(jù)。那么怎樣構(gòu)建一個風(fēng)暴預(yù)測系統(tǒng)呢？

首先要做的是清洗數(shù)據(jù)并找到數(shù)據(jù)中的隱藏模式，比如導(dǎo)致風(fēng)暴產(chǎn)生的條件。我們可以對一些條件建模，比如溫度是否大于40攝氏度，濕度是否介于80到100之間，然后將這些特征輸入模型。

你要做的就是充分利用歷史數(shù)據(jù)，然后預(yù)測是否會產(chǎn)生風(fēng)暴。在這個例子中，評價的指標(biāo)是正確預(yù)測風(fēng)暴發(fā)生的次數(shù)。我們可以重復(fù)預(yù)測過程多次，然后將性能結(jié)果返回系統(tǒng)。

回到最初機(jī)器學(xué)習(xí)的定義，我們將風(fēng)暴預(yù)測系統(tǒng)定義如下：任務(wù)T是找到造成風(fēng)暴的大氣條件，性能P是在模型參數(shù)學(xué)習(xí)好之后，正確預(yù)測的次數(shù)，經(jīng)驗(yàn)E是系統(tǒng)的迭代過程。

深度學(xué)習(xí)

深度學(xué)習(xí)其實(shí)很早之前就出現(xiàn)了，隨著近幾年的炒作，又逐漸火起來了。

深度學(xué)習(xí)是一種特殊的機(jī)器學(xué)習(xí)，它將現(xiàn)實(shí)世界表示為嵌套的層次概念體系（由較簡單概念間的聯(lián)系定義復(fù)雜概念，從一般抽象概括到高級抽象表示），從而獲得強(qiáng)大的性能與靈活性。

Deep learning is a particular kind of machine learning that achieves great power and flexibility by learning to represent the world as nested hierarchy of concepts, with each concept defined in relation to simpler concepts, and more abstract representations computed in terms of less abstract ones.

【例1 圖形檢測】

假設(shè)我們要將矩形和其他圖形區(qū)別開。人眼首先是檢測這個圖形是否有4條邊（簡單概念）。如果有4條邊，在檢測它們是否相連，閉合且垂直，以及是否相等（嵌套層次概念）。事實(shí)上，我們將一個復(fù)雜的任務(wù)（矩形識別）分解成一些簡單低抽象層次的任務(wù)。深度學(xué)習(xí)本質(zhì)上是在更大的范圍內(nèi)做這件事。

【例2 貓還是狗】

這個案例是構(gòu)建一個能夠識別圖片中動物是貓或者狗的系統(tǒng)。

如果使用機(jī)器學(xué)習(xí)解決這個問題，首先要定義一些特征，比如該動物是否有胡須、耳朵；如果有耳朵，那么耳朵是否是尖的。簡單地說，我們要定義面部特征，然后讓系統(tǒng)識別出在動物分類中哪些是重要特征。而深度學(xué)習(xí)會一次性完成這些任務(wù)，深度學(xué)習(xí)會自動找到對分類任務(wù)重要的特征，而機(jī)器學(xué)習(xí)不得不人工指定。

深入學(xué)習(xí)工作流程如下：

1. 首先在圖片中找到和貓或者狗最相關(guān)的邊界；

2. 然后找到形狀和邊界的組合，如是否能找到胡須和耳朵；

3. 在復(fù)雜概念的連續(xù)分層識別后，就能夠確定哪些特征對識別貓狗起重要作用。

機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的對比

數(shù)據(jù)依賴

深度學(xué)習(xí)和傳統(tǒng)機(jī)器學(xué)習(xí)最重要的區(qū)別是它的性能隨著數(shù)據(jù)量的增加而增強(qiáng)。如果數(shù)據(jù)很少，深度學(xué)習(xí)算法性能并不好，這是因?yàn)?a href='/map/shenduxuexi/' style='color:#000;font-size:inherit;'>深度學(xué)習(xí)算法需要大量數(shù)據(jù)才能很好理解其中蘊(yùn)含的模式。這種情況下，使用人工指定規(guī)則的傳統(tǒng)機(jī)器學(xué)習(xí)占據(jù)上風(fēng)。如下圖所示：

硬件支持

深度學(xué)習(xí)算法嚴(yán)重依賴于高端機(jī)，而傳統(tǒng)機(jī)器學(xué)習(xí)在低端機(jī)上就可以運(yùn)行。因?yàn)?a href='/map/shenduxuexi/' style='color:#000;font-size:inherit;'>深度學(xué)習(xí)需要進(jìn)行大量矩陣乘法操作，而GPU可以有效優(yōu)化這些操作，所以GPU成為其中必不可少的一部分。

特征工程

特征工程將領(lǐng)域知識輸入特征提取器，降低數(shù)據(jù)復(fù)雜度，使數(shù)據(jù)中的模式對學(xué)習(xí)算法更加明顯，得到更優(yōu)秀的結(jié)果。從時間和專業(yè)性方面講，這個過程開銷很高。機(jī)器學(xué)習(xí)中，大部分使用的特征都是由專家指定或根據(jù)先驗(yàn)知識確定每個數(shù)據(jù)域和數(shù)據(jù)類型。比如，特征可以是像素值，形狀，紋理，位置，方向。大多數(shù)機(jī)器學(xué)習(xí)方法的性能依賴于識別和抽取這些特征的準(zhǔn)確度。

深度學(xué)習(xí)算法試圖從數(shù)據(jù)中學(xué)習(xí)高層特征，這是深度學(xué)習(xí)與眾不同的一部分，同時也是超越傳統(tǒng)機(jī)器學(xué)習(xí)的重要一步。深度學(xué)習(xí)將每個問題歸結(jié)為開發(fā)新特征提取器，如卷積神經(jīng)網(wǎng)絡(luò)在底層學(xué)習(xí)如邊和直線種種低層特征，然后是面部部分特征，最后是人臉的高層特征。

問題解決方案

當(dāng)使用傳統(tǒng)機(jī)器學(xué)習(xí)方法解決問題時，經(jīng)常采取化整為零，分別解決，再合并結(jié)果求解的策略。而深度學(xué)習(xí)主張end-to-end模型，輸入訓(xùn)練數(shù)據(jù)，直接輸出最終結(jié)果，讓網(wǎng)絡(luò)自己學(xué)習(xí)如何提取關(guān)鍵特征。

比如說你要進(jìn)行目標(biāo)檢測，需要識別出目標(biāo)的類別并指出在圖中的位置。

典型機(jī)器學(xué)習(xí)方法將這個問題分為兩步：目標(biāo)檢測與目標(biāo)識別。首先，使用邊框檢測技術(shù)，如grabcut，掃描全圖找到所有可能的對象，對這些對象使用目標(biāo)識別算法，如HOG/SVM，識別出相關(guān)物體。

深度學(xué)習(xí)方法按照end-to-end方式處理這個問題，比如YOLO net通過卷積神經(jīng)網(wǎng)絡(luò)，就能夠?qū)崿F(xiàn)目標(biāo)的定位與識別。也就是原始圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)中，直接輸出圖像中目標(biāo)的位置和類別。

執(zhí)行時間

通常，深度學(xué)習(xí)需要很長時間訓(xùn)練，因?yàn)?a href='/map/shenduxuexi/' style='color:#000;font-size:inherit;'>深度學(xué)習(xí)中很多參數(shù)都需要遠(yuǎn)超正常水平的時間訓(xùn)練。ResNet大概需要兩周時間從零開始完成訓(xùn)練，而機(jī)器學(xué)習(xí)只需要從幾秒到幾小時不等的訓(xùn)練時間。測試所需要的時間就完全相反，深度學(xué)習(xí)算法運(yùn)行需要很少的時間。然而，和KNN（K近鄰，一種機(jī)器學(xué)習(xí)算法）相比，測試時間會隨著測試數(shù)據(jù)量的增加而增加。不過并非所有的機(jī)器學(xué)習(xí)算法都需要很長時間，某些也只需要很少的測試時間。

可解釋性

假定使用深度學(xué)習(xí)給文章自動評分，你會發(fā)現(xiàn)性能會很不錯，并且接近人類評分水準(zhǔn)。但它不能解釋為什么給出這樣的分?jǐn)?shù)。在運(yùn)行過程中，你可以發(fā)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)的哪些節(jié)點(diǎn)被激活，但你不知道這些神經(jīng)元是對什么進(jìn)行建模以及這每層在干什么，所以無法解釋結(jié)果。

另一方面，機(jī)器學(xué)習(xí)算法如決策樹按照規(guī)則明確解釋每一步做出選擇的原因，因此像決策樹和線性/邏輯斯蒂回歸這類算法由于可解釋性良好，在工業(yè)界應(yīng)用很廣泛。

機(jī)器學(xué)習(xí)和深度學(xué)習(xí)應(yīng)用場景

Wiki上面介紹了一些機(jī)器學(xué)習(xí)的應(yīng)用領(lǐng)域：

1. 計算機(jī)視覺：如車牌號識別，人臉識別；

2. 信息檢索：如搜索引擎，文本檢索，圖像檢索；

3. 營銷：自動郵件營銷，目標(biāo)識別；

4. 醫(yī)療診斷：癌癥診斷，異常檢測；

5. 自然語言處理：語義分析，照片標(biāo)記；

6. 在線廣告，等等。

下圖總結(jié)了機(jī)器學(xué)習(xí)的應(yīng)用領(lǐng)域，總的來說應(yīng)用范圍十分廣泛。

谷歌是業(yè)內(nèi)有名的使用機(jī)器學(xué)習(xí)/深度學(xué)習(xí)的公司，如下圖所示，谷歌將深度學(xué)習(xí)應(yīng)用到不同的產(chǎn)品。

即時測試

為了評估你是否真正理解了機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的區(qū)別，這里將會有一個快速測試，可以在這里提交答案。你要做的就是分別使用機(jī)器學(xué)習(xí)和深度學(xué)習(xí)解決下面的問題，并決定哪個方法更好。

【場景1】 假設(shè)你要開發(fā)一個無人駕駛汽車系統(tǒng)，該系統(tǒng)以相機(jī)拍攝的原始數(shù)據(jù)作為輸入，然后預(yù)測方向盤轉(zhuǎn)動的方向及角度。

【場景2】給定一個人的信用憑證和背景信息，評估是否可以給他發(fā)放貸款。

【場景3】創(chuàng)建一個將俄語文本翻譯為印度語的系統(tǒng)。

未來趨勢

前面總結(jié)了機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的區(qū)別，本節(jié)對二者未來趨勢：

1. 鑒于工業(yè)界使用數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)呈增加的趨勢，在業(yè)務(wù)中使用機(jī)器學(xué)習(xí)對那些想要生存下來的公司變得越發(fā)重要。同時，了解更多的基礎(chǔ)知識也十分有必要。

2. 深度學(xué)習(xí)給人越來越多的驚喜，將來也會一直是這樣。深度學(xué)習(xí)被證明是已有技術(shù)中最先進(jìn)的最好的技術(shù)之一。

3. 深度學(xué)習(xí)和機(jī)器學(xué)習(xí)和研究還在繼續(xù)，不像以前那樣在學(xué)術(shù)界發(fā)展受限。目前機(jī)器學(xué)習(xí)和深度學(xué)習(xí)在工業(yè)界和學(xué)術(shù)界呈爆炸式發(fā)展。并且受到比以前更多的基金支持，很有可能成為人類發(fā)展的關(guān)鍵點(diǎn)之一。

尾聲

本文將深度學(xué)習(xí)和機(jī)器學(xué)習(xí)進(jìn)行了詳細(xì)對比，希望能夠激勵大家去學(xué)到更多知識