作者 | CraigStedman

編譯 | CDA數(shù)據(jù)科學(xué)研究院

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)（ML）和人工智能（AI）的一種，它模仿人類(lèi)獲取某些類(lèi)型的知識(shí)的方式。深度學(xué)習(xí)是數(shù)據(jù)科學(xué)的重要元素，其中包括統(tǒng)計(jì)和預(yù)測(cè)模型。對(duì)于負(fù)責(zé)收集，分析和解釋大量數(shù)據(jù)的數(shù)據(jù)科學(xué)家而言，這是極為有益的。深度學(xué)習(xí)使此過(guò)程更快，更輕松。

從最簡(jiǎn)單的角度講，可以將深度學(xué)習(xí)視為自動(dòng)化預(yù)測(cè)分析的一種方式。盡管傳統(tǒng)的機(jī)器學(xué)習(xí)算法是線性的，但深度學(xué)習(xí)算法卻以越來(lái)越復(fù)雜和抽象的層次結(jié)構(gòu)堆疊在一起。

要了解深度學(xué)習(xí)，請(qǐng)想象一個(gè)第一個(gè)單詞是dog的小孩。幼兒通過(guò)指向物體并說(shuō)出“ 狗 ”一詞來(lái)了解狗是什么—不是狗。父母說(shuō)：“是，那是狗”，或者：“否，那不是狗”。隨著幼兒繼續(xù)指向物體，他逐漸意識(shí)到所有狗所具有的特征。幼兒在不知情的情況下通過(guò)建立層次結(jié)構(gòu)來(lái)闡明復(fù)雜的抽象概念（狗的概念），在層次結(jié)構(gòu)中，每個(gè)抽象層次都是使用從層次結(jié)構(gòu)的上一層獲得的知識(shí)來(lái)創(chuàng)建的。

深度學(xué)習(xí)如何工作

使用深度學(xué)習(xí)的計(jì)算機(jī)程序所經(jīng)歷的過(guò)程與蹣跚學(xué)步的學(xué)習(xí)來(lái)識(shí)別狗的過(guò)程幾乎相同。層次結(jié)構(gòu)中的每個(gè)算法都對(duì)其輸入應(yīng)用非線性變換，并使用其學(xué)習(xí)的知識(shí)來(lái)創(chuàng)建統(tǒng)計(jì)模型作為輸出。迭代一直持續(xù)到輸出達(dá)到可接受的精度水平為止。數(shù)據(jù)必須經(jīng)過(guò)的處理層數(shù)是促使標(biāo)簽產(chǎn)生深刻影響的原因。

在傳統(tǒng)的機(jī)器學(xué)習(xí)中，學(xué)習(xí)過(guò)程是受監(jiān)督的，并且程序員在告訴計(jì)算機(jī)應(yīng)尋找哪種類(lèi)型的事物以決定圖像包含狗還是不包含狗時(shí)，必須非常具體。這是一個(gè)費(fèi)力的過(guò)程，稱(chēng)為特征提取，計(jì)算機(jī)的成功率完全取決于程序員為“狗”準(zhǔn)確定義特征集的能力。深度學(xué)習(xí)的優(yōu)勢(shì)是程序無(wú)需監(jiān)督即可自行構(gòu)建功能集。無(wú)監(jiān)督學(xué)習(xí)不僅更快，而且通常更準(zhǔn)確。

最初，計(jì)算機(jī)程序可能會(huì)提供訓(xùn)練數(shù)據(jù)-一組圖像，人類(lèi)已經(jīng)為這些圖像使用元標(biāo)簽將每個(gè)圖像標(biāo)記為“狗”或“非狗” 。該程序使用從訓(xùn)練數(shù)據(jù)中接收到的信息來(lái)創(chuàng)建“狗”的功能集并建立預(yù)測(cè)模型。在這種情況下，計(jì)算機(jī)首先創(chuàng)建的模型可能會(huì)預(yù)測(cè)圖像中具有四只腿和一條尾巴的任何東西都應(yīng)標(biāo)記為“狗”。當(dāng)然，該程序不知道標(biāo)簽“四腿”或“尾巴”。它將僅查找數(shù)字?jǐn)?shù)據(jù)中的像素模式。每次迭代，預(yù)測(cè)模型都會(huì)變得更加復(fù)雜和準(zhǔn)確。

與需要花費(fèi)數(shù)周甚至數(shù)月才能了解“狗”概念的幼兒不同，可以向使用深度學(xué)習(xí)算法的計(jì)算機(jī)程序顯示一個(gè)訓(xùn)練集，并對(duì)數(shù)百萬(wàn)張圖像進(jìn)行分類(lèi)，以準(zhǔn)確識(shí)別其中包含狗的圖像。

為了達(dá)到可接受的精度水平，深度學(xué)習(xí)程序需要訪問(wèn)大量的培訓(xùn)數(shù)據(jù)和處理能力，在大數(shù)據(jù)和云計(jì)算時(shí)代之前，程序員都無(wú)法輕松獲得這兩種數(shù)據(jù)。因?yàn)?a href='/map/shenduxuexi/' style='color:#000;font-size:inherit;'>深度學(xué)習(xí)編程可以直接從其自己的迭代輸出中創(chuàng)建復(fù)雜的統(tǒng)計(jì)模型，所以它能夠從大量未標(biāo)記，未結(jié)構(gòu)化的數(shù)據(jù)中創(chuàng)建準(zhǔn)確的預(yù)測(cè)模型。這一點(diǎn)很重要，因?yàn)槲锫?lián)網(wǎng)（IoT）繼續(xù)變得越來(lái)越普及，因?yàn)槿祟?lèi)和機(jī)器創(chuàng)建的大多數(shù)數(shù)據(jù)都是非結(jié)構(gòu)化的，并且沒(méi)有標(biāo)簽。

什么是深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)？

一種高級(jí)的機(jī)器學(xué)習(xí)算法，稱(chēng)為人工神經(jīng)網(wǎng)絡(luò)，是大多數(shù)深度學(xué)習(xí)模型的基礎(chǔ)。結(jié)果，深度學(xué)習(xí)有時(shí)可能被稱(chēng)為深度神經(jīng)學(xué)習(xí)或深度神經(jīng)網(wǎng)絡(luò)。

神經(jīng)網(wǎng)絡(luò)有幾種不同的形式，包括遞歸神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)，人工神經(jīng)網(wǎng)絡(luò)和前饋神經(jīng)網(wǎng)絡(luò)-每種都有針對(duì)特定用例的好處。但是，它們都以某種相似的方式發(fā)揮作用，通過(guò)輸入數(shù)據(jù)并讓模型自己確定模型是否對(duì)給定的數(shù)據(jù)元素做出了正確的解釋或決策。

神經(jīng)網(wǎng)絡(luò)涉及反復(fù)試驗(yàn)的過(guò)程，因此它們需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練。僅在大多數(shù)企業(yè)接受大數(shù)據(jù)分析并積累大量數(shù)據(jù)存儲(chǔ)之后，神經(jīng)網(wǎng)絡(luò)才流行起來(lái)，這并非巧合。由于模型的前幾次迭代涉及對(duì)圖像或語(yǔ)音部分的內(nèi)容進(jìn)行過(guò)某種程度的猜測(cè)，因此必須標(biāo)記訓(xùn)練階段使用的數(shù)據(jù)，以便模型可以查看其猜測(cè)是否準(zhǔn)確。這意味著，盡管許多使用大數(shù)據(jù)的企業(yè)擁有大量數(shù)據(jù)，但非結(jié)構(gòu)化數(shù)據(jù)的幫助較小。非結(jié)構(gòu)化數(shù)據(jù)只有經(jīng)過(guò)訓(xùn)練并達(dá)到可接受的準(zhǔn)確性水平，才能通過(guò)深度學(xué)習(xí)模型進(jìn)行分析，但是深度學(xué)習(xí)模型無(wú)法對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行訓(xùn)練。

深度學(xué)習(xí)方法

可以使用各種不同的方法來(lái)創(chuàng)建強(qiáng)大的深度學(xué)習(xí)模型。這些技術(shù)包括學(xué)習(xí)率衰減，遷移學(xué)習(xí)，從頭開(kāi)始和輟學(xué)訓(xùn)練。

學(xué)習(xí)率下降。學(xué)習(xí)速率是一個(gè)超參數(shù)-一個(gè)在學(xué)習(xí)過(guò)程之前定義系統(tǒng)或?yàn)槠湎到y(tǒng)設(shè)置條件的因素-每次更改模型權(quán)重時(shí)，該模型將控制模型對(duì)響應(yīng)于估計(jì)誤差的變化量。太高的學(xué)習(xí)率可能會(huì)導(dǎo)致訓(xùn)練過(guò)程不穩(wěn)定或無(wú)法獲得最佳的權(quán)重。太小的學(xué)習(xí)率可能會(huì)導(dǎo)致冗長(zhǎng)的培訓(xùn)過(guò)程，從而有可能被卡住。

學(xué)習(xí)速率衰減方法-也稱(chēng)為學(xué)習(xí)速率退火或自適應(yīng)學(xué)習(xí)速率-是調(diào)整學(xué)習(xí)速率以提高性能并減少訓(xùn)練時(shí)間的過(guò)程。訓(xùn)練過(guò)程中最簡(jiǎn)單，最常見(jiàn)的學(xué)習(xí)率調(diào)整包括隨時(shí)間降低學(xué)習(xí)率的技術(shù)。

轉(zhuǎn)移學(xué)習(xí)。這個(gè)過(guò)程涉及完善先前訓(xùn)練過(guò)的模型；它需要一個(gè)到現(xiàn)有網(wǎng)絡(luò)內(nèi)部接口。首先，用戶(hù)向現(xiàn)有網(wǎng)絡(luò)提供包含以前未知分類(lèi)的新數(shù)據(jù)。一旦對(duì)網(wǎng)絡(luò)進(jìn)行了調(diào)整，就可以使用更具體的分類(lèi)功能執(zhí)行新任務(wù)。這種方法的優(yōu)點(diǎn)是所需數(shù)據(jù)比其他方法少得多，從而將計(jì)算時(shí)間減少到數(shù)分鐘或數(shù)小時(shí)。

從頭開(kāi)始訓(xùn)練。此方法要求開(kāi)發(fā)人員收集大標(biāo)簽的數(shù)據(jù)集并配置可以學(xué)習(xí)功能和模型的網(wǎng)絡(luò)體系結(jié)構(gòu)。該技術(shù)對(duì)于新應(yīng)用程序以及具有大量輸出類(lèi)別的應(yīng)用程序特別有用。但是，總的來(lái)說(shuō)，這是一種不太常見(jiàn)的方法，因?yàn)樗枰罅康臄?shù)據(jù)，導(dǎo)致培訓(xùn)需要幾天或幾周的時(shí)間。

退出。該方法試圖通過(guò)在訓(xùn)練過(guò)程中從神經(jīng)網(wǎng)絡(luò)中隨機(jī)刪除單元及其連接來(lái)解決具有大量參數(shù)的網(wǎng)絡(luò)的過(guò)擬合問(wèn)題。已經(jīng)證明，輟學(xué)方法可以提高神經(jīng)網(wǎng)絡(luò)在語(yǔ)音識(shí)別，文檔分類(lèi)和計(jì)算生物學(xué)等領(lǐng)域的監(jiān)督學(xué)習(xí)任務(wù)上的性能。

深度學(xué)習(xí)應(yīng)用示例

由于深度學(xué)習(xí)模型以類(lèi)似于人腦的方式處理信息，因此它們可以應(yīng)用于人們執(zhí)行的許多任務(wù)。目前，深度學(xué)習(xí)已用于大多數(shù)常見(jiàn)的圖像識(shí)別工具，自然語(yǔ)言處理和語(yǔ)音識(shí)別軟件中。這些工具開(kāi)始在自動(dòng)駕駛汽車(chē)和語(yǔ)言翻譯服務(wù)等各種應(yīng)用程序中出現(xiàn)。

深度學(xué)習(xí)有什么用？

如今，深度學(xué)習(xí)的用例包括所有類(lèi)型的大數(shù)據(jù)分析應(yīng)用程序，尤其是那些側(cè)重于自然語(yǔ)言處理，語(yǔ)言翻譯，醫(yī)學(xué)診斷，股市交易信號(hào)，網(wǎng)絡(luò)安全和圖像識(shí)別的應(yīng)用程序。

當(dāng)前正在使用深度學(xué)習(xí)的特定領(lǐng)域包括：

• 客戶(hù)體驗(yàn)。深度學(xué)習(xí)模型已經(jīng)用于聊天機(jī)器人。并且，隨著它的不斷成熟，有望在各種業(yè)務(wù)中實(shí)施深度學(xué)習(xí)，以改善客戶(hù)體驗(yàn)并提高客戶(hù)滿(mǎn)意度。
• 文字生成。正在教機(jī)器文本的語(yǔ)法和樣式，然后使用該模型自動(dòng)創(chuàng)建與原始文本的正確拼寫(xiě)，語(yǔ)法和樣式匹配的全新文本。
• 航空航天和軍事。深度學(xué)習(xí)被用于從衛(wèi)星中檢測(cè)物體，以識(shí)別出感興趣的區(qū)域以及部隊(duì)的安全區(qū)域或不安全區(qū)域。
• 工業(yè)自動(dòng)化。深度學(xué)習(xí)通過(guò)提供自動(dòng)檢測(cè)何時(shí)工人或物體離機(jī)器太近的服務(wù)來(lái)改善工廠和倉(cāng)庫(kù)等環(huán)境中的工人安全。
• 添加顏色?？梢允褂?a href='/map/shenduxuexi/' style='color:#000;font-size:inherit;'>深度學(xué)習(xí)模型將顏色添加到黑白照片和視頻中。過(guò)去，這是一個(gè)非常耗時(shí)的手動(dòng)過(guò)程。
• 醫(yī)學(xué)研究。癌癥研究人員已開(kāi)始在其實(shí)踐中實(shí)施深度學(xué)習(xí)，以自動(dòng)檢測(cè)癌細(xì)胞。
• 計(jì)算機(jī)視覺(jué)。深度學(xué)習(xí)極大地增強(qiáng)了計(jì)算機(jī)視覺(jué)，為計(jì)算機(jī)提供了極高的精度，可進(jìn)行對(duì)象檢測(cè)以及圖像分類(lèi)，恢復(fù)和分割。

局限與挑戰(zhàn)

深度學(xué)習(xí)模型的最大局限性在于它們通過(guò)觀察來(lái)學(xué)習(xí)。這意味著他們只知道他們所訓(xùn)練的數(shù)據(jù)中包含的內(nèi)容。如果用戶(hù)的數(shù)據(jù)量很少或來(lái)自某個(gè)特定來(lái)源（不一定代表更廣泛的功能區(qū)域），則模型將無(wú)法以可推廣的方式學(xué)習(xí)。

偏差問(wèn)題也是深度學(xué)習(xí)模型的主要問(wèn)題。如果模型訓(xùn)練包含偏差的數(shù)據(jù)，則該模型將在其預(yù)測(cè)中重現(xiàn)這些偏差。對(duì)于模型深度學(xué)習(xí)的程序員來(lái)說(shuō)，這是一個(gè)令人頭疼的問(wèn)題，因?yàn)槟Ｐ蜁?huì)根據(jù)數(shù)據(jù)元素的細(xì)微變化來(lái)學(xué)習(xí)區(qū)分。通常，程序員所確定的因素往往很重要。這意味著，例如，面部識(shí)別模型可能會(huì)基于種族或性別等事物來(lái)確定人的性格，而程序員不會(huì)意識(shí)到。

學(xué)習(xí)率也可能成為深度學(xué)習(xí)模型的主要挑戰(zhàn)。如果速率太高，則該模型將收斂太快，從而產(chǎn)生次優(yōu)解決方案。如果速率太低，則該過(guò)程可能會(huì)卡住，甚至很難找到解決方案。

深度學(xué)習(xí)模型的硬件要求也會(huì)造成限制。需要多核高性能圖形處理單元（GPU）和其他類(lèi)似的處理單元，以確保提高效率和減少時(shí)間消耗。但是，這些單元價(jià)格昂貴并且消耗大量能量。其他硬件要求包括隨機(jī)存取存儲(chǔ)器（RAM）和硬盤(pán)驅(qū)動(dòng)器或基于RAM的固態(tài)驅(qū)動(dòng)器（SSD）。

其他限制和挑戰(zhàn)包括：

• 深度學(xué)習(xí)需要大量數(shù)據(jù)。此外，功能更強(qiáng)大，更準(zhǔn)確的模型將需要更多參數(shù)，進(jìn)而需要更多數(shù)據(jù)。
• 訓(xùn)練后，深度學(xué)習(xí)模型將變得僵化，無(wú)法處理多任務(wù)。他們可以提供有效且準(zhǔn)確的解決方案，但只能解決一個(gè)特定問(wèn)題。即使解決類(lèi)似的問(wèn)題，也需要重新培訓(xùn)系統(tǒng)。
• 任何需要推理的應(yīng)用程序（例如編程或應(yīng)用科學(xué)方法）的長(zhǎng)期規(guī)劃和類(lèi)似算法的數(shù)據(jù)處理，即使對(duì)于大數(shù)據(jù)，也完全超出了當(dāng)前深度學(xué)習(xí)技術(shù)的能力范圍。

深度學(xué)習(xí)與機(jī)器學(xué)習(xí)

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)子集，它通過(guò)解決問(wèn)題的方式與眾不同。機(jī)器學(xué)習(xí)需要領(lǐng)域?qū)＜襾?lái)識(shí)別大多數(shù)應(yīng)用功能。另一方面，深度學(xué)習(xí)會(huì)逐步學(xué)習(xí)特征，從而消除了對(duì)領(lǐng)域?qū)I(yè)知識(shí)的需求。這使得深度學(xué)習(xí)算法的訓(xùn)練時(shí)間比機(jī)器學(xué)習(xí)算法要長(zhǎng)得多，機(jī)器學(xué)習(xí)算法只需要幾秒鐘到幾小時(shí)。但是，在測(cè)試期間反之亦然。深度學(xué)習(xí)算法運(yùn)行測(cè)試所需的時(shí)間比機(jī)器學(xué)習(xí)算法要少得多，后者的測(cè)試時(shí)間隨數(shù)據(jù)量的增加而增加。

此外，機(jī)器學(xué)習(xí)不需要像深度學(xué)習(xí)那樣昂貴的高端機(jī)器和高性能GPU。

最后，由于其卓越的可解釋性或理解解決方案的能力，許多數(shù)據(jù)科學(xué)家選擇傳統(tǒng)的機(jī)器學(xué)習(xí)而非深度學(xué)習(xí)。當(dāng)數(shù)據(jù)較小時(shí)，機(jī)器學(xué)習(xí)算法也是首選。

深度學(xué)習(xí)變得更可取的情況包括：數(shù)據(jù)量大，特征自省或?qū)χT如語(yǔ)音識(shí)別和自然語(yǔ)言處理之類(lèi)的復(fù)雜問(wèn)題缺乏領(lǐng)域理解的情況。

歷史

深度學(xué)習(xí)的歷史可以追溯到1943年，當(dāng)時(shí)Warren McCulloch和Walter Pitts使用數(shù)學(xué)和算法為神經(jīng)網(wǎng)絡(luò)創(chuàng)建了一個(gè)計(jì)算模型。但是，直到2000年代中期才出現(xiàn)“深度學(xué)習(xí)”一詞。在Geoffrey Hinton和Ruslan Salakhutdinov發(fā)表論文之后，它得到了普及，該論文顯示了如何一次訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)。

2012年，Google的算法揭示了識(shí)別貓的能力，從而在深度學(xué)習(xí)方面給人留下了深刻的印象。兩年后的2014年，谷歌從英國(guó)收購(gòu)了人工智能初創(chuàng)公司DeepMind。兩年后，2016年，谷歌DeepMind的算法AlphaGo掌握了復(fù)雜的棋盤(pán)游戲Go，在漢城的一場(chǎng)比賽中擊敗了職業(yè)玩家Lee Sedol。

最近，深度學(xué)習(xí)模型已在人工智能領(lǐng)域產(chǎn)生了大部分進(jìn)步。深度強(qiáng)化學(xué)習(xí)已經(jīng)成為一種將AI與復(fù)雜的應(yīng)用程序集成的方法，例如機(jī)器人技術(shù)，視頻游戲和自動(dòng)駕駛汽車(chē)。深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)之間的主要區(qū)別在于，深度學(xué)習(xí)從訓(xùn)練集學(xué)習(xí)，然后將學(xué)到的知識(shí)應(yīng)用于新的數(shù)據(jù)集，而深度強(qiáng)化學(xué)習(xí)則通過(guò)使用連續(xù)反饋調(diào)整動(dòng)作來(lái)動(dòng)態(tài)學(xué)習(xí)，以?xún)?yōu)化獎(jiǎng)勵(lì)。

強(qiáng)化學(xué)習(xí)代理具有提供對(duì)生成對(duì)抗網(wǎng)絡(luò)（GAN）的快速而強(qiáng)大的控制的能力。對(duì)抗閾值神經(jīng)計(jì)算機(jī)（ATNC）將深度強(qiáng)化學(xué)習(xí)與GAN結(jié)合在一起，以設(shè)計(jì)具有特定的所需藥理學(xué)性質(zhì)的有機(jī)小分子。

GAN還被用于生成用于機(jī)器學(xué)習(xí)任務(wù)的人工訓(xùn)練數(shù)據(jù)，可用于數(shù)據(jù)集不平衡的情況或數(shù)據(jù)包含敏感信息的情況。