作者 | CraigStedman

編譯 | CDA數(shù)據(jù)科學(xué)研究院

深度學(xué)習(xí)是機器學(xué)習(xí)（ML）和人工智能（AI）的一種，它模仿人類獲取某些類型的知識的方式。深度學(xué)習(xí)是數(shù)據(jù)科學(xué)的重要元素，其中包括統(tǒng)計和預(yù)測模型。對于負(fù)責(zé)收集，分析和解釋大量數(shù)據(jù)的數(shù)據(jù)科學(xué)家而言，這是極為有益的。深度學(xué)習(xí)使此過程更快，更輕松。

從最簡單的角度講，可以將深度學(xué)習(xí)視為自動化預(yù)測分析的一種方式。盡管傳統(tǒng)的機器學(xué)習(xí)算法是線性的，但深度學(xué)習(xí)算法卻以越來越復(fù)雜和抽象的層次結(jié)構(gòu)堆疊在一起。

要了解深度學(xué)習(xí)，請想象一個第一個單詞是dog的小孩。幼兒通過指向物體并說出“ 狗 ”一詞來了解狗是什么—不是狗。父母說：“是，那是狗”，或者：“否，那不是狗”。隨著幼兒繼續(xù)指向物體，他逐漸意識到所有狗所具有的特征。幼兒在不知情的情況下通過建立層次結(jié)構(gòu)來闡明復(fù)雜的抽象概念（狗的概念），在層次結(jié)構(gòu)中，每個抽象層次都是使用從層次結(jié)構(gòu)的上一層獲得的知識來創(chuàng)建的。

深度學(xué)習(xí)如何工作

使用深度學(xué)習(xí)的計算機程序所經(jīng)歷的過程與蹣跚學(xué)步的學(xué)習(xí)來識別狗的過程幾乎相同。層次結(jié)構(gòu)中的每個算法都對其輸入應(yīng)用非線性變換，并使用其學(xué)習(xí)的知識來創(chuàng)建統(tǒng)計模型作為輸出。迭代一直持續(xù)到輸出達(dá)到可接受的精度水平為止。數(shù)據(jù)必須經(jīng)過的處理層數(shù)是促使標(biāo)簽產(chǎn)生深刻影響的原因。

在傳統(tǒng)的機器學(xué)習(xí)中，學(xué)習(xí)過程是受監(jiān)督的，并且程序員在告訴計算機應(yīng)尋找哪種類型的事物以決定圖像包含狗還是不包含狗時，必須非常具體。這是一個費力的過程，稱為特征提取，計算機的成功率完全取決于程序員為“狗”準(zhǔn)確定義特征集的能力。深度學(xué)習(xí)的優(yōu)勢是程序無需監(jiān)督即可自行構(gòu)建功能集。無監(jiān)督學(xué)習(xí)不僅更快，而且通常更準(zhǔn)確。

最初，計算機程序可能會提供訓(xùn)練數(shù)據(jù)-一組圖像，人類已經(jīng)為這些圖像使用元標(biāo)簽將每個圖像標(biāo)記為“狗”或“非狗” 。該程序使用從訓(xùn)練數(shù)據(jù)中接收到的信息來創(chuàng)建“狗”的功能集并建立預(yù)測模型。在這種情況下，計算機首先創(chuàng)建的模型可能會預(yù)測圖像中具有四只腿和一條尾巴的任何東西都應(yīng)標(biāo)記為“狗”。當(dāng)然，該程序不知道標(biāo)簽“四腿”或“尾巴”。它將僅查找數(shù)字?jǐn)?shù)據(jù)中的像素模式。每次迭代，預(yù)測模型都會變得更加復(fù)雜和準(zhǔn)確。

與需要花費數(shù)周甚至數(shù)月才能了解“狗”概念的幼兒不同，可以向使用深度學(xué)習(xí)算法的計算機程序顯示一個訓(xùn)練集，并對數(shù)百萬張圖像進(jìn)行分類，以準(zhǔn)確識別其中包含狗的圖像。

為了達(dá)到可接受的精度水平，深度學(xué)習(xí)程序需要訪問大量的培訓(xùn)數(shù)據(jù)和處理能力，在大數(shù)據(jù)和云計算時代之前，程序員都無法輕松獲得這兩種數(shù)據(jù)。因為深度學(xué)習(xí)編程可以直接從其自己的迭代輸出中創(chuàng)建復(fù)雜的統(tǒng)計模型，所以它能夠從大量未標(biāo)記，未結(jié)構(gòu)化的數(shù)據(jù)中創(chuàng)建準(zhǔn)確的預(yù)測模型。這一點很重要，因為物聯(lián)網(wǎng)（IoT）繼續(xù)變得越來越普及，因為人類和機器創(chuàng)建的大多數(shù)數(shù)據(jù)都是非結(jié)構(gòu)化的，并且沒有標(biāo)簽。

什么是深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)？

一種高級的機器學(xué)習(xí)算法，稱為人工神經(jīng)網(wǎng)絡(luò)，是大多數(shù)深度學(xué)習(xí)模型的基礎(chǔ)。結(jié)果，深度學(xué)習(xí)有時可能被稱為深度神經(jīng)學(xué)習(xí)或深度神經(jīng)網(wǎng)絡(luò)。

神經(jīng)網(wǎng)絡(luò)有幾種不同的形式，包括遞歸神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)，人工神經(jīng)網(wǎng)絡(luò)和前饋神經(jīng)網(wǎng)絡(luò)-每種都有針對特定用例的好處。但是，它們都以某種相似的方式發(fā)揮作用，通過輸入數(shù)據(jù)并讓模型自己確定模型是否對給定的數(shù)據(jù)元素做出了正確的解釋或決策。

神經(jīng)網(wǎng)絡(luò)涉及反復(fù)試驗的過程，因此它們需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練。僅在大多數(shù)企業(yè)接受大數(shù)據(jù)分析并積累大量數(shù)據(jù)存儲之后，神經(jīng)網(wǎng)絡(luò)才流行起來，這并非巧合。由于模型的前幾次迭代涉及對圖像或語音部分的內(nèi)容進(jìn)行過某種程度的猜測，因此必須標(biāo)記訓(xùn)練階段使用的數(shù)據(jù)，以便模型可以查看其猜測是否準(zhǔn)確。這意味著，盡管許多使用大數(shù)據(jù)的企業(yè)擁有大量數(shù)據(jù)，但非結(jié)構(gòu)化數(shù)據(jù)的幫助較小。非結(jié)構(gòu)化數(shù)據(jù)只有經(jīng)過訓(xùn)練并達(dá)到可接受的準(zhǔn)確性水平，才能通過深度學(xué)習(xí)模型進(jìn)行分析，但是深度學(xué)習(xí)模型無法對非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行訓(xùn)練。

深度學(xué)習(xí)方法

可以使用各種不同的方法來創(chuàng)建強大的深度學(xué)習(xí)模型。這些技術(shù)包括學(xué)習(xí)率衰減，遷移學(xué)習(xí)，從頭開始和輟學(xué)訓(xùn)練。

學(xué)習(xí)率下降。學(xué)習(xí)速率是一個超參數(shù)-一個在學(xué)習(xí)過程之前定義系統(tǒng)或為其系統(tǒng)設(shè)置條件的因素-每次更改模型權(quán)重時，該模型將控制模型對響應(yīng)于估計誤差的變化量。太高的學(xué)習(xí)率可能會導(dǎo)致訓(xùn)練過程不穩(wěn)定或無法獲得最佳的權(quán)重。太小的學(xué)習(xí)率可能會導(dǎo)致冗長的培訓(xùn)過程，從而有可能被卡住。

學(xué)習(xí)速率衰減方法-也稱為學(xué)習(xí)速率退火或自適應(yīng)學(xué)習(xí)速率-是調(diào)整學(xué)習(xí)速率以提高性能并減少訓(xùn)練時間的過程。訓(xùn)練過程中最簡單，最常見的學(xué)習(xí)率調(diào)整包括隨時間降低學(xué)習(xí)率的技術(shù)。

轉(zhuǎn)移學(xué)習(xí)。這個過程涉及完善先前訓(xùn)練過的模型；它需要一個到現(xiàn)有網(wǎng)絡(luò)內(nèi)部接口。首先，用戶向現(xiàn)有網(wǎng)絡(luò)提供包含以前未知分類的新數(shù)據(jù)。一旦對網(wǎng)絡(luò)進(jìn)行了調(diào)整，就可以使用更具體的分類功能執(zhí)行新任務(wù)。這種方法的優(yōu)點是所需數(shù)據(jù)比其他方法少得多，從而將計算時間減少到數(shù)分鐘或數(shù)小時。

從頭開始訓(xùn)練。此方法要求開發(fā)人員收集大標(biāo)簽的數(shù)據(jù)集并配置可以學(xué)習(xí)功能和模型的網(wǎng)絡(luò)體系結(jié)構(gòu)。該技術(shù)對于新應(yīng)用程序以及具有大量輸出類別的應(yīng)用程序特別有用。但是，總的來說，這是一種不太常見的方法，因為它需要大量的數(shù)據(jù)，導(dǎo)致培訓(xùn)需要幾天或幾周的時間。

退出。該方法試圖通過在訓(xùn)練過程中從神經(jīng)網(wǎng)絡(luò)中隨機刪除單元及其連接來解決具有大量參數(shù)的網(wǎng)絡(luò)的過擬合問題。已經(jīng)證明，輟學(xué)方法可以提高神經(jīng)網(wǎng)絡(luò)在語音識別，文檔分類和計算生物學(xué)等領(lǐng)域的監(jiān)督學(xué)習(xí)任務(wù)上的性能。

深度學(xué)習(xí)應(yīng)用示例

由于深度學(xué)習(xí)模型以類似于人腦的方式處理信息，因此它們可以應(yīng)用于人們執(zhí)行的許多任務(wù)。目前，深度學(xué)習(xí)已用于大多數(shù)常見的圖像識別工具，自然語言處理和語音識別軟件中。這些工具開始在自動駕駛汽車和語言翻譯服務(wù)等各種應(yīng)用程序中出現(xiàn)。

深度學(xué)習(xí)有什么用？

如今，深度學(xué)習(xí)的用例包括所有類型的大數(shù)據(jù)分析應(yīng)用程序，尤其是那些側(cè)重于自然語言處理，語言翻譯，醫(yī)學(xué)診斷，股市交易信號，網(wǎng)絡(luò)安全和圖像識別的應(yīng)用程序。

當(dāng)前正在使用深度學(xué)習(xí)的特定領(lǐng)域包括：

• 客戶體驗。深度學(xué)習(xí)模型已經(jīng)用于聊天機器人。并且，隨著它的不斷成熟，有望在各種業(yè)務(wù)中實施深度學(xué)習(xí)，以改善客戶體驗并提高客戶滿意度。
• 文字生成。正在教機器文本的語法和樣式，然后使用該模型自動創(chuàng)建與原始文本的正確拼寫，語法和樣式匹配的全新文本。
• 航空航天和軍事。深度學(xué)習(xí)被用于從衛(wèi)星中檢測物體，以識別出感興趣的區(qū)域以及部隊的安全區(qū)域或不安全區(qū)域。
• 工業(yè)自動化。深度學(xué)習(xí)通過提供自動檢測何時工人或物體離機器太近的服務(wù)來改善工廠和倉庫等環(huán)境中的工人安全。
• 添加顏色?？梢允褂?a href='/map/shenduxuexi/' style='color:#000;font-size:inherit;'>深度學(xué)習(xí)模型將顏色添加到黑白照片和視頻中。過去，這是一個非常耗時的手動過程。
• 醫(yī)學(xué)研究。癌癥研究人員已開始在其實踐中實施深度學(xué)習(xí)，以自動檢測癌細(xì)胞。
• 計算機視覺。深度學(xué)習(xí)極大地增強了計算機視覺，為計算機提供了極高的精度，可進(jìn)行對象檢測以及圖像分類，恢復(fù)和分割。

局限與挑戰(zhàn)

深度學(xué)習(xí)模型的最大局限性在于它們通過觀察來學(xué)習(xí)。這意味著他們只知道他們所訓(xùn)練的數(shù)據(jù)中包含的內(nèi)容。如果用戶的數(shù)據(jù)量很少或來自某個特定來源（不一定代表更廣泛的功能區(qū)域），則模型將無法以可推廣的方式學(xué)習(xí)。

偏差問題也是深度學(xué)習(xí)模型的主要問題。如果模型訓(xùn)練包含偏差的數(shù)據(jù)，則該模型將在其預(yù)測中重現(xiàn)這些偏差。對于模型深度學(xué)習(xí)的程序員來說，這是一個令人頭疼的問題，因為模型會根據(jù)數(shù)據(jù)元素的細(xì)微變化來學(xué)習(xí)區(qū)分。通常，程序員所確定的因素往往很重要。這意味著，例如，面部識別模型可能會基于種族或性別等事物來確定人的性格，而程序員不會意識到。

學(xué)習(xí)率也可能成為深度學(xué)習(xí)模型的主要挑戰(zhàn)。如果速率太高，則該模型將收斂太快，從而產(chǎn)生次優(yōu)解決方案。如果速率太低，則該過程可能會卡住，甚至很難找到解決方案。

深度學(xué)習(xí)模型的硬件要求也會造成限制。需要多核高性能圖形處理單元（GPU）和其他類似的處理單元，以確保提高效率和減少時間消耗。但是，這些單元價格昂貴并且消耗大量能量。其他硬件要求包括隨機存取存儲器（RAM）和硬盤驅(qū)動器或基于RAM的固態(tài)驅(qū)動器（SSD）。

其他限制和挑戰(zhàn)包括：

• 深度學(xué)習(xí)需要大量數(shù)據(jù)。此外，功能更強大，更準(zhǔn)確的模型將需要更多參數(shù)，進(jìn)而需要更多數(shù)據(jù)。
• 訓(xùn)練后，深度學(xué)習(xí)模型將變得僵化，無法處理多任務(wù)。他們可以提供有效且準(zhǔn)確的解決方案，但只能解決一個特定問題。即使解決類似的問題，也需要重新培訓(xùn)系統(tǒng)。
• 任何需要推理的應(yīng)用程序（例如編程或應(yīng)用科學(xué)方法）的長期規(guī)劃和類似算法的數(shù)據(jù)處理，即使對于大數(shù)據(jù)，也完全超出了當(dāng)前深度學(xué)習(xí)技術(shù)的能力范圍。

深度學(xué)習(xí)與機器學(xué)習(xí)

深度學(xué)習(xí)是機器學(xué)習(xí)的一個子集，它通過解決問題的方式與眾不同。機器學(xué)習(xí)需要領(lǐng)域?qū)＜襾碜R別大多數(shù)應(yīng)用功能。另一方面，深度學(xué)習(xí)會逐步學(xué)習(xí)特征，從而消除了對領(lǐng)域?qū)I(yè)知識的需求。這使得深度學(xué)習(xí)算法的訓(xùn)練時間比機器學(xué)習(xí)算法要長得多，機器學(xué)習(xí)算法只需要幾秒鐘到幾小時。但是，在測試期間反之亦然。深度學(xué)習(xí)算法運行測試所需的時間比機器學(xué)習(xí)算法要少得多，后者的測試時間隨數(shù)據(jù)量的增加而增加。

此外，機器學(xué)習(xí)不需要像深度學(xué)習(xí)那樣昂貴的高端機器和高性能GPU。

最后，由于其卓越的可解釋性或理解解決方案的能力，許多數(shù)據(jù)科學(xué)家選擇傳統(tǒng)的機器學(xué)習(xí)而非深度學(xué)習(xí)。當(dāng)數(shù)據(jù)較小時，機器學(xué)習(xí)算法也是首選。

深度學(xué)習(xí)變得更可取的情況包括：數(shù)據(jù)量大，特征自省或?qū)χT如語音識別和自然語言處理之類的復(fù)雜問題缺乏領(lǐng)域理解的情況。

歷史

深度學(xué)習(xí)的歷史可以追溯到1943年，當(dāng)時Warren McCulloch和Walter Pitts使用數(shù)學(xué)和算法為神經(jīng)網(wǎng)絡(luò)創(chuàng)建了一個計算模型。但是，直到2000年代中期才出現(xiàn)“深度學(xué)習(xí)”一詞。在Geoffrey Hinton和Ruslan Salakhutdinov發(fā)表論文之后，它得到了普及，該論文顯示了如何一次訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)。

2012年，Google的算法揭示了識別貓的能力，從而在深度學(xué)習(xí)方面給人留下了深刻的印象。兩年后的2014年，谷歌從英國收購了人工智能初創(chuàng)公司DeepMind。兩年后，2016年，谷歌DeepMind的算法AlphaGo掌握了復(fù)雜的棋盤游戲Go，在漢城的一場比賽中擊敗了職業(yè)玩家Lee Sedol。

最近，深度學(xué)習(xí)模型已在人工智能領(lǐng)域產(chǎn)生了大部分進(jìn)步。深度強化學(xué)習(xí)已經(jīng)成為一種將AI與復(fù)雜的應(yīng)用程序集成的方法，例如機器人技術(shù)，視頻游戲和自動駕駛汽車。深度學(xué)習(xí)與強化學(xué)習(xí)之間的主要區(qū)別在于，深度學(xué)習(xí)從訓(xùn)練集學(xué)習(xí)，然后將學(xué)到的知識應(yīng)用于新的數(shù)據(jù)集，而深度強化學(xué)習(xí)則通過使用連續(xù)反饋調(diào)整動作來動態(tài)學(xué)習(xí)，以優(yōu)化獎勵。

強化學(xué)習(xí)代理具有提供對生成對抗網(wǎng)絡(luò)（GAN）的快速而強大的控制的能力。對抗閾值神經(jīng)計算機（ATNC）將深度強化學(xué)習(xí)與GAN結(jié)合在一起，以設(shè)計具有特定的所需藥理學(xué)性質(zhì)的有機小分子。

GAN還被用于生成用于機器學(xué)習(xí)任務(wù)的人工訓(xùn)練數(shù)據(jù)，可用于數(shù)據(jù)集不平衡的情況或數(shù)據(jù)包含敏感信息的情況。