入門 | 吳恩達(dá)Deeplearning.ai 全部課程學(xué)習(xí)心得分享

本文作者，加拿大國(guó)家銀行首席分析師 Ryan Shrott 完成了迄今為止（2017 年 10 月 25 日）吳恩達(dá)在 Coursera 上發(fā)布的所有深度學(xué)習(xí)課程，并為我們提供了課程解讀。

目前 Coursera 上可用的課程中，有三門課非常值得關(guān)注：

1. 神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)（Neural Networks and Deep Learning）

2. 改進(jìn)深度神經(jīng)網(wǎng)絡(luò)：調(diào)整超參數(shù)、正則化與優(yōu)化（Improving Deep Neural Networks: Hyperparamater tuning, Regularization and Optimization）

3. 結(jié)構(gòu)化機(jī)器學(xué)習(xí)項(xiàng)目（Structuring Machine Learning Projects）

我發(fā)現(xiàn)這三門課非常重要，在其中，我們可以從吳恩達(dá)教授那里獲得很多有用的知識(shí)。吳恩達(dá)在教學(xué)語(yǔ)言上做得很好，解釋概念清晰明了。例如，吳恩達(dá)明確指出監(jiān)督學(xué)習(xí)并沒(méi)有超出多維曲線擬合過(guò)程的范疇，而對(duì)于這種方法的其他理解方式，如對(duì)人類神經(jīng)系統(tǒng)的模擬，實(shí)際上并不嚴(yán)謹(jǐn)。

學(xué)習(xí)這些課程的基礎(chǔ)知識(shí)要求不多，只要求你事先掌握一些線性代數(shù)，以及 Python 基礎(chǔ)編程知識(shí)。在我看來(lái)，你也需要了解向量計(jì)算來(lái)理解優(yōu)化過(guò)程的內(nèi)在知識(shí)。但如果你不關(guān)心內(nèi)部運(yùn)作方式，并只希望了解高級(jí)層面上的內(nèi)容，盡管跳過(guò)微積分的部分。

第 1 課：為什么深度學(xué)習(xí)如此熱門？

現(xiàn)在人類產(chǎn)生的 90% 數(shù)據(jù)是在最近 2 年內(nèi)被收集的。深度神經(jīng)網(wǎng)絡(luò)（DNN）能夠利用體量巨大的數(shù)據(jù)。因此，DNN 超越了較小的網(wǎng)絡(luò)和傳統(tǒng)學(xué)習(xí)算法。

規(guī)模是如何推動(dòng) DNN 性能的

此外，算法上的創(chuàng)新也使得 DNN 的訓(xùn)練速度變得更快。例如，從 Sigmoid 激活函數(shù)改為 RELU 激活函數(shù)對(duì)梯度下降等任務(wù)的優(yōu)化過(guò)程產(chǎn)生了巨大影響。這些算法的改進(jìn)使得研究人員可以更快地遍歷靈感→ 代碼→ 經(jīng)驗(yàn)的開(kāi)發(fā)循環(huán)，從而帶來(lái)更多的創(chuàng)新。

深度學(xué)習(xí)開(kāi)發(fā)循環(huán)

第 2 課：深度學(xué)習(xí)中的向量化

在開(kāi)始這門課之前，我并不知道神經(jīng)網(wǎng)絡(luò)可以在沒(méi)有任何明確循環(huán)語(yǔ)句的情況下被實(shí)現(xiàn)（除了層之間的）。吳恩達(dá)點(diǎn)明了 Python 中向量化編程設(shè)計(jì)的重要性。課程附帶的作業(yè)引導(dǎo)你進(jìn)行向量化的編程，同時(shí)這些方法也可以很快遷移到你自己的項(xiàng)目中。

第 3 課：深入了解 DNN

前幾門課實(shí)際上在引導(dǎo)你使用 NumPy 從頭開(kāi)始實(shí)現(xiàn)前向和反向傳播。通過(guò)這種方法，我更加深入了解了高級(jí)深度學(xué)習(xí)框架（如 TensorFlow 和 Keras）的工作原理。吳恩達(dá)解釋了計(jì)算圖背后的想法，從而讓我們了解了 TensorFlow 如何實(shí)現(xiàn)「神奇優(yōu)化」的。

第 4 課：為什么需要深度？

在這一節(jié)中，吳恩達(dá)深入解釋了 DNN 的層概念。例如，對(duì)于面部識(shí)別系統(tǒng)，他向我們解釋了先處理的層是用于處理面部邊界的，其后的層用于將這些邊界識(shí)別為面部組件（如鼻子、眼睛、嘴等），再其后的層會(huì)將這些組件整合到一起識(shí)別人的身份。他還解釋了電路理論（circuit theory）的思想——存在一個(gè)函數(shù)，需要來(lái)自隱藏單元指數(shù)式的數(shù)字來(lái)適應(yīng)淺網(wǎng)絡(luò)的數(shù)據(jù)?？梢酝ㄟ^(guò)添加有限數(shù)量的附加層來(lái)簡(jiǎn)化指數(shù)問(wèn)題。

第 5 課：處理偏差和方差的工具

吳恩達(dá)解釋了研究者識(shí)別和處理偏差方差相關(guān)問(wèn)題的步驟。下圖詮釋了一種解決這些問(wèn)題的系統(tǒng)性方法。

解決偏差和方差問(wèn)題的方法

他還解決了偏差和方差之間的「權(quán)衡」（tradeoff）。他認(rèn)為在現(xiàn)在這個(gè)深度學(xué)習(xí)的時(shí)代，我們擁有獨(dú)立解決每個(gè)問(wèn)題的工具，使權(quán)衡不再存在。

第 6 課：正則化

為什么向成本函數(shù)添加懲罰項(xiàng)會(huì)降低方差？在上這門課之前我的理解是它使權(quán)重矩陣接近于零，從而產(chǎn)生一個(gè)更「線性」的函數(shù)。吳恩達(dá)給出了另外一種和 tanh 激活函數(shù)相關(guān)的解釋，即較小的權(quán)重矩陣生成較小的輸出，使得輸出圍繞在 tanh 函數(shù)線性區(qū)域的中心。

tanh 激活函數(shù)

他還給出了 dropout 的有趣解釋。之前我認(rèn)為 dropout 在每次迭代中消滅隨機(jī)神經(jīng)元，就像越小的網(wǎng)絡(luò)線性程度就越強(qiáng)一樣。但是吳恩達(dá)的解釋是從單個(gè)神經(jīng)元的角度來(lái)看待生命（life）。

單個(gè)神經(jīng)元的角度

由于 dropout 隨機(jī)消滅連接，這促使神經(jīng)元向父系神經(jīng)元中更加均勻地?cái)U(kuò)展權(quán)重。通過(guò)擴(kuò)展權(quán)重，它可以減少權(quán)重的 L2 范數(shù)（squared norm）。他還解釋了 dropout 是 L2 正則化的自適應(yīng)形式，兩種方法效果相近。

第 7 課：歸一化為何有效？

吳恩達(dá)展示了為什么歸一化可以通過(guò)繪制等高線圖的方式加速優(yōu)化步驟。他詳細(xì)講解了在歸一化和非歸一化等高線圖上進(jìn)行梯度下降所需要的迭代次數(shù)變化，即相同優(yōu)化算法沒(méi)經(jīng)過(guò)歸一化操作會(huì)需要更多的迭代數(shù)。

第 8 課：初始化的重要性

吳恩達(dá)表示不使用參數(shù)初始化可能導(dǎo)致梯度消失或爆炸。他展示了多個(gè)步驟來(lái)解決這些問(wèn)題?；驹瓌t是確保每一層的權(quán)重矩陣的方差都近似為 1。他還討論了 tanh 激活函數(shù)的 Xavier 初始化。

第 9 課：為什么使用小批量梯度下降？

吳恩達(dá)使用等高線圖解釋了使用小批量和大批量訓(xùn)練之間的權(quán)衡。基本原則是較大的批量每次迭代會(huì)變慢，較小的批量可以加快迭代過(guò)程，但是無(wú)法保證同樣的收斂效果。最佳方法就是在二者之間進(jìn)行權(quán)衡，使得訓(xùn)練過(guò)程比一次性處理整個(gè)數(shù)據(jù)集要快，又能利用向量化技術(shù)的優(yōu)勢(shì)。

第 10 課：高級(jí)優(yōu)化技術(shù)的直觀理解

吳恩達(dá)解釋了合適使用動(dòng)量（momentum）和 RMSprop 等技術(shù)限制梯度下降逼近極小值的路徑。他還用球滾下山的例子生動(dòng)地解釋了這一過(guò)程。他把這些方法結(jié)合起來(lái)來(lái)解釋著名的 Adam 優(yōu)化。

第 11 課：基本的 TensorFlow 后端理解

吳恩達(dá)不僅解釋了如何使用 TensorFlow 實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)，同時(shí)還講解了在優(yōu)化過(guò)程中出現(xiàn)的后端進(jìn)程。有一個(gè)家庭作業(yè)就是鼓勵(lì)我們使用 TensorFlow 實(shí)現(xiàn) dropout 和 L2 正則化，這加強(qiáng)了我對(duì)后端過(guò)程的理解。

第 12 課：正交化

吳恩達(dá)還討論了機(jī)器學(xué)習(xí)策略中正則化的重要性。其基本思想是，我們希望實(shí)現(xiàn)并控制影響算法性能的因素，即一次只控制一個(gè)影響性能的因素。例如為了解決偏差問(wèn)題，我們可以使用更大的網(wǎng)絡(luò)或更魯棒的優(yōu)化技術(shù)，我們希望這些控制只影響偏差而不會(huì)影響其它如泛化等問(wèn)題。缺少正交化控制的案例是過(guò)早停止了算法的最優(yōu)化過(guò)程，因?yàn)檫@樣會(huì)同時(shí)影響模型的偏差和方差。

第 13 課：?jiǎn)螖?shù)值評(píng)估度量的重要性

吳恩達(dá)強(qiáng)調(diào)了選擇單數(shù)值評(píng)估度量（single number evaluation metric）的重要性，它可以允許我們?cè)u(píng)估算法。如果目標(biāo)改變，我們應(yīng)該在模型開(kāi)發(fā)過(guò)程中僅更改評(píng)估度量。吳恩達(dá)給我們講解了一個(gè)使用貓分類應(yīng)用識(shí)別色情圖片的案例。

第 14 課：測(cè)試和開(kāi)發(fā)集的分布

通常我們會(huì)假設(shè)測(cè)試集與開(kāi)發(fā)集（dev sets）的分布相同，這就確保了我們?cè)诘^(guò)程中朝向正確的目標(biāo)優(yōu)化。這同樣意味著如果你決定糾正測(cè)試集中錯(cuò)誤的標(biāo)注數(shù)據(jù)，那么你需要在開(kāi)發(fā)集中糾正錯(cuò)誤標(biāo)注的數(shù)據(jù)。

第 15 課：處理不同的訓(xùn)練和測(cè)試/開(kāi)發(fā)分布

吳恩達(dá)介紹了為什么我們對(duì)訓(xùn)練和測(cè)試/開(kāi)發(fā)集沒(méi)有相同的分布這一問(wèn)題感興趣。因?yàn)槲覀兿Ｍ鶕?jù)實(shí)際關(guān)心的樣本來(lái)計(jì)算評(píng)估度量。例如我們可能希望使用和訓(xùn)練問(wèn)題無(wú)關(guān)的的樣本進(jìn)行訓(xùn)練，但我們并不希望算法使用這些樣本進(jìn)行評(píng)估，這就令我們的算法可以在更多的數(shù)據(jù)上進(jìn)行訓(xùn)練。經(jīng)驗(yàn)上，這種方法可以在許多案例上產(chǎn)生非常好的效果。缺點(diǎn)是可能我們的訓(xùn)練和測(cè)試/開(kāi)發(fā)集有不同的分布，這個(gè)問(wèn)題的通常解決辦法是，可以留出一小部分訓(xùn)練集，并確定訓(xùn)練集的泛化性能。然后我們可以比較這些誤差率與實(shí)際的開(kāi)發(fā)誤差，并計(jì)算一個(gè)「數(shù)據(jù)誤匹配」的度量標(biāo)準(zhǔn)。吳恩達(dá)還解釋了解決這些數(shù)據(jù)誤匹配問(wèn)題的方法，例如人工數(shù)據(jù)合成。

第 16 課：訓(xùn)練集/開(kāi)發(fā)集/測(cè)試集大小

在深度學(xué)習(xí)時(shí)代，訓(xùn)練集/開(kāi)發(fā)集/測(cè)試集的分隔方法也發(fā)生了巨大的改變。之前，我只知道較普遍的 60/20/20 分隔。吳恩達(dá)強(qiáng)調(diào)，對(duì)于一個(gè)非常大的數(shù)據(jù)集，應(yīng)該使用 98/1/1 甚至 99/0.5/0.5 的分隔。這是因?yàn)殚_(kāi)發(fā)集合測(cè)試集只要足夠大能保證模型處于團(tuán)隊(duì)設(shè)定的置信區(qū)間即可。如果你使用 1 千萬(wàn)個(gè)訓(xùn)練樣本，那么 10 萬(wàn)樣本（即數(shù)據(jù)集的 1%）就足夠保證開(kāi)發(fā)集和/或測(cè)試集的置信區(qū)間了。

第 17 課：近似貝葉斯最優(yōu)誤差

吳恩達(dá)解釋了在某些應(yīng)用中人類級(jí)別的性能如何作為貝葉斯誤差的替代。例如，在視覺(jué)和聽(tīng)覺(jué)識(shí)別任務(wù)中，人類級(jí)別的誤差通常很接近貝葉斯誤差，可以用于量化模型中可避免的偏差。如果沒(méi)有諸如貝葉斯誤差這樣的基準(zhǔn)測(cè)試，理解網(wǎng)絡(luò)中的方差和可避免的偏差問(wèn)題是很困難的。

第 18 課：誤差分析

吳恩達(dá)介紹了一種能顯著提高算法性能的有效性的誤差分析技術(shù)?；鞠敕ㄊ鞘止?biāo)注錯(cuò)誤分類的樣本，集中精力處理對(duì)錯(cuò)誤分類數(shù)據(jù)影響最大的誤差。

貓識(shí)別 App 誤差分析

例如，在貓識(shí)別中吳恩達(dá)認(rèn)為模糊的圖像最容易導(dǎo)致誤差。這種敏感性分析可以令人看到在降低總體誤差的過(guò)程中，你花費(fèi)的精力到底有多值得。還有一種可能是，修復(fù)模糊圖像是很費(fèi)力的任務(wù)，而其它的誤差更容易理解和修復(fù)。敏感性分析和近似操作都將作為決策過(guò)程的因素。

第 19 課：什么時(shí)候使用遷移學(xué)習(xí)？

遷移學(xué)習(xí)允許將一個(gè)模型的知識(shí)遷移到另一個(gè)。例如，你可以將一個(gè)貓識(shí)別 app 中的圖像識(shí)別知識(shí)遷移到放射診斷中去。實(shí)現(xiàn)遷移學(xué)習(xí)需要用更多的數(shù)據(jù)重訓(xùn)練網(wǎng)絡(luò)的最后幾個(gè)層，以用于相似的應(yīng)用領(lǐng)域。其思想基礎(chǔ)是網(wǎng)絡(luò)的低層的隱藏單元擁有更加廣闊的應(yīng)用范圍，即對(duì)具體的任務(wù)類型不敏感?？傊?，當(dāng)任務(wù)之間擁有相同的輸入特征，并且需要學(xué)習(xí)的任務(wù)擁有比需要訓(xùn)練的任務(wù)多得多的數(shù)據(jù)的時(shí)候，遷移學(xué)習(xí)是可行的。

第 20 課：什么時(shí)候使用多任務(wù)學(xué)習(xí)？

多任務(wù)學(xué)習(xí)迫使單個(gè)神經(jīng)網(wǎng)絡(luò)同時(shí)學(xué)習(xí)多個(gè)任務(wù)（和每一個(gè)任務(wù)都配置單獨(dú)的神經(jīng)網(wǎng)絡(luò)相反）。吳恩達(dá)解釋道，當(dāng)任務(wù)集合通過(guò)共享低級(jí)特征獲得學(xué)習(xí)增益，以及每一個(gè)任務(wù)的數(shù)據(jù)量規(guī)模相似的時(shí)候，這種方法能工作得很好。

第 21 課：什么時(shí)候用端到端的深度學(xué)習(xí)？

端到端的深度學(xué)習(xí)需要多層處理并將它們組合到單個(gè)神經(jīng)網(wǎng)絡(luò)中，這使得數(shù)據(jù)能在沒(méi)有人工設(shè)計(jì)步驟引進(jìn)偏差的前提下自主進(jìn)行優(yōu)化過(guò)程。另一方面，這個(gè)方法需要非常多的數(shù)據(jù)，有可能排除潛在的手工設(shè)計(jì)成分。

結(jié)論

吳恩達(dá)的深度學(xué)習(xí)課程使我對(duì)深度學(xué)習(xí)模型的開(kāi)發(fā)過(guò)程有了基本的直觀理解，以上我解釋過(guò)的課程只不過(guò)是這個(gè)課程中展示資料的一部分。即使完成了課程你也還不能稱為深度學(xué)習(xí)專家，而我唯一的不滿是課程的作業(yè)布置太簡(jiǎn)單了。順便提一句，寫這篇文章并沒(méi)有得到 deeplearning.ai 的批準(zhǔn)。