深度學(xué)習(xí)的基本思想基于聯(lián)結(jié)主義：盡管
機器學(xué)習(xí)模型中單個生物性的神經(jīng)元或者說是單個
特征不是智能的，但是大量的神經(jīng)元或者
特征作用在一起往往能夠表現(xiàn)出智能。我們必須著重強調(diào)神經(jīng)元數(shù)量必須很大這個事實。
快速的CPU實現(xiàn)
描述如何實現(xiàn)高效的數(shù)值CPU 代碼已經(jīng)超出了本書的討論范圍，但是我們在這里還是要強調(diào)通過設(shè)計一些特定的CPU
上的操作可以大大提升效率。例如，在2011 年，最好的CPU
在訓(xùn)練
神經(jīng)網(wǎng)絡(luò)時使用定點運算能夠比浮點運算跑得更快。通過調(diào)整定點運算的實現(xiàn)方式，Vanhoucke et al. (2011) 獲得了3
倍于一個強浮點運算系統(tǒng)的速度。因為各個新型CPU都有各自不同的特性，所以有時候采用浮點運算實現(xiàn)會更快。一條重要的準(zhǔn)則就是，通過特殊設(shè)計的數(shù)值運算，我們可以獲得巨大的回報。除了選擇定點運算或者浮點運算以外，其他的策略還包括了如通過優(yōu)化
數(shù)據(jù)結(jié)構(gòu)避免高速緩存缺失、使用向量指令等。
機器學(xué)習(xí)的研究者們大多會忽略這些實現(xiàn)的細(xì)節(jié)，但是如果某種實現(xiàn)限制了模型的規(guī)模，那該模型的
精度就要受到影響。
GPU實現(xiàn)
大規(guī)模的分布式實現(xiàn)
在許多情況下，單個機器的計算資源是有限的。因此，我們希望把訓(xùn)練或者推斷的任務(wù)分?jǐn)偟蕉鄠€機器上進(jìn)行。
分布式的推斷是容易實現(xiàn)的，因為每一個輸入的樣本都可以在單獨的機器上運行。這也被稱為數(shù)據(jù)并行(data parallelism)。
同樣地，模型并行(model parallelism) 也是可行的，其中多個機器共同運行一個數(shù)據(jù)點，每一個機器負(fù)責(zé)模型的一個部分。對于推斷和訓(xùn)練，這都是可行的。
在訓(xùn)練過程中，數(shù)據(jù)并行從某種程度上來說更加困難。對于隨機
梯度下降的單步來說，我們可以增加小批量的大小，但是從優(yōu)化性能的角度來說，我們得到的回報通常并不會線性增長。使用多個機器并行地計算多個
梯度下降步驟是一個更好的選擇。不幸的是，
梯度下降的標(biāo)準(zhǔn)定義完全是一個串行的過程：第t
步的梯度是第t ? 1 步所得參數(shù)的函數(shù)。
這個問題可以使用異步隨機
梯度下降(Asynchoronous Stochasitc Gradient
Descent)(Bengio et al., 2001b; Recht et al., 2011)
解決。在這個方法中，幾個處理器的核共用存有參數(shù)的內(nèi)存。每一個核在無鎖的情況下讀取這些參數(shù)，并計算對應(yīng)的梯度，然后在無鎖狀態(tài)下更新這些參數(shù)。由于一些核把其他的核所更新的參數(shù)覆蓋了，因此這種方法減少了每一步
梯度下降所獲得的平均提升。但因為更新步數(shù)的速率增加，總體上還是加快了學(xué)習(xí)過程。Deanet
al. (2012) 率先提出了多機器無鎖的
梯度下降方法，其中參數(shù)是由參數(shù)服務(wù)器(parameterserver)
管理而非存儲在共用的內(nèi)存中。分布式的異步
梯度下降方法保留了訓(xùn)練深度
神經(jīng)網(wǎng)絡(luò)的基本策略，并被工業(yè)界很多
機器學(xué)習(xí)組所使用(Chilimbi et
al., 2014; Wu et al.,
2015)。學(xué)術(shù)界的
深度學(xué)習(xí)研究者們通常無法負(fù)擔(dān)那么大規(guī)模的分布式學(xué)習(xí)系統(tǒng)，但是一些研究仍關(guān)注于如何在校園環(huán)境中使用相對廉價的硬件系統(tǒng)構(gòu)造分布式網(wǎng)絡(luò)(Coates
et al., 2013)。
在許多商業(yè)應(yīng)用的
機器學(xué)習(xí)模型中，一個時間和內(nèi)存開銷較小的推斷算法比一個時間和內(nèi)存開銷較小的訓(xùn)練算法要更為重要。對于那些不需要個性化設(shè)計的應(yīng)用來說，我們只需要一次性地訓(xùn)練模型，然后它就可以被成千上萬的用戶使用。在許多情況下，相比開發(fā)者，終端用戶的可用資源往往更有限。例如，開發(fā)者們可以使用巨大的計算機
集群訓(xùn)練一個語音識別的網(wǎng)絡(luò)，然后將其部署到移動手機上。
減少推斷所需開銷的一個關(guān)鍵策略是模型
壓縮(model compression)(Bucilu·a et al., 2006)。模型
壓縮的基本思想是用一個更小的模型取代替原始耗時的模型，從而使得用來存儲與評估所需的內(nèi)存與運行時間更少。
當(dāng)原始模型的規(guī)模很大，且我們需要防止
過擬合時，模型
壓縮就可以起到作用。在許多情況下，擁有最小泛化誤差的模型往往是多個獨立訓(xùn)練而成的模型的集成。評估所有n
個集成成員的成本很高。有時候，當(dāng)單個模型很大(例如，如果它使用Dropout
正則化) 時，其
泛化能力也會很好。
這些巨大的模型能夠?qū)W習(xí)到某個函數(shù)f(x)，但選用的參數(shù)數(shù)量超過了任務(wù)所需的參數(shù)數(shù)量。只是因為訓(xùn)練樣本數(shù)是有限的，所以模型的規(guī)模才變得必要。只要我們擬合了這個函數(shù)f(x)，我們就可以通過將f
作用于隨機采樣點x
來生成有無窮多訓(xùn)練樣本的訓(xùn)練集。然后，我們使用這些樣本訓(xùn)練一個新的更小的模型，使其能夠在這些點上擬合f(x)。為了更加充分地利用這個新的小模型的容量，最好從類似于真實測試數(shù)據(jù)(之后將提供給模型)
的分布中采樣x。這個過程可以通過損壞訓(xùn)練樣本或者從原始訓(xùn)練數(shù)據(jù)訓(xùn)練的生成模型中采樣完成。
此外，我們還可以僅在原始訓(xùn)練數(shù)據(jù)上訓(xùn)練一個更小的模型，但只是為了復(fù)制模型的其他
特征，比如在不正確的類上的后驗分布(Hinton et al., 2014, 2015)。
動態(tài)結(jié)構(gòu)
深度網(wǎng)絡(luò)的專用硬件實現(xiàn)
自從早期的
神經(jīng)網(wǎng)絡(luò)研究以來，硬件設(shè)計者就已經(jīng)致力于可以加速
神經(jīng)網(wǎng)絡(luò)算法的訓(xùn)練和/或推斷的專用硬件實現(xiàn)。讀者可以查看早期的和更近的專用硬件深度網(wǎng)絡(luò)的評論(Lindseyand
Lindblad, 1994; Beiu et al., 2003; Misra and Saha, 2010)。
不同形式的專用硬件(Graf and Jackel, 1989; Mead and Ismail, 2012; Kim et
al., 2009; Phamet al., 2012; Chen et al., 2014b,a)
的研究已經(jīng)持續(xù)了好幾十年，比如專用集成電路(application—speci?c integrated circuit, ASIC)
的數(shù)字(基于數(shù)字的二進(jìn)制表示)、模擬(Graf and Jackel,1989; Mead and Ismail,
2012)(基于以電壓或電流表示連續(xù)值的物理實現(xiàn)) 和混合實現(xiàn)(組合數(shù)字和模擬組件)。近年來更靈活的現(xiàn)場可編程門陣列(?eld
programmable gated array, FPGA)實現(xiàn)(其中電路的具體細(xì)節(jié)可以在制造完成后寫入芯片) 也得到了長足發(fā)展。
雖然CPU 和GPU 上的軟件實現(xiàn)通常使用32 位或64
位的
精度來表示浮點數(shù)，但是長期以來使用較低的
精度在更短的時間內(nèi)完成推斷也是可行的(Holt and Baker, 1991; Holi
andHwang, 1993; Presley and Haggard,1994; Simard and Graf, 1994;
Wawrzynek et al., 1996; Savichet al.,
2007)。這已成為近年來更迫切的問題，因為
深度學(xué)習(xí)在工業(yè)產(chǎn)品中越來越受歡迎，并且由于更快的硬件產(chǎn)生的巨大影響已經(jīng)通過GPU
的使用得到了證明。激勵當(dāng)前對深度網(wǎng)絡(luò)專用硬件研究的另一個因素是單個CPU 或GPU
核心的進(jìn)展速度已經(jīng)減慢，并且最近計算速度的改進(jìn)來自核心的并行化(無論CPU 還是GPU)。這與20 世紀(jì)90 年代的情況(上一個
神經(jīng)網(wǎng)絡(luò)時代)
的不同之處在于，
神經(jīng)網(wǎng)絡(luò)的硬件實現(xiàn)(從開始到芯片可用可能需要兩年) 跟不上快速進(jìn)展和價格低廉的通用CPU
的腳步。因此，在針對諸如手機等低功率設(shè)備開發(fā)新的硬件設(shè)計，并且想要用于
深度學(xué)習(xí)的一般公眾應(yīng)用(例如，具有語音、
計算機視覺或自然語言功能的設(shè)施)
時，研究專用硬件能夠進(jìn)一步推動其發(fā)展。
最近對基于反向傳播
神經(jīng)網(wǎng)絡(luò)的低
精度實現(xiàn)的工作(Vanhoucke et al., 2011; Courbariauxet al.,
2015; Gupta et al., 2015) 表明，8 位和16
位之間的
精度足以滿足使用或訓(xùn)練基于反向傳播的深度
神經(jīng)網(wǎng)絡(luò)的要求。顯而易見的是，在訓(xùn)練期間需要比在推斷時更高的
精度，并且數(shù)字某些形式的動態(tài)定點表示能夠減少每個數(shù)需要的存儲空間。傳統(tǒng)的定點數(shù)被限制在一個固定范圍之內(nèi)(其對應(yīng)于浮點表示中的給定指數(shù))。而動態(tài)定點表示在一組數(shù)字(例如一個層中的所有權(quán)重)
之間共享該范圍。使用定點代替浮點表示并且每個數(shù)使用較少的比特能夠減少執(zhí)行乘法所需的硬件表面積、功率需求和計算時間。而乘法已經(jīng)是使用或訓(xùn)練反向傳播的現(xiàn)代深度網(wǎng)絡(luò)中要求最高的操作。
長久以來，
計算機視覺就是
深度學(xué)習(xí)應(yīng)用中幾個最活躍的研究方向之一。因為視覺是一個對人類以及許多動物毫不費力，但對計算機卻充滿挑戰(zhàn)的任務(wù)(Ballard et al., 1983)。
深度學(xué)習(xí)中許多流行的標(biāo)準(zhǔn)基準(zhǔn)任務(wù)包括對象識別和光學(xué)字符識別。
計算機視覺是一個非常廣闊的發(fā)展領(lǐng)域，其中包括多種多樣的處理圖片的方式以及應(yīng)用方向。
計算機視覺的應(yīng)用廣泛：從復(fù)現(xiàn)人類視覺能力(比如識別人臉)
到創(chuàng)造全新的視覺能力。舉個后者的例子，近期一個新的
計算機視覺應(yīng)用是從視頻中可視物體的振動識別相應(yīng)的聲波(Davis et al.,
2014)。大多數(shù)
計算機視覺領(lǐng)域的
深度學(xué)習(xí)研究未曾關(guān)注過這樣一個奇異的應(yīng)用，它擴展了圖像的范圍，而不是僅僅關(guān)注于人工智能中較小的核心目標(biāo)||
復(fù)制人類的能力。無論是報告圖像中存在哪個物體，還是給圖像中每個對象周圍添加注釋性的邊框，或從圖像中轉(zhuǎn)錄符號序列，或給圖像中的每個像素標(biāo)記它所屬對象的標(biāo)識，大多數(shù)
計算機視覺中的
深度學(xué)習(xí)往往用于對象識別或者某種形式的檢測。由于生成模型已經(jīng)是
深度學(xué)習(xí)研究的指導(dǎo)原則，因此還有大量圖像合成工作使用了深度模型。盡管圖像合成(“無中生有”)
通常不包括在
計算機視覺內(nèi)，但是能夠進(jìn)行圖像合成的模型通常用于圖像恢復(fù)，即修復(fù)圖像中的缺陷或從圖像中移除對象這樣的
計算機視覺任務(wù)。
預(yù)處理
由于原始輸入往往以
深度學(xué)習(xí)架構(gòu)難以表示的形式出現(xiàn)，許多應(yīng)用領(lǐng)域需要復(fù)雜精細(xì)的預(yù)處理。
計算機視覺通常只需要相對少的這種預(yù)處理。圖像應(yīng)該被標(biāo)準(zhǔn)化，從而使得它們的像素都在相同并且合理的范圍內(nèi)，比如[0;
1] 或者[?1; 1]。將[0; 1] 中的圖像與[0; 255]
中的圖像混合，通常會導(dǎo)致失敗。將圖像格式化為具有相同的比例，嚴(yán)格上說是唯一一種必要的預(yù)處理。許多
計算機視覺架構(gòu)需要標(biāo)準(zhǔn)尺寸的圖像，因此必須裁剪或縮放圖像以適應(yīng)該尺寸。然而，嚴(yán)格地說即使是這種重新調(diào)整比例的操作并不總是必要的。一些卷積模型接受可變大小的輸入，并動態(tài)地調(diào)整它們的池化區(qū)域大小以保持輸出大小恒定(Waibel
et al., 1989)。其他卷積模型具有可變大小的輸出，其尺寸隨輸入自動縮放，例如對圖像中的每個像素進(jìn)行去噪或標(biāo)注的模型(Hadsell
et al., 2007)。
數(shù)據(jù)集增強可以被看作一種只對訓(xùn)練集做預(yù)處理的方式。數(shù)據(jù)集增強是減少大多數(shù)
計算機視覺模型泛化誤差的一種極好方法。在測試時可用的一個相關(guān)想法是將同一輸入的許多不同版本傳給模型(例如，在稍微不同的位置處裁剪的相同圖像)，并且在模型的不同實例上決定模型的輸出。后一個想法可以被理解為集成方法，并且有助于減少泛化誤差。
其他種類的預(yù)處理需要同時應(yīng)用于訓(xùn)練集和測試集，其目的是將每個樣本置于更規(guī)范的形式，以便減少模型需要考慮的變化量。減少數(shù)據(jù)中的變化量既能夠減少泛化誤差，也能夠減小擬合訓(xùn)練集所需模型的大小。更簡單的任務(wù)可以通過更小的模型來解決，而更簡單的解決方案
泛化能力一般更好。這種類型的預(yù)處理通常被設(shè)計為去除輸入數(shù)據(jù)中的某種可變性，這對于人工設(shè)計者來說是容易描述的，并且人工設(shè)計者能夠保證不受到任務(wù)影響。當(dāng)使用大型數(shù)據(jù)集和大型模型訓(xùn)練時，這種預(yù)處理通常是不必要的，并且最好只是讓模型學(xué)習(xí)哪些變化性應(yīng)該保留。例如，用于分類ImageNet
的AlexNet 系統(tǒng)僅具有一個預(yù)處理步驟：對每個像素減去訓(xùn)練樣本的平均值(Krizhevsky et al., 2012b)。
數(shù)據(jù)集增強
如第7.4
節(jié)中講到的一樣，我們很容易通過增加訓(xùn)練集的額外副本來增加訓(xùn)練集的大小，進(jìn)而改進(jìn)分類器的
泛化能力。這些額外副本可以通過對原始圖像進(jìn)行一些變化來生成，但是并不改變其類別。對象識別這個分類任務(wù)特別適合于這種形式的數(shù)據(jù)集增強，因為類別信息對于許多變換是不變的，而我們可以簡單地對輸入應(yīng)用諸多幾何變換。如前所述，分類器可以受益于隨機轉(zhuǎn)換或者旋轉(zhuǎn)，某些情況下輸入的翻轉(zhuǎn)可以增強數(shù)據(jù)集。在專門的
計算機視覺應(yīng)用中，存在很多更高級的用以增強數(shù)據(jù)集的變換。這些方案包括圖像中顏色的隨機擾動(Krizhevskyet
al., 2012b)，以及對輸入的非線性幾何變形(LeCun et al., 1998c)。
語音識別
語音識別任務(wù)是將一段包括了自然語言發(fā)音的聲學(xué)信號投影到對應(yīng)說話人的詞序列上。令X = (x(1), x(2), …, x(T))
表示語音的輸入向量(傳統(tǒng)做法以20ms
為一幀分割信號)。許多語音識別的系統(tǒng)通過特殊的手工設(shè)計方法預(yù)處理輸入信號，從而提取
特征，但是某些
深度學(xué)習(xí)系統(tǒng)(Jaitly and
Hinton, 2011) 直接從原始輸入中學(xué)習(xí)
特征。令y = (y1; y2,…, yN)
表示目標(biāo)的輸出序列(通常是一個詞或者字符的序列)。自動語音識別(automatic speech recognition,ASR)
任務(wù)指的是構(gòu)造一個函數(shù)f*ASR，使得它能夠在給定聲學(xué)序列X 的情況下計算最有可能的語言序列y：
從20 世紀(jì)80 年代直到2009?2012 年，最先進(jìn)的語音識別系統(tǒng)是隱馬爾可夫模型(hiddenmarkov model,
HMM) 和高斯混合模型(gaussian mixture model, GMM) 的結(jié)合。GMM 對聲學(xué)
特征和音素(phoneme)
之間的關(guān)系建模(Bahl et al., 1987)，HMM 對音素序列建模。GMM-HMM 模型將語音信號視作由如下過程生成：首先，一個HMM
生成了一個音素的序列以及離散的子音素狀態(tài)(比如每一個音素的開始、中間、結(jié)尾)，然后GMM
把每一個離散的狀態(tài)轉(zhuǎn)化為一個簡短的聲音信號。盡管直到最近GMM-HMM 一直在ASR
中占據(jù)主導(dǎo)地位，語音識別仍然是
神經(jīng)網(wǎng)絡(luò)所成功應(yīng)用的第一個領(lǐng)域。從20 世紀(jì)80 年代末期到90
年代初期，大量語音識別系統(tǒng)使用了
神經(jīng)網(wǎng)絡(luò)(Bourlard and Wellekens, 1989; Waibel et al., 1989;
Robinsonand Fallside, 1991; Bengio et al., 1991, 1992; Konig et al.,
1996)。當(dāng)時，基于
神經(jīng)網(wǎng)絡(luò)的ASR的表現(xiàn)和GMM-HMM 系統(tǒng)的表現(xiàn)差不多。比如說，Robinson and Fallside (1991)
在TIMIT數(shù)據(jù)集(Garofolo et al., 1993)(有39 個區(qū)分的音素) 上達(dá)到了26%
的音素錯誤率，這個結(jié)果優(yōu)于或者說是可以與基于HMM 的結(jié)果相比。從那時起，TIMIT
成為音素識別的一個基準(zhǔn)數(shù)據(jù)集，在語音識別中的作用就和MNIST
在對象識別中的作用差不多。然而，由于語音識別軟件系統(tǒng)中復(fù)雜的工程因素以及在基于GMM-HMM
的系統(tǒng)中已經(jīng)付出的巨大努力，工業(yè)界并沒有迫切轉(zhuǎn)向
神經(jīng)網(wǎng)絡(luò)的需求。結(jié)果，直到21 世紀(jì)00
年代末期，學(xué)術(shù)界和工業(yè)界的研究者們更多的是用
神經(jīng)網(wǎng)絡(luò)為GMM-HMM 系統(tǒng)學(xué)習(xí)一些額外的
特征。
之后，隨著更大更深的模型以及更大的數(shù)據(jù)集的出現(xiàn)，通過使用
神經(jīng)網(wǎng)絡(luò)代替GMM 來實現(xiàn)將聲學(xué)
特征轉(zhuǎn)化為音素(或者子音素狀態(tài))
的過程可以大大地提高識別的
精度。從2009年開始，語音識別的研究者們將一種
無監(jiān)督學(xué)習(xí)的
深度學(xué)習(xí)方法應(yīng)用于語音識別。這種
深度學(xué)習(xí)方法基于訓(xùn)練一個被稱作是受限玻爾茲曼機的無向概率模型，從而對輸入
數(shù)據(jù)建模。受限玻爾茲曼機將會在第三部分中描述。為了完成語音識別任務(wù)，
無監(jiān)督的預(yù)訓(xùn)練被用來構(gòu)造一個深度前饋網(wǎng)絡(luò)，這個
神經(jīng)網(wǎng)絡(luò)每一層都是通過訓(xùn)練受限玻爾茲曼機來初始化的。這些網(wǎng)絡(luò)的輸入是從一個固定規(guī)格的輸入窗(以當(dāng)前幀為中心)
的譜聲學(xué)表示抽取，預(yù)測了當(dāng)前幀所對應(yīng)的HMM 狀態(tài)的
條件概率。訓(xùn)練一個這樣的
神經(jīng)網(wǎng)絡(luò)能夠可以顯著提高在TIMIT
數(shù)據(jù)集上的識別率(Mohamed et al., 2009,2012a)，并將音素級別的錯誤率從大約26%
降到了20:7%。關(guān)于這個模型成功原因的詳細(xì)分析可以參考Mohamed et al.
(2012b)。對于基本的電話識別工作流程的一個擴展工作是添加說話人自適應(yīng)相關(guān)
特征(Mohamed et al., 2011)
的方法，這可以進(jìn)一步地降低錯誤率。緊接著的工作則將結(jié)構(gòu)從音素識別(TIMIT 所主要關(guān)注的)轉(zhuǎn)向了大規(guī)模詞匯語音識別(Dahl et al.,
2012)，這不僅包含了識別音素，還包括了識別大規(guī)模詞匯的序列。語音識別上的深度網(wǎng)絡(luò)從最初的使用受限玻爾茲曼機進(jìn)行預(yù)訓(xùn)練發(fā)展到了使用諸如整流線性單元和Dropout
這樣的技術(shù)(Zeiler et al., 2013; Dahl et al.,
2013)。從那時開始，工業(yè)界的幾個語音研究組開始尋求與學(xué)術(shù)圈的研究者之間的合作。Hinton et al.
(2012a)描述了這些合作所帶來的突破性進(jìn)展，這些技術(shù)現(xiàn)在被廣泛應(yīng)用在產(chǎn)品中，比如移動手機端。
因此，增加容量的一種簡單方法是將兩種方法結(jié)合，由神經(jīng)語言模型和n-gram 語言模型組成集成(Bengio et al., 2001b, 2003)。
模型容量的增加是巨大的(架構(gòu)的新部分包含高達(dá)|sV |n 個參數(shù))，但是處理輸入所需的額外計算量是很小的(因為額外輸入非常稀疏)。
機器翻譯以一種自然語言讀取句子并產(chǎn)生等同含義的另一種語言的句子。機器翻譯系統(tǒng)通常涉及許多組件。在高層次，一個組件通常會提出許多候選翻譯。由于語言之間的差異，這些翻譯中的許多翻譯是不符合語法的。例如，許多語言在名詞后放置形容詞，因此直接翻譯成英語時，它們會產(chǎn)生諸如“apple
red”的短語。提議機制提出建議翻譯的許多變體，理想情況下應(yīng)包括“red apple”。翻譯系統(tǒng)的第二個組成部分(語言模型)
評估提議的翻譯，并可以評估“red apple”比“apple red”更好。
京公網(wǎng)安備 11010802034615號
經(jīng)營許可證編號：京B2-20210330
