深度學(xué)習(xí)的基本思想基于聯(lián)結(jié)主義：盡管
機(jī)器學(xué)習(xí)模型中單個(gè)生物性的神經(jīng)元或者說(shuō)是單個(gè)
特征不是智能的，但是大量的神經(jīng)元或者
特征作用在一起往往能夠表現(xiàn)出智能。我們必須著重強(qiáng)調(diào)神經(jīng)元數(shù)量必須很大這個(gè)事實(shí)。
快速的CPU實(shí)現(xiàn)
傳統(tǒng)的
神經(jīng)網(wǎng)絡(luò)是用單臺(tái)機(jī)器的CPU 來(lái)訓(xùn)練的。如今，這種做法通常被視為是不可取的?，F(xiàn)在，我們通常使用GPU 或者許多臺(tái)機(jī)器的CPU 連接在一起進(jìn)行計(jì)算。在使用這種昂貴配置之前，為論證CPU 無(wú)法承擔(dān)
神經(jīng)網(wǎng)絡(luò)所需的巨大計(jì)算量，研究者們付出了巨大的努力。
描述如何實(shí)現(xiàn)高效的數(shù)值CPU 代碼已經(jīng)超出了本書(shū)的討論范圍，但是我們?cè)谶@里還是要強(qiáng)調(diào)通過(guò)設(shè)計(jì)一些特定的CPU
上的操作可以大大提升效率。例如，在2011 年，最好的CPU
在訓(xùn)練
神經(jīng)網(wǎng)絡(luò)時(shí)使用定點(diǎn)運(yùn)算能夠比浮點(diǎn)運(yùn)算跑得更快。通過(guò)調(diào)整定點(diǎn)運(yùn)算的實(shí)現(xiàn)方式，Vanhoucke et al. (2011) 獲得了3
倍于一個(gè)強(qiáng)浮點(diǎn)運(yùn)算系統(tǒng)的速度。因?yàn)楦鱾€(gè)新型CPU都有各自不同的特性，所以有時(shí)候采用浮點(diǎn)運(yùn)算實(shí)現(xiàn)會(huì)更快。一條重要的準(zhǔn)則就是，通過(guò)特殊設(shè)計(jì)的數(shù)值運(yùn)算，我們可以獲得巨大的回報(bào)。除了選擇定點(diǎn)運(yùn)算或者浮點(diǎn)運(yùn)算以外，其他的策略還包括了如通過(guò)優(yōu)化
數(shù)據(jù)結(jié)構(gòu)避免高速緩存缺失、使用向量指令等。
機(jī)器學(xué)習(xí)的研究者們大多會(huì)忽略這些實(shí)現(xiàn)的細(xì)節(jié)，但是如果某種實(shí)現(xiàn)限制了模型的規(guī)模，那該模型的
精度就要受到影響。
GPU實(shí)現(xiàn)
許多現(xiàn)代
神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)基于圖形處理器(Graphics Processing Unit, GPU)。圖形處理器最初是為圖形應(yīng)用而開(kāi)發(fā)的專用硬件組件。視頻游戲系統(tǒng)的消費(fèi)市場(chǎng)刺激了圖形處理硬件的發(fā)展。GPU為視頻游戲所設(shè)計(jì)的特性也可以使
神經(jīng)網(wǎng)絡(luò)的計(jì)算受益。
大規(guī)模的分布式實(shí)現(xiàn)
在許多情況下，單個(gè)機(jī)器的計(jì)算資源是有限的。因此，我們希望把訓(xùn)練或者推斷的任務(wù)分?jǐn)偟蕉鄠€(gè)機(jī)器上進(jìn)行。
分布式的推斷是容易實(shí)現(xiàn)的，因?yàn)槊恳粋€(gè)輸入的樣本都可以在單獨(dú)的機(jī)器上運(yùn)行。這也被稱為數(shù)據(jù)并行(data parallelism)。
同樣地，模型并行(model parallelism) 也是可行的，其中多個(gè)機(jī)器共同運(yùn)行一個(gè)數(shù)據(jù)點(diǎn)，每一個(gè)機(jī)器負(fù)責(zé)模型的一個(gè)部分。對(duì)于推斷和訓(xùn)練，這都是可行的。
在訓(xùn)練過(guò)程中，數(shù)據(jù)并行從某種程度上來(lái)說(shuō)更加困難。對(duì)于隨機(jī)
梯度下降的單步來(lái)說(shuō)，我們可以增加小批量的大小，但是從優(yōu)化性能的角度來(lái)說(shuō)，我們得到的回報(bào)通常并不會(huì)線性增長(zhǎng)。使用多個(gè)機(jī)器并行地計(jì)算多個(gè)
梯度下降步驟是一個(gè)更好的選擇。不幸的是，
梯度下降的標(biāo)準(zhǔn)定義完全是一個(gè)串行的過(guò)程：第t
步的梯度是第t ? 1 步所得參數(shù)的函數(shù)。
這個(gè)問(wèn)題可以使用異步隨機(jī)
梯度下降(Asynchoronous Stochasitc Gradient
Descent)(Bengio et al., 2001b; Recht et al., 2011)
解決。在這個(gè)方法中，幾個(gè)處理器的核共用存有參數(shù)的內(nèi)存。每一個(gè)核在無(wú)鎖的情況下讀取這些參數(shù)，并計(jì)算對(duì)應(yīng)的梯度，然后在無(wú)鎖狀態(tài)下更新這些參數(shù)。由于一些核把其他的核所更新的參數(shù)覆蓋了，因此這種方法減少了每一步
梯度下降所獲得的平均提升。但因?yàn)楦虏綌?shù)的速率增加，總體上還是加快了學(xué)習(xí)過(guò)程。Deanet
al. (2012) 率先提出了多機(jī)器無(wú)鎖的
梯度下降方法，其中參數(shù)是由參數(shù)服務(wù)器(parameterserver)
管理而非存儲(chǔ)在共用的內(nèi)存中。分布式的異步
梯度下降方法保留了訓(xùn)練深度
神經(jīng)網(wǎng)絡(luò)的基本策略，并被工業(yè)界很多
機(jī)器學(xué)習(xí)組所使用(Chilimbi et
al., 2014; Wu et al.,
2015)。學(xué)術(shù)界的
深度學(xué)習(xí)研究者們通常無(wú)法負(fù)擔(dān)那么大規(guī)模的分布式學(xué)習(xí)系統(tǒng)，但是一些研究仍關(guān)注于如何在校園環(huán)境中使用相對(duì)廉價(jià)的硬件系統(tǒng)構(gòu)造分布式網(wǎng)絡(luò)(Coates
et al., 2013)。
在許多商業(yè)應(yīng)用的
機(jī)器學(xué)習(xí)模型中，一個(gè)時(shí)間和內(nèi)存開(kāi)銷較小的推斷算法比一個(gè)時(shí)間和內(nèi)存開(kāi)銷較小的訓(xùn)練算法要更為重要。對(duì)于那些不需要個(gè)性化設(shè)計(jì)的應(yīng)用來(lái)說(shuō)，我們只需要一次性地訓(xùn)練模型，然后它就可以被成千上萬(wàn)的用戶使用。在許多情況下，相比開(kāi)發(fā)者，終端用戶的可用資源往往更有限。例如，開(kāi)發(fā)者們可以使用巨大的計(jì)算機(jī)
集群訓(xùn)練一個(gè)語(yǔ)音識(shí)別的網(wǎng)絡(luò)，然后將其部署到移動(dòng)手機(jī)上。
減少推斷所需開(kāi)銷的一個(gè)關(guān)鍵策略是模型
壓縮(model compression)(Bucilu·a et al., 2006)。模型
壓縮的基本思想是用一個(gè)更小的模型取代替原始耗時(shí)的模型，從而使得用來(lái)存儲(chǔ)與評(píng)估所需的內(nèi)存與運(yùn)行時(shí)間更少。
當(dāng)原始模型的規(guī)模很大，且我們需要防止
過(guò)擬合時(shí)，模型
壓縮就可以起到作用。在許多情況下，擁有最小泛化誤差的模型往往是多個(gè)獨(dú)立訓(xùn)練而成的模型的集成。評(píng)估所有n
個(gè)集成成員的成本很高。有時(shí)候，當(dāng)單個(gè)模型很大(例如，如果它使用Dropout
正則化) 時(shí)，其
泛化能力也會(huì)很好。
這些巨大的模型能夠?qū)W習(xí)到某個(gè)函數(shù)f(x)，但選用的參數(shù)數(shù)量超過(guò)了任務(wù)所需的參數(shù)數(shù)量。只是因?yàn)橛?xùn)練樣本數(shù)是有限的，所以模型的規(guī)模才變得必要。只要我們擬合了這個(gè)函數(shù)f(x)，我們就可以通過(guò)將f
作用于隨機(jī)采樣點(diǎn)x
來(lái)生成有無(wú)窮多訓(xùn)練樣本的訓(xùn)練集。然后，我們使用這些樣本訓(xùn)練一個(gè)新的更小的模型，使其能夠在這些點(diǎn)上擬合f(x)。為了更加充分地利用這個(gè)新的小模型的容量，最好從類似于真實(shí)測(cè)試數(shù)據(jù)(之后將提供給模型)
的分布中采樣x。這個(gè)過(guò)程可以通過(guò)損壞訓(xùn)練樣本或者從原始訓(xùn)練數(shù)據(jù)訓(xùn)練的生成模型中采樣完成。
此外，我們還可以僅在原始訓(xùn)練數(shù)據(jù)上訓(xùn)練一個(gè)更小的模型，但只是為了復(fù)制模型的其他
特征，比如在不正確的類上的后驗(yàn)分布(Hinton et al., 2014, 2015)。
動(dòng)態(tài)結(jié)構(gòu)
一般來(lái)說(shuō)，加速
數(shù)據(jù)處理系統(tǒng)的一種策略是構(gòu)造一個(gè)系統(tǒng)，這個(gè)系統(tǒng)用動(dòng)態(tài)結(jié)構(gòu)(dynamicstructure)
描述圖中處理輸入所需的計(jì)算過(guò)程。在給定一個(gè)輸入的情況中，
數(shù)據(jù)處理系統(tǒng)可以動(dòng)態(tài)地決定運(yùn)行
神經(jīng)網(wǎng)絡(luò)系統(tǒng)的哪一部分。單個(gè)
神經(jīng)網(wǎng)絡(luò)內(nèi)部同樣也存在動(dòng)態(tài)結(jié)構(gòu)，給定輸入信息，決定
特征(隱藏單元)
哪一部分用于計(jì)算。這種
神經(jīng)網(wǎng)絡(luò)中的動(dòng)態(tài)結(jié)構(gòu)有時(shí)被稱為條件計(jì)算(conditional computation)(Bengio, 2013;
Bengio et al., 2013b)。由于模型結(jié)構(gòu)許多部分可能只跟輸入的一小部分有關(guān)，只計(jì)算那些需要的
特征就可以起到加速的目的。
深度網(wǎng)絡(luò)的專用硬件實(shí)現(xiàn)
自從早期的
神經(jīng)網(wǎng)絡(luò)研究以來(lái)，硬件設(shè)計(jì)者就已經(jīng)致力于可以加速
神經(jīng)網(wǎng)絡(luò)算法的訓(xùn)練和/或推斷的專用硬件實(shí)現(xiàn)。讀者可以查看早期的和更近的專用硬件深度網(wǎng)絡(luò)的評(píng)論(Lindseyand
Lindblad, 1994; Beiu et al., 2003; Misra and Saha, 2010)。
不同形式的專用硬件(Graf and Jackel, 1989; Mead and Ismail, 2012; Kim et
al., 2009; Phamet al., 2012; Chen et al., 2014b,a)
的研究已經(jīng)持續(xù)了好幾十年，比如專用集成電路(application—speci?c integrated circuit, ASIC)
的數(shù)字(基于數(shù)字的二進(jìn)制表示)、模擬(Graf and Jackel,1989; Mead and Ismail,
2012)(基于以電壓或電流表示連續(xù)值的物理實(shí)現(xiàn)) 和混合實(shí)現(xiàn)(組合數(shù)字和模擬組件)。近年來(lái)更靈活的現(xiàn)場(chǎng)可編程門陣列(?eld
programmable gated array, FPGA)實(shí)現(xiàn)(其中電路的具體細(xì)節(jié)可以在制造完成后寫入芯片) 也得到了長(zhǎng)足發(fā)展。
雖然CPU 和GPU 上的軟件實(shí)現(xiàn)通常使用32 位或64
位的
精度來(lái)表示浮點(diǎn)數(shù)，但是長(zhǎng)期以來(lái)使用較低的
精度在更短的時(shí)間內(nèi)完成推斷也是可行的(Holt and Baker, 1991; Holi
andHwang, 1993; Presley and Haggard,1994; Simard and Graf, 1994;
Wawrzynek et al., 1996; Savichet al.,
2007)。這已成為近年來(lái)更迫切的問(wèn)題，因?yàn)?a href='/map/shenduxuexi/' style='color:#000;font-size:inherit;'>深度學(xué)習(xí)在工業(yè)產(chǎn)品中越來(lái)越受歡迎，并且由于更快的硬件產(chǎn)生的巨大影響已經(jīng)通過(guò)GPU
的使用得到了證明。激勵(lì)當(dāng)前對(duì)深度網(wǎng)絡(luò)專用硬件研究的另一個(gè)因素是單個(gè)CPU 或GPU
核心的進(jìn)展速度已經(jīng)減慢，并且最近計(jì)算速度的改進(jìn)來(lái)自核心的并行化(無(wú)論CPU 還是GPU)。這與20 世紀(jì)90 年代的情況(上一個(gè)
神經(jīng)網(wǎng)絡(luò)時(shí)代)
的不同之處在于，
神經(jīng)網(wǎng)絡(luò)的硬件實(shí)現(xiàn)(從開(kāi)始到芯片可用可能需要兩年) 跟不上快速進(jìn)展和價(jià)格低廉的通用CPU
的腳步。因此，在針對(duì)諸如手機(jī)等低功率設(shè)備開(kāi)發(fā)新的硬件設(shè)計(jì)，并且想要用于
深度學(xué)習(xí)的一般公眾應(yīng)用(例如，具有語(yǔ)音、
計(jì)算機(jī)視覺(jué)或自然語(yǔ)言功能的設(shè)施)
時(shí)，研究專用硬件能夠進(jìn)一步推動(dòng)其發(fā)展。
最近對(duì)基于反向傳播
神經(jīng)網(wǎng)絡(luò)的低
精度實(shí)現(xiàn)的工作(Vanhoucke et al., 2011; Courbariauxet al.,
2015; Gupta et al., 2015) 表明，8 位和16
位之間的
精度足以滿足使用或訓(xùn)練基于反向傳播的深度
神經(jīng)網(wǎng)絡(luò)的要求。顯而易見(jiàn)的是，在訓(xùn)練期間需要比在推斷時(shí)更高的
精度，并且數(shù)字某些形式的動(dòng)態(tài)定點(diǎn)表示能夠減少每個(gè)數(shù)需要的存儲(chǔ)空間。傳統(tǒng)的定點(diǎn)數(shù)被限制在一個(gè)固定范圍之內(nèi)(其對(duì)應(yīng)于浮點(diǎn)表示中的給定指數(shù))。而動(dòng)態(tài)定點(diǎn)表示在一組數(shù)字(例如一個(gè)層中的所有權(quán)重)
之間共享該范圍。使用定點(diǎn)代替浮點(diǎn)表示并且每個(gè)數(shù)使用較少的比特能夠減少執(zhí)行乘法所需的硬件表面積、功率需求和計(jì)算時(shí)間。而乘法已經(jīng)是使用或訓(xùn)練反向傳播的現(xiàn)代深度網(wǎng)絡(luò)中要求最高的操作。
長(zhǎng)久以來(lái)，
計(jì)算機(jī)視覺(jué)就是
深度學(xué)習(xí)應(yīng)用中幾個(gè)最活躍的研究方向之一。因?yàn)橐曈X(jué)是一個(gè)對(duì)人類以及許多動(dòng)物毫不費(fèi)力，但對(duì)計(jì)算機(jī)卻充滿挑戰(zhàn)的任務(wù)(Ballard et al., 1983)。
深度學(xué)習(xí)中許多流行的標(biāo)準(zhǔn)基準(zhǔn)任務(wù)包括對(duì)象識(shí)別和光學(xué)字符識(shí)別。
預(yù)處理
由于原始輸入往往以
深度學(xué)習(xí)架構(gòu)難以表示的形式出現(xiàn)，許多應(yīng)用領(lǐng)域需要復(fù)雜精細(xì)的預(yù)處理。
計(jì)算機(jī)視覺(jué)通常只需要相對(duì)少的這種預(yù)處理。圖像應(yīng)該被標(biāo)準(zhǔn)化，從而使得它們的像素都在相同并且合理的范圍內(nèi)，比如[0;
1] 或者[?1; 1]。將[0; 1] 中的圖像與[0; 255]
中的圖像混合，通常會(huì)導(dǎo)致失敗。將圖像格式化為具有相同的比例，嚴(yán)格上說(shuō)是唯一一種必要的預(yù)處理。許多
計(jì)算機(jī)視覺(jué)架構(gòu)需要標(biāo)準(zhǔn)尺寸的圖像，因此必須裁剪或縮放圖像以適應(yīng)該尺寸。然而，嚴(yán)格地說(shuō)即使是這種重新調(diào)整比例的操作并不總是必要的。一些卷積模型接受可變大小的輸入，并動(dòng)態(tài)地調(diào)整它們的池化區(qū)域大小以保持輸出大小恒定(Waibel
et al., 1989)。其他卷積模型具有可變大小的輸出，其尺寸隨輸入自動(dòng)縮放，例如對(duì)圖像中的每個(gè)像素進(jìn)行去噪或標(biāo)注的模型(Hadsell
et al., 2007)。
數(shù)據(jù)集增強(qiáng)可以被看作一種只對(duì)訓(xùn)練集做預(yù)處理的方式。數(shù)據(jù)集增強(qiáng)是減少大多數(shù)
計(jì)算機(jī)視覺(jué)模型泛化誤差的一種極好方法。在測(cè)試時(shí)可用的一個(gè)相關(guān)想法是將同一輸入的許多不同版本傳給模型(例如，在稍微不同的位置處裁剪的相同圖像)，并且在模型的不同實(shí)例上決定模型的輸出。后一個(gè)想法可以被理解為集成方法，并且有助于減少泛化誤差。
其他種類的預(yù)處理需要同時(shí)應(yīng)用于訓(xùn)練集和測(cè)試集，其目的是將每個(gè)樣本置于更規(guī)范的形式，以便減少模型需要考慮的變化量。減少數(shù)據(jù)中的變化量既能夠減少泛化誤差，也能夠減小擬合訓(xùn)練集所需模型的大小。更簡(jiǎn)單的任務(wù)可以通過(guò)更小的模型來(lái)解決，而更簡(jiǎn)單的解決方案
泛化能力一般更好。這種類型的預(yù)處理通常被設(shè)計(jì)為去除輸入數(shù)據(jù)中的某種可變性，這對(duì)于人工設(shè)計(jì)者來(lái)說(shuō)是容易描述的，并且人工設(shè)計(jì)者能夠保證不受到任務(wù)影響。當(dāng)使用大型數(shù)據(jù)集和大型模型訓(xùn)練時(shí)，這種預(yù)處理通常是不必要的，并且最好只是讓模型學(xué)習(xí)哪些變化性應(yīng)該保留。例如，用于分類ImageNet
的AlexNet 系統(tǒng)僅具有一個(gè)預(yù)處理步驟：對(duì)每個(gè)像素減去訓(xùn)練樣本的平均值(Krizhevsky et al., 2012b)。
數(shù)據(jù)集增強(qiáng)
如第7.4
節(jié)中講到的一樣，我們很容易通過(guò)增加訓(xùn)練集的額外副本來(lái)增加訓(xùn)練集的大小，進(jìn)而改進(jìn)分類器的
泛化能力。這些額外副本可以通過(guò)對(duì)原始圖像進(jìn)行一些變化來(lái)生成，但是并不改變其類別。對(duì)象識(shí)別這個(gè)分類任務(wù)特別適合于這種形式的數(shù)據(jù)集增強(qiáng)，因?yàn)轭悇e信息對(duì)于許多變換是不變的，而我們可以簡(jiǎn)單地對(duì)輸入應(yīng)用諸多幾何變換。如前所述，分類器可以受益于隨機(jī)轉(zhuǎn)換或者旋轉(zhuǎn)，某些情況下輸入的翻轉(zhuǎn)可以增強(qiáng)數(shù)據(jù)集。在專門的
計(jì)算機(jī)視覺(jué)應(yīng)用中，存在很多更高級(jí)的用以增強(qiáng)數(shù)據(jù)集的變換。這些方案包括圖像中顏色的隨機(jī)擾動(dòng)(Krizhevskyet
al., 2012b)，以及對(duì)輸入的非線性幾何變形(LeCun et al., 1998c)。
語(yǔ)音識(shí)別
語(yǔ)音識(shí)別任務(wù)是將一段包括了自然語(yǔ)言發(fā)音的聲學(xué)信號(hào)投影到對(duì)應(yīng)說(shuō)話人的詞序列上。令X = (x(1), x(2), …, x(T))
表示語(yǔ)音的輸入向量(傳統(tǒng)做法以20ms
為一幀分割信號(hào))。許多語(yǔ)音識(shí)別的系統(tǒng)通過(guò)特殊的手工設(shè)計(jì)方法預(yù)處理輸入信號(hào)，從而提取
特征，但是某些
深度學(xué)習(xí)系統(tǒng)(Jaitly and
Hinton, 2011) 直接從原始輸入中學(xué)習(xí)
特征。令y = (y1; y2,…, yN)
表示目標(biāo)的輸出序列(通常是一個(gè)詞或者字符的序列)。自動(dòng)語(yǔ)音識(shí)別(automatic speech recognition,ASR)
任務(wù)指的是構(gòu)造一個(gè)函數(shù)f*ASR，使得它能夠在給定聲學(xué)序列X 的情況下計(jì)算最有可能的語(yǔ)言序列y：
從20 世紀(jì)80 年代直到2009?2012 年，最先進(jìn)的語(yǔ)音識(shí)別系統(tǒng)是隱馬爾可夫模型(hiddenmarkov model,
HMM) 和高斯混合模型(gaussian mixture model, GMM) 的結(jié)合。GMM 對(duì)聲學(xué)
特征和音素(phoneme)
之間的關(guān)系建模(Bahl et al., 1987)，HMM 對(duì)音素序列建模。GMM-HMM 模型將語(yǔ)音信號(hào)視作由如下過(guò)程生成：首先，一個(gè)HMM
生成了一個(gè)音素的序列以及離散的子音素狀態(tài)(比如每一個(gè)音素的開(kāi)始、中間、結(jié)尾)，然后GMM
把每一個(gè)離散的狀態(tài)轉(zhuǎn)化為一個(gè)簡(jiǎn)短的聲音信號(hào)。盡管直到最近GMM-HMM 一直在ASR
中占據(jù)主導(dǎo)地位，語(yǔ)音識(shí)別仍然是
神經(jīng)網(wǎng)絡(luò)所成功應(yīng)用的第一個(gè)領(lǐng)域。從20 世紀(jì)80 年代末期到90
年代初期，大量語(yǔ)音識(shí)別系統(tǒng)使用了
神經(jīng)網(wǎng)絡(luò)(Bourlard and Wellekens, 1989; Waibel et al., 1989;
Robinsonand Fallside, 1991; Bengio et al., 1991, 1992; Konig et al.,
1996)。當(dāng)時(shí)，基于
神經(jīng)網(wǎng)絡(luò)的ASR的表現(xiàn)和GMM-HMM 系統(tǒng)的表現(xiàn)差不多。比如說(shuō)，Robinson and Fallside (1991)
在TIMIT數(shù)據(jù)集(Garofolo et al., 1993)(有39 個(gè)區(qū)分的音素) 上達(dá)到了26%
的音素錯(cuò)誤率，這個(gè)結(jié)果優(yōu)于或者說(shuō)是可以與基于HMM 的結(jié)果相比。從那時(shí)起，TIMIT
成為音素識(shí)別的一個(gè)基準(zhǔn)數(shù)據(jù)集，在語(yǔ)音識(shí)別中的作用就和MNIST
在對(duì)象識(shí)別中的作用差不多。然而，由于語(yǔ)音識(shí)別軟件系統(tǒng)中復(fù)雜的工程因素以及在基于GMM-HMM
的系統(tǒng)中已經(jīng)付出的巨大努力，工業(yè)界并沒(méi)有迫切轉(zhuǎn)向
神經(jīng)網(wǎng)絡(luò)的需求。結(jié)果，直到21 世紀(jì)00
年代末期，學(xué)術(shù)界和工業(yè)界的研究者們更多的是用
神經(jīng)網(wǎng)絡(luò)為GMM-HMM 系統(tǒng)學(xué)習(xí)一些額外的
特征。
之后，隨著更大更深的模型以及更大的數(shù)據(jù)集的出現(xiàn)，通過(guò)使用
神經(jīng)網(wǎng)絡(luò)代替GMM 來(lái)實(shí)現(xiàn)將聲學(xué)
特征轉(zhuǎn)化為音素(或者子音素狀態(tài))
的過(guò)程可以大大地提高識(shí)別的
精度。從2009年開(kāi)始，語(yǔ)音識(shí)別的研究者們將一種
無(wú)監(jiān)督學(xué)習(xí)的
深度學(xué)習(xí)方法應(yīng)用于語(yǔ)音識(shí)別。這種
深度學(xué)習(xí)方法基于訓(xùn)練一個(gè)被稱作是受限玻爾茲曼機(jī)的無(wú)向概率模型，從而對(duì)輸入
數(shù)據(jù)建模。受限玻爾茲曼機(jī)將會(huì)在第三部分中描述。為了完成語(yǔ)音識(shí)別任務(wù)，
無(wú)監(jiān)督的預(yù)訓(xùn)練被用來(lái)構(gòu)造一個(gè)深度前饋網(wǎng)絡(luò)，這個(gè)
神經(jīng)網(wǎng)絡(luò)每一層都是通過(guò)訓(xùn)練受限玻爾茲曼機(jī)來(lái)初始化的。這些網(wǎng)絡(luò)的輸入是從一個(gè)固定規(guī)格的輸入窗(以當(dāng)前幀為中心)
的譜聲學(xué)表示抽取，預(yù)測(cè)了當(dāng)前幀所對(duì)應(yīng)的HMM 狀態(tài)的
條件概率。訓(xùn)練一個(gè)這樣的
神經(jīng)網(wǎng)絡(luò)能夠可以顯著提高在TIMIT
數(shù)據(jù)集上的識(shí)別率(Mohamed et al., 2009,2012a)，并將音素級(jí)別的錯(cuò)誤率從大約26%
降到了20:7%。關(guān)于這個(gè)模型成功原因的詳細(xì)分析可以參考Mohamed et al.
(2012b)。對(duì)于基本的電話識(shí)別工作流程的一個(gè)擴(kuò)展工作是添加說(shuō)話人自適應(yīng)相關(guān)
特征(Mohamed et al., 2011)
的方法，這可以進(jìn)一步地降低錯(cuò)誤率。緊接著的工作則將結(jié)構(gòu)從音素識(shí)別(TIMIT 所主要關(guān)注的)轉(zhuǎn)向了大規(guī)模詞匯語(yǔ)音識(shí)別(Dahl et al.,
2012)，這不僅包含了識(shí)別音素，還包括了識(shí)別大規(guī)模詞匯的序列。語(yǔ)音識(shí)別上的深度網(wǎng)絡(luò)從最初的使用受限玻爾茲曼機(jī)進(jìn)行預(yù)訓(xùn)練發(fā)展到了使用諸如整流線性單元和Dropout
這樣的技術(shù)(Zeiler et al., 2013; Dahl et al.,
2013)。從那時(shí)開(kāi)始，工業(yè)界的幾個(gè)語(yǔ)音研究組開(kāi)始尋求與學(xué)術(shù)圈的研究者之間的合作。Hinton et al.
(2012a)描述了這些合作所帶來(lái)的突破性進(jìn)展，這些技術(shù)現(xiàn)在被廣泛應(yīng)用在產(chǎn)品中，比如移動(dòng)手機(jī)端。
因此，增加容量的一種簡(jiǎn)單方法是將兩種方法結(jié)合，由神經(jīng)語(yǔ)言模型和n-gram 語(yǔ)言模型組成集成(Bengio et al., 2001b, 2003)。
模型容量的增加是巨大的(架構(gòu)的新部分包含高達(dá)|sV |n 個(gè)參數(shù))，但是處理輸入所需的額外計(jì)算量是很小的(因?yàn)轭~外輸入非常稀疏)。
機(jī)器翻譯以一種自然語(yǔ)言讀取句子并產(chǎn)生等同含義的另一種語(yǔ)言的句子。機(jī)器翻譯系統(tǒng)通常涉及許多組件。在高層次，一個(gè)組件通常會(huì)提出許多候選翻譯。由于語(yǔ)言之間的差異，這些翻譯中的許多翻譯是不符合語(yǔ)法的。例如，許多語(yǔ)言在名詞后放置形容詞，因此直接翻譯成英語(yǔ)時(shí)，它們會(huì)產(chǎn)生諸如“apple
red”的短語(yǔ)。提議機(jī)制提出建議翻譯的許多變體，理想情況下應(yīng)包括“red apple”。翻譯系統(tǒng)的第二個(gè)組成部分(語(yǔ)言模型)
評(píng)估提議的翻譯，并可以評(píng)估“red apple”比“apple red”更好。
京公網(wǎng)安備 11010802034615號(hào)
經(jīng)營(yíng)許可證編號(hào)：京B2-20210330
