常用的幾種神經(jīng)網(wǎng)絡(luò)

前向反饋網(wǎng)絡(luò)和感知器是直線向前的，信息從前向后（分別是輸入和輸出）傳播。神經(jīng)網(wǎng)絡(luò)通常被描述成多層，其中每一層都由輸入、隱藏層、輸出單元構(gòu)成。一層單一網(wǎng)絡(luò)內(nèi)部絕對(duì)不會(huì)有任何連接而通常在相鄰的層之間，神經(jīng)元是完全相連的（每層的每個(gè)神經(jīng)元都與另外一層的每個(gè)神經(jīng)元相連接）。最簡(jiǎn)單某種程度上也是最實(shí)用的網(wǎng)絡(luò)由兩個(gè)輸入單元和一個(gè)輸出單元，這種網(wǎng)絡(luò)可以被用作邏輯門(mén)模型。通常FFNNs是通過(guò)向后傳播訓(xùn)練的，給網(wǎng)絡(luò)成組的數(shù)據(jù)集包括“輸入”和“預(yù)想的輸出”。這種方式稱(chēng)為有監(jiān)督學(xué)習(xí)，與無(wú)監(jiān)督學(xué)習(xí)相反。誤差被向后傳播，而誤差可以通過(guò)MSE或者線性誤差來(lái)度量。假設(shè)網(wǎng)絡(luò)由足夠多的隱藏神經(jīng)元，它理論上來(lái)說(shuō)總是可以模擬輸入和輸出之間的關(guān)系的。實(shí)際上這種網(wǎng)絡(luò)本身用途很首先，但是它們通常和別的網(wǎng)絡(luò)合并來(lái)生成其他類(lèi)型的網(wǎng)絡(luò)。

霍普菲爾網(wǎng)絡(luò)的每個(gè)神經(jīng)元都與其他神經(jīng)元相連接；它是一碗完全糾纏在一起的意大利面。每個(gè)節(jié)點(diǎn)在訓(xùn)練前都是輸入點(diǎn)，然后訓(xùn)練中都是隱藏節(jié)點(diǎn)，訓(xùn)練結(jié)束后又是輸出節(jié)點(diǎn)。這些網(wǎng)絡(luò)會(huì)設(shè)定神經(jīng)元的值為所需要的模式，然后計(jì)算全職，通過(guò)這種方法來(lái)訓(xùn)練模型。在這之后權(quán)重不會(huì)再改變。一旦訓(xùn)練成一種或多種模式，網(wǎng)絡(luò)會(huì)一直收斂到一種學(xué)習(xí)好的模式，因?yàn)榫W(wǎng)絡(luò)只有在這些狀態(tài)下才是穩(wěn)定的。注意到它不會(huì)一直符合所要的狀態(tài)。它能夠部分穩(wěn)定是因?yàn)槿值摹澳芰俊被颉皽囟取痹谟?xùn)練中是逐步減少的。

卷積神經(jīng)網(wǎng)絡(luò)和大多數(shù)其他類(lèi)型的網(wǎng)絡(luò)都很不相同。他們最初用來(lái)做圖像處理，后來(lái)也用在其他類(lèi)型的輸入數(shù)據(jù)比如音頻。一個(gè)典型的CNN應(yīng)用是，當(dāng)你給網(wǎng)絡(luò)輸入圖像，網(wǎng)絡(luò)會(huì)對(duì)數(shù)據(jù)進(jìn)行分類(lèi)，例如如果你輸入的是貓的照片，它會(huì)給出標(biāo)簽“貓”。CNN通常以一個(gè)輸入“掃描儀”開(kāi)始，而它并不會(huì)在理科解析所有的訓(xùn)練數(shù)據(jù)。舉例來(lái)說(shuō)，輸入一個(gè)200*200像素的圖像，你肯定不想要有40000節(jié)點(diǎn)的一層。相反，你建立一個(gè)掃描輸入層比如20*20，把大圖像左上角的20*20像素進(jìn)行掃描。一旦前20*20經(jīng)過(guò)處理，逐像素向右移動(dòng)這個(gè)掃描器來(lái)掃描所有的剩余圖像。注意到，我們并沒(méi)有把處理過(guò)的20*20像素挪開(kāi)，也沒(méi)有把圖像分成20*20的小塊，而是使用這個(gè)20*20的掃描器對(duì)所有像素進(jìn)行掃描。輸入數(shù)據(jù)然后進(jìn)行卷積層而不是普通曾，意味著不是所有的節(jié)點(diǎn)都和其他節(jié)點(diǎn)相連接。每個(gè)節(jié)點(diǎn)都只和她最近的節(jié)點(diǎn)相連（遠(yuǎn)近取決于具體的實(shí)現(xiàn)，但通常不會(huì)很多）。這些卷積層也傾向于變小當(dāng)它們?cè)嚼显缴畹臅r(shí)候，通常是輸入大小最容易整除的因子（如20可能變成10，然后5）。2的冪在這里會(huì)經(jīng)常被使用，因?yàn)樗鼈兡軌蚝芡耆姆蛛x：32,16,8,4,2,1。除了這些卷積層，通常還有特征池化層。池化是一種濾出細(xì)節(jié)部分的方法：最常用的池化技術(shù)是極大值池化，比如我們對(duì)2*2的像素，返回其R值最大的像素。對(duì)音頻使用CNN，我們只需要輸入音頻波，然后一點(diǎn)一點(diǎn)增加長(zhǎng)度。實(shí)際中對(duì)CNN的使用通常在末端增加一個(gè)FFNN用來(lái)深入處理數(shù)據(jù)，通常要能處理高度非線性抽象分類(lèi)問(wèn)題。CNN+FFNN這種網(wǎng)絡(luò)通常稱(chēng)為DCNN，但是DCNN和CNN的名稱(chēng)和縮寫(xiě)通?？梢曰ハ啻妗?

去卷積神經(jīng)網(wǎng)絡(luò)，也稱(chēng)作逆圖形網(wǎng)絡(luò)，是卷積神經(jīng)網(wǎng)絡(luò)的逆過(guò)程。對(duì)該網(wǎng)絡(luò)輸入單詞“貓”，網(wǎng)絡(luò)通過(guò)比較它生成的圖片和真是貓圖片，輸出它認(rèn)為滿足輸入條件貓的圖片。DNN可以和FFNN結(jié)合一起使用。

生成對(duì)抗網(wǎng)絡(luò)是一種不同的網(wǎng)絡(luò)，他們是雙胞胎：兩個(gè)網(wǎng)絡(luò)一起工作。對(duì)抗生成網(wǎng)絡(luò)有任何兩個(gè)網(wǎng)絡(luò)組成（通常是FF和CNN的組合），其中一個(gè)負(fù)責(zé)生成內(nèi)容另一個(gè)要判斷內(nèi)容。判別網(wǎng)絡(luò)要么接受訓(xùn)練數(shù)據(jù)，要么接受生成網(wǎng)絡(luò)生成的數(shù)據(jù)作為輸入。判別網(wǎng)絡(luò)的預(yù)測(cè)精度被當(dāng)做生成網(wǎng)絡(luò)的誤差的一部分。這樣產(chǎn)生一組對(duì)抗，當(dāng)判別網(wǎng)絡(luò)能越來(lái)越精細(xì)的判別生成數(shù)據(jù)和真實(shí)數(shù)據(jù)，生成網(wǎng)絡(luò)也會(huì)生成越來(lái)越難以預(yù)測(cè)的數(shù)據(jù)。這種方式在某種程度上能很好的運(yùn)行時(shí)因?yàn)樵購(gòu)?fù)雜的帶噪聲的模式最終都是可預(yù)測(cè)的，但是和輸入數(shù)據(jù)有相似特征的生成數(shù)據(jù)卻很難學(xué)習(xí)判別。對(duì)抗生成網(wǎng)絡(luò)非常難訓(xùn)練，因?yàn)槲覀儾粌H僅是訓(xùn)練兩個(gè)網(wǎng)絡(luò)（每一個(gè)都有他們各自的問(wèn)題），而且要處理他們之間的動(dòng)態(tài)平衡關(guān)系。如果預(yù)測(cè)或生成網(wǎng)絡(luò)比另一個(gè)網(wǎng)絡(luò)好，那么對(duì)抗生成網(wǎng)絡(luò)將不會(huì)收斂，因?yàn)楸举|(zhì)上這兩個(gè)網(wǎng)絡(luò)就存在著分歧。

周期神經(jīng)網(wǎng)絡(luò)是帶時(shí)間周期的FFNN：他們不是無(wú)狀態(tài)的；他們?cè)跁r(shí)間上有相關(guān)性。神經(jīng)元不僅從輸入接收信息，而且還要接收他們自身前一個(gè)周期點(diǎn)的信息。這意味著，我們輸入和訓(xùn)練網(wǎng)絡(luò)的過(guò)程是很重要的：先輸入“牛奶”后“餅干”與先“餅干”后“牛奶”，可能會(huì)產(chǎn)生不同的結(jié)果。RNN一個(gè)重要的問(wèn)題是退化（或爆炸式）梯度問(wèn)題，依賴(lài)于激活函數(shù)的使用，信息隨著時(shí)間快速損失，就像非常深的FFNN隨著深度的增加損失信息一樣。直觀上這不會(huì)帶來(lái)很大問(wèn)題因?yàn)樗麄儍H僅是權(quán)重而不是神經(jīng)元狀態(tài)，但是帶時(shí)間的權(quán)重實(shí)際上就是存儲(chǔ)信息的地方；如果權(quán)重取值為0或者1 000 000，之前的狀態(tài)就沒(méi)多大用處了。RNN原則上訥訥夠在很多領(lǐng)域使用，盡管大多數(shù)數(shù)據(jù)形式實(shí)際上都沒(méi)有時(shí)間線（比如 不想聲音和視頻），但是它們都可以被表示成序列。一副圖片或一串文字可以看做在每個(gè)時(shí)間點(diǎn)上一個(gè)像素或者一個(gè)字符，所以依賴(lài)時(shí)間的權(quán)重是在序列中某個(gè)之前出現(xiàn)的值上使用，而不是實(shí)際上多少秒之前發(fā)生的。通常，周期性網(wǎng)絡(luò)對(duì)于演進(jìn)或補(bǔ)全信息非常有效，比如自動(dòng)補(bǔ)全。