神經(jīng)網(wǎng)絡(luò)的關(guān)鍵是什么

相對于傳統(tǒng)的線性和非線性方法，為什么神經(jīng)網(wǎng)絡(luò)會如此強(qiáng)大？

當(dāng)你有一個線性模型，每一個功能要么對你有幫助，要么對你有傷害，這種假設(shè)是線性模型中固有的。因此線性模型要么功能異常強(qiáng)大，用類1表示；要么則毫無用處，用類2表示。所有的解決方案，要么導(dǎo)致該功能獲得巨大的價值；要么價值變得微不足道。你永遠(yuǎn)不會有這么一個狀態(tài)說，在這個區(qū)間，該功能就是代表類1；但是在另一個區(qū)間，它代表類2。

線性和非線性方法局限性很大。也就是說，如果你分析圖片，舉個例子，尋找狗狗的照片，它很可能會進(jìn)入到一個特定的子集里面，比如只顯示有一只狗的照片，或是顯示某一像素和其他類型的圖片。在線性模式里面，你無法確定復(fù)雜的關(guān)系集。相比于線性模型，非線性模型可能會顯得更強(qiáng)大一些，但是這種模式同樣難以訓(xùn)練。我們會再一次進(jìn)入到所謂最優(yōu)化理論的問題之中，這也是我們在很長一段時間里認(rèn)為神經(jīng)網(wǎng)絡(luò)還不是足夠好的原因之一，因?yàn)樗麄儠?a href='/map/guonihe/' style='color:#000;font-size:inherit;'>過擬合”，通俗的說，就是太過強(qiáng)大。我們無法做預(yù)測，也無法確保最優(yōu)化方案?；蛟S，這可能就是為什么神經(jīng)網(wǎng)絡(luò)從當(dāng)下暫時消失的原因吧。

在神經(jīng)網(wǎng)絡(luò)理論中，機(jī)器學(xué)習(xí)有很多分支和方法，你能總結(jié)一些關(guān)鍵方法嗎？

到目前為止，最成功的方法是監(jiān)督學(xué)習(xí)方法，它使用了一個比較老的算法，稱為反向傳播，構(gòu)建了一個擁有許多不同輸出的神經(jīng)網(wǎng)絡(luò)。

讓我們看下一個神經(jīng)網(wǎng)絡(luò)構(gòu)建，這個網(wǎng)絡(luò)已經(jīng)非常流行了，叫做卷積神經(jīng)網(wǎng)絡(luò)。這個理念是機(jī)器學(xué)習(xí)研究人員構(gòu)建了一個多層架構(gòu)的模型，每一層都可以用不同的方法處理之前一層的連接。

在第一層，你有一個窗口，上面會給圖像分配權(quán)值，它也變成了該層的輸入。由于權(quán)值“卷積”，該層也被稱為卷積層，它會自我重疊。接著后面會有若干個不同類型的層，每層都有不同的屬性，絕大多數(shù)都是非線性的。

最后一層會有1萬個潛在神經(jīng)元輸入，那些激活的神經(jīng)輸出，每一個都對應(yīng)了一個特殊的標(biāo)簽，可以用來識別圖像。第一類可能是一只貓，第二類可能是一輛車，以此推到所有一萬個類，這樣一張“圖像網(wǎng)”就出來了。如果第一個神經(jīng)元（一只貓）與1萬個神經(jīng)元中絕大多數(shù)都匹配，那么這張圖像就能被識別出來，是一張貓的圖像。

這種監(jiān)督學(xué)習(xí)方法的缺點(diǎn)是，在訓(xùn)練的時候，你必須要在圖像上應(yīng)用標(biāo)簽，這是一輛車，這是一個動物園等。

沒錯，那么無監(jiān)督學(xué)習(xí)方法呢？

無監(jiān)督學(xué)習(xí)方法還不是那么受歡迎，它涉及到“自編碼器”。這種神經(jīng)網(wǎng)絡(luò)不會用來分類圖像，但是可以壓縮圖像。同我剛才提及的方法來讀取圖像，識別一個權(quán)值，并在一個卷積層內(nèi)用像素填滿。其他若干層也這樣，包括相比于其它層小的多的中間層。這樣做的話，相關(guān)的神經(jīng)元會變得很少，基本上，你讀取圖像時會進(jìn)入到一個瓶頸，之后從另一邊走出來，并嘗試重新構(gòu)建該圖像。

在無監(jiān)督學(xué)習(xí)訓(xùn)練下，不需要打標(biāo)簽，因?yàn)槟闼龅木褪前褕D像放入到神經(jīng)網(wǎng)絡(luò)的兩端，然后訓(xùn)練網(wǎng)絡(luò)適應(yīng)圖像，特別是訓(xùn)練中間層。一旦你這么做了，那么就擁有了一個知道如何壓縮圖像的神經(jīng)網(wǎng)絡(luò)。無監(jiān)督學(xué)習(xí)方法可以給你提供能應(yīng)用在其他分類器的功能，因此如果你有哪怕一點(diǎn)點(diǎn)標(biāo)簽訓(xùn)練數(shù)據(jù)，沒問題，它一樣可以為你提供大量圖像。你可以把這些圖像看做是無標(biāo)簽訓(xùn)練數(shù)據(jù)，并使用這些圖像構(gòu)建一個“自編輯器”，然后從這個自編輯器中導(dǎo)出一些功能，這些功能適合使用一些訓(xùn)練數(shù)據(jù)，以此找到對特殊模型敏感的自動編碼神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元。