SPSS神經(jīng)網(wǎng)絡(luò)心得（一）

SPSS神經(jīng)網(wǎng)絡(luò)，是一個(gè)非線性的數(shù)據(jù)建模工具集合，包括輸入層和輸出層、一個(gè)或者多個(gè)隱藏層。神經(jīng)元之間的連接賦予相關(guān)的權(quán)重，訓(xùn)練算法在迭代過程中不斷調(diào)整這些權(quán)重，從而使得預(yù)測(cè)誤差最小化并給出預(yù)測(cè)精度。包括多層感知器（MLP）和徑向基函數(shù)（RBF）兩種方法。本人只研究了多層感知器的方法。

使用SPSS神經(jīng)網(wǎng)絡(luò)，可以將數(shù)據(jù)拆分成訓(xùn)練集、測(cè)試集、驗(yàn)證集。訓(xùn)練集用來(lái)估計(jì)網(wǎng)絡(luò)參數(shù)；測(cè)試集用來(lái)防止過度訓(xùn)練。驗(yàn)證樣本用來(lái)單獨(dú)評(píng)估最終網(wǎng)絡(luò)。

多層感知器（MLP）

MLP通過多層感知器來(lái)擬合神經(jīng)網(wǎng)絡(luò)。多層感知器是一個(gè)前饋式有監(jiān)督的結(jié)構(gòu)。它可以包含多個(gè)隱藏層、一個(gè)或者多個(gè)因變量。

變量

因變量：在函數(shù)關(guān)系式中，某特定的數(shù)會(huì)隨一個(gè)（或幾個(gè)）變動(dòng)的數(shù)的變動(dòng)而變動(dòng)。

協(xié)變量：在實(shí)驗(yàn)的設(shè)計(jì)中，協(xié)變量是一個(gè)獨(dú)立變量（解釋變量），不為實(shí)驗(yàn)者所操縱，但仍影響實(shí)驗(yàn)結(jié)果。協(xié)變量可以進(jìn)行重標(biāo)度：標(biāo)準(zhǔn)化（A）、標(biāo)準(zhǔn)化、調(diào)整標(biāo)準(zhǔn)化。

? 標(biāo)準(zhǔn)化（A）。 減去均值并除以標(biāo)準(zhǔn)差，(x?均值)/s。
? 標(biāo)準(zhǔn)化。 減去均值并除以范圍，(x?min)/(max?min)。標(biāo)準(zhǔn)化值介于 0 和 1 之間。
? 調(diào)整標(biāo)準(zhǔn)化。 減去最小值并除以范圍所得到的調(diào)整版本，[2*(x?min)/(max?min)]?1。調(diào)整的標(biāo)準(zhǔn)化值介于 ?1 和 1 之間。

分區(qū)

分區(qū)數(shù)據(jù)集。 此組指定將活動(dòng)數(shù)據(jù)集劃分為訓(xùn)練集、測(cè)試集或驗(yàn)證集的方法。訓(xùn)練集包含用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)記錄；數(shù)據(jù)集中的某些個(gè)案百分比必須分配給訓(xùn)練樣本以獲得一個(gè)模型。測(cè)試集是一個(gè)用于跟蹤訓(xùn)練過程中的錯(cuò)誤以防止超額訓(xùn)練的獨(dú)立數(shù)據(jù)記錄集。強(qiáng)烈建議您創(chuàng)建一個(gè)訓(xùn)練集，并且如果測(cè)試集小于訓(xùn)練集，網(wǎng)絡(luò)訓(xùn)練通常最高效。驗(yàn)證集是另一個(gè)用于評(píng)估最終神經(jīng)網(wǎng)絡(luò)的獨(dú)立數(shù)據(jù)記錄集。
? 根據(jù)個(gè)案的相對(duì)數(shù)量隨機(jī)分配個(gè)案。 指定隨機(jī)分配到每個(gè)樣本（訓(xùn)練、測(cè)試和驗(yàn)證）的個(gè)案的相對(duì)數(shù)量（比率）。% 列根據(jù)您已經(jīng)指定的相對(duì)數(shù)量，報(bào)告將被分配到每個(gè)樣本的個(gè)案的百分比。
例如，指定 7、3、0 作為訓(xùn)練、檢驗(yàn)和堅(jiān)持樣本的相對(duì)數(shù)量對(duì)應(yīng)于 70%、30% 和 0%。指定 2、1、1 作為相對(duì)數(shù)量對(duì)應(yīng) 50%、25% 和 25%；1、1、1 對(duì)應(yīng)將數(shù)據(jù)集在訓(xùn)練、檢驗(yàn)和堅(jiān)持中分為相等的三部分。
? 使用分區(qū)變量分配個(gè)案。 指定一個(gè)將活動(dòng)數(shù)據(jù)集中的每個(gè)個(gè)案分配到訓(xùn)練、檢驗(yàn)和堅(jiān)持樣本中的數(shù)值變量。變量為正值的個(gè)案被分配到訓(xùn)練集中，值為 0 的個(gè)案被分配到測(cè)試集中，而負(fù)值個(gè)案被分配到驗(yàn)證集中。具有系統(tǒng)缺失值的個(gè)案會(huì)從分析中排除。分區(qū)變量的任何用戶缺失值始終視為有效。

體系結(jié)構(gòu)

“體系結(jié)構(gòu)”選項(xiàng)卡用于指定網(wǎng)絡(luò)結(jié)構(gòu)。該過程可以自動(dòng)選擇“最佳”體系結(jié)構(gòu)，或者也可以指定自定義體系結(jié)構(gòu)。

隱藏層
隱藏層包含無(wú)法觀察的網(wǎng)絡(luò)節(jié)點(diǎn)（單位）。每個(gè)隱藏單位是一個(gè)輸入權(quán)重總和的函數(shù)。該函數(shù)是激活函數(shù)，而且權(quán)重值由估計(jì)算法確定。如果網(wǎng)絡(luò)包含第二個(gè)隱藏層，第二個(gè)層中的每個(gè)隱藏單位是第一個(gè)隱藏層中權(quán)重之和的函數(shù)。兩個(gè)層使用相同激活函數(shù)。
隱藏層數(shù). 一個(gè)多層感知器可以有一個(gè)或兩個(gè)隱藏層。
激活函數(shù). 激活函數(shù)將某個(gè)層中的單位的加權(quán)和“關(guān)聯(lián)”到下一層的單位值。
? 雙曲正切。 此函數(shù)格式：γ(c) = 此函數(shù)格式：γ(c) =>

? Sigmoid。 此函數(shù)格式：γ(c) = 1/(1+e^(?c))。其取實(shí)數(shù)值參數(shù)并將其變換到（0、1）范圍。
單位數(shù). 可以明確指定或由估計(jì)算法自動(dòng)確定每個(gè)隱藏層中的單元數(shù)。
輸出層
輸出層包含目標(biāo)（因）變量。
激活函數(shù).激活函數(shù)將某個(gè)層中的單位的加權(quán)和“關(guān)聯(lián)”到下一層的單位值。
? 恒等。 此函數(shù)格式：γ(c) = c。其取實(shí)數(shù)值參數(shù)并且其返回值保持不變。使用自動(dòng)體系結(jié)構(gòu)選擇時(shí)，如果存在刻度因變量，則此為輸出層中所有單位的激活函數(shù)。
? Softmax。 其取實(shí)數(shù)值參數(shù)的矢量，并將其變換到元素介于（0、1）范圍的矢量，和為 1。只有所有因變量是分類變量時(shí)，才可以使用 Softmax。使用自動(dòng)體系結(jié)構(gòu)選擇時(shí)，如果所有因變量是分類變量，此為輸出層中所有單位的激活函數(shù)。
? 雙曲正切
? Sigmoid
尺度因變量重標(biāo)度。 至少選擇一個(gè)刻度因變量時(shí)才可以使用這些控制。

如果輸出層使用 sigmoid 激活函數(shù)，則此為刻度因變量所需的重標(biāo)度方法。修正值選項(xiàng)指定一個(gè)較小數(shù)字 ε，并將其作為修正值應(yīng)用于重標(biāo)度公式中；此修正值確保所有重標(biāo)度因變量值介于激活函數(shù)范圍。具體來(lái)說(shuō)，當(dāng) x 取最小值和最大值時(shí)，未修正的公式中的值 0 和 1 將定義 sigmoid 函數(shù)的范圍限制，但是不介于該范圍之內(nèi)。修正公式為 [x?(min?ε)]/[(max+ε)?(min?ε)]。請(qǐng)指定大于等于 0 的數(shù)。

如果輸出層使用雙曲正切激活函數(shù)，則此為刻度因變量所需的重標(biāo)度方法。修正值選項(xiàng)指定一個(gè)較小數(shù)字 ε，并將其作為修正值應(yīng)用于重標(biāo)度公式中；此修正值確保所有重標(biāo)度因變量值介于激活函數(shù)范圍。具體來(lái)說(shuō)，當(dāng) x 取最小值和最大值時(shí)，未修正的公式中的值? 1 和 1 將定義雙曲正切函數(shù)的范圍限制，但是不介于該范圍之內(nèi)。修正公式為 {2*[(x?(min?ε))/((max+ε)?(min?ε))]}?1。指定一個(gè)大于或等于 0 的數(shù)字。

培訓(xùn) 
“培訓(xùn)”選項(xiàng)卡用于指定如何培訓(xùn)網(wǎng)絡(luò)。培訓(xùn)的類型和優(yōu)化算法確定哪個(gè)培訓(xùn)選項(xiàng)可用。

培訓(xùn)類型。 培訓(xùn)類型確定網(wǎng)絡(luò)如何處理記錄。從下列培訓(xùn)類型中選擇：
? 批處理。 只有傳遞所有培訓(xùn)數(shù)據(jù)記錄之后才能更新鍵結(jié)值；也就是說(shuō)，批處理培訓(xùn)使用培訓(xùn)數(shù)據(jù)集中所有記錄信息。批處理培訓(xùn)通常為首選方法，因?yàn)樗苯邮箍傉`差最??；然而，批處理培訓(xùn)可能需要多次更新權(quán)重，直至滿足其中一條中止規(guī)則，因此可能需要傳遞數(shù)據(jù)多次。其對(duì)于“較小”數(shù)據(jù)集最有用。
? 在線。 在每一個(gè)培訓(xùn)數(shù)據(jù)記錄之后更新鍵結(jié)值；也就是說(shuō)，在線培訓(xùn)一次使用一個(gè)記錄信息。在線培訓(xùn)連續(xù)獲取記錄并更新權(quán)重，直至滿足其中一條中止規(guī)則。如果一次使用所有記錄，而且不滿足任何中止規(guī)則，那么該過程通過循環(huán)數(shù)據(jù)記錄繼續(xù)。對(duì)于與預(yù)測(cè)變量相關(guān)的“較大”數(shù)據(jù)集，在線培訓(xùn)要優(yōu)于批處理；也就是說(shuō)，如果有許多記錄和輸入，并且其值之間不相互獨(dú)立，那么在線培訓(xùn)可以比批處理培訓(xùn)更快獲取一個(gè)合理答案。
? 袖珍型批處理。 將培訓(xùn)數(shù)據(jù)記錄劃分到大小近似相等的組中，然后在傳遞一組之后更新鍵結(jié)值；也就是說(shuō)，袖珍型批處理培訓(xùn)使用一組記錄信息。然后，如果需要，該過程循環(huán)數(shù)據(jù)組。袖珍型批處理培訓(xùn)提供介于批處理培訓(xùn)和在線培訓(xùn)之間的折中方法，它可能最適于“中型”數(shù)據(jù)集。該過程可以自動(dòng)確定每個(gè)袖珍型批處理培訓(xùn)記錄的數(shù)目，或者您可以指定一個(gè)大于 1 并小于或等于將存儲(chǔ)到內(nèi)存的個(gè)案的最大數(shù)目的整數(shù)。您可以在選項(xiàng)選項(xiàng)卡上設(shè)置將存儲(chǔ)到內(nèi)存的個(gè)案最大數(shù)目。
優(yōu)化算法。 這是一種用于估計(jì)鍵結(jié)值的方法。
? 調(diào)整的共軛梯度。 使用共軛梯度方法對(duì)齊的假設(shè)僅應(yīng)用于批處理培訓(xùn)類型，所以此方法不適用于在線培訓(xùn)或袖珍型批處理培訓(xùn)。
? 梯度下降。 此方法需與在線培訓(xùn)或袖珍型批處理培訓(xùn)共同使用；也可以與批處理培訓(xùn)共同使用。
培訓(xùn)選項(xiàng)。 該培訓(xùn)選項(xiàng)允許您細(xì)微調(diào)整優(yōu)化算法。您一般無(wú)需更改這些設(shè)置，除非網(wǎng)絡(luò)出現(xiàn)估計(jì)問題。