SPSS神經(jīng)網(wǎng)絡心得（一）

SPSS神經(jīng)網(wǎng)絡，是一個非線性的數(shù)據(jù)建模工具集合，包括輸入層和輸出層、一個或者多個隱藏層。神經(jīng)元之間的連接賦予相關的權重，訓練算法在迭代過程中不斷調整這些權重，從而使得預測誤差最小化并給出預測精度。包括多層感知器（MLP）和徑向基函數(shù)（RBF）兩種方法。本人只研究了多層感知器的方法。

使用SPSS神經(jīng)網(wǎng)絡，可以將數(shù)據(jù)拆分成訓練集、測試集、驗證集。訓練集用來估計網(wǎng)絡參數(shù)；測試集用來防止過度訓練。驗證樣本用來單獨評估最終網(wǎng)絡。

多層感知器（MLP）

MLP通過多層感知器來擬合神經(jīng)網(wǎng)絡。多層感知器是一個前饋式有監(jiān)督的結構。它可以包含多個隱藏層、一個或者多個因變量。

變量

因變量：在函數(shù)關系式中，某特定的數(shù)會隨一個（或幾個）變動的數(shù)的變動而變動。

協(xié)變量：在實驗的設計中，協(xié)變量是一個獨立變量（解釋變量），不為實驗者所操縱，但仍影響實驗結果。協(xié)變量可以進行重標度：標準化（A）、標準化、調整標準化。

? 標準化（A）。 減去均值并除以標準差，(x?均值)/s。
? 標準化。 減去均值并除以范圍，(x?min)/(max?min)。標準化值介于 0 和 1 之間。
? 調整標準化。 減去最小值并除以范圍所得到的調整版本，[2*(x?min)/(max?min)]?1。調整的標準化值介于 ?1 和 1 之間。

分區(qū)

分區(qū)數(shù)據(jù)集。 此組指定將活動數(shù)據(jù)集劃分為訓練集、測試集或驗證集的方法。訓練集包含用于訓練神經(jīng)網(wǎng)絡的數(shù)據(jù)記錄；數(shù)據(jù)集中的某些個案百分比必須分配給訓練樣本以獲得一個模型。測試集是一個用于跟蹤訓練過程中的錯誤以防止超額訓練的獨立數(shù)據(jù)記錄集。強烈建議您創(chuàng)建一個訓練集，并且如果測試集小于訓練集，網(wǎng)絡訓練通常最高效。驗證集是另一個用于評估最終神經(jīng)網(wǎng)絡的獨立數(shù)據(jù)記錄集。
? 根據(jù)個案的相對數(shù)量隨機分配個案。 指定隨機分配到每個樣本（訓練、測試和驗證）的個案的相對數(shù)量（比率）。% 列根據(jù)您已經(jīng)指定的相對數(shù)量，報告將被分配到每個樣本的個案的百分比。
例如，指定 7、3、0 作為訓練、檢驗和堅持樣本的相對數(shù)量對應于 70%、30% 和 0%。指定 2、1、1 作為相對數(shù)量對應 50%、25% 和 25%；1、1、1 對應將數(shù)據(jù)集在訓練、檢驗和堅持中分為相等的三部分。
? 使用分區(qū)變量分配個案。 指定一個將活動數(shù)據(jù)集中的每個個案分配到訓練、檢驗和堅持樣本中的數(shù)值變量。變量為正值的個案被分配到訓練集中，值為 0 的個案被分配到測試集中，而負值個案被分配到驗證集中。具有系統(tǒng)缺失值的個案會從分析中排除。分區(qū)變量的任何用戶缺失值始終視為有效。

體系結構

“體系結構”選項卡用于指定網(wǎng)絡結構。該過程可以自動選擇“最佳”體系結構，或者也可以指定自定義體系結構。

隱藏層
隱藏層包含無法觀察的網(wǎng)絡節(jié)點（單位）。每個隱藏單位是一個輸入權重總和的函數(shù)。該函數(shù)是激活函數(shù)，而且權重值由估計算法確定。如果網(wǎng)絡包含第二個隱藏層，第二個層中的每個隱藏單位是第一個隱藏層中權重之和的函數(shù)。兩個層使用相同激活函數(shù)。
隱藏層數(shù). 一個多層感知器可以有一個或兩個隱藏層。
激活函數(shù). 激活函數(shù)將某個層中的單位的加權和“關聯(lián)”到下一層的單位值。
? 雙曲正切。 此函數(shù)格式：γ(c) = 此函數(shù)格式：γ(c) =>

? Sigmoid。 此函數(shù)格式：γ(c) = 1/(1+e^(?c))。其取實數(shù)值參數(shù)并將其變換到（0、1）范圍。
單位數(shù). 可以明確指定或由估計算法自動確定每個隱藏層中的單元數(shù)。
輸出層
輸出層包含目標（因）變量。
激活函數(shù).激活函數(shù)將某個層中的單位的加權和“關聯(lián)”到下一層的單位值。
? 恒等。 此函數(shù)格式：γ(c) = c。其取實數(shù)值參數(shù)并且其返回值保持不變。使用自動體系結構選擇時，如果存在刻度因變量，則此為輸出層中所有單位的激活函數(shù)。
? Softmax。 其取實數(shù)值參數(shù)的矢量，并將其變換到元素介于（0、1）范圍的矢量，和為 1。只有所有因變量是分類變量時，才可以使用 Softmax。使用自動體系結構選擇時，如果所有因變量是分類變量，此為輸出層中所有單位的激活函數(shù)。
? 雙曲正切
? Sigmoid
尺度因變量重標度。 至少選擇一個刻度因變量時才可以使用這些控制。

如果輸出層使用 sigmoid 激活函數(shù)，則此為刻度因變量所需的重標度方法。修正值選項指定一個較小數(shù)字 ε，并將其作為修正值應用于重標度公式中；此修正值確保所有重標度因變量值介于激活函數(shù)范圍。具體來說，當 x 取最小值和最大值時，未修正的公式中的值 0 和 1 將定義 sigmoid 函數(shù)的范圍限制，但是不介于該范圍之內(nèi)。修正公式為 [x?(min?ε)]/[(max+ε)?(min?ε)]。請指定大于等于 0 的數(shù)。

如果輸出層使用雙曲正切激活函數(shù)，則此為刻度因變量所需的重標度方法。修正值選項指定一個較小數(shù)字 ε，并將其作為修正值應用于重標度公式中；此修正值確保所有重標度因變量值介于激活函數(shù)范圍。具體來說，當 x 取最小值和最大值時，未修正的公式中的值? 1 和 1 將定義雙曲正切函數(shù)的范圍限制，但是不介于該范圍之內(nèi)。修正公式為 {2*[(x?(min?ε))/((max+ε)?(min?ε))]}?1。指定一個大于或等于 0 的數(shù)字。

培訓 
“培訓”選項卡用于指定如何培訓網(wǎng)絡。培訓的類型和優(yōu)化算法確定哪個培訓選項可用。

培訓類型。 培訓類型確定網(wǎng)絡如何處理記錄。從下列培訓類型中選擇：
? 批處理。 只有傳遞所有培訓數(shù)據(jù)記錄之后才能更新鍵結值；也就是說，批處理培訓使用培訓數(shù)據(jù)集中所有記錄信息。批處理培訓通常為首選方法，因為它直接使總誤差最小；然而，批處理培訓可能需要多次更新權重，直至滿足其中一條中止規(guī)則，因此可能需要傳遞數(shù)據(jù)多次。其對于“較小”數(shù)據(jù)集最有用。
? 在線。 在每一個培訓數(shù)據(jù)記錄之后更新鍵結值；也就是說，在線培訓一次使用一個記錄信息。在線培訓連續(xù)獲取記錄并更新權重，直至滿足其中一條中止規(guī)則。如果一次使用所有記錄，而且不滿足任何中止規(guī)則，那么該過程通過循環(huán)數(shù)據(jù)記錄繼續(xù)。對于與預測變量相關的“較大”數(shù)據(jù)集，在線培訓要優(yōu)于批處理；也就是說，如果有許多記錄和輸入，并且其值之間不相互獨立，那么在線培訓可以比批處理培訓更快獲取一個合理答案。
? 袖珍型批處理。 將培訓數(shù)據(jù)記錄劃分到大小近似相等的組中，然后在傳遞一組之后更新鍵結值；也就是說，袖珍型批處理培訓使用一組記錄信息。然后，如果需要，該過程循環(huán)數(shù)據(jù)組。袖珍型批處理培訓提供介于批處理培訓和在線培訓之間的折中方法，它可能最適于“中型”數(shù)據(jù)集。該過程可以自動確定每個袖珍型批處理培訓記錄的數(shù)目，或者您可以指定一個大于 1 并小于或等于將存儲到內(nèi)存的個案的最大數(shù)目的整數(shù)。您可以在選項選項卡上設置將存儲到內(nèi)存的個案最大數(shù)目。
優(yōu)化算法。 這是一種用于估計鍵結值的方法。
? 調整的共軛梯度。 使用共軛梯度方法對齊的假設僅應用于批處理培訓類型，所以此方法不適用于在線培訓或袖珍型批處理培訓。
? 梯度下降。 此方法需與在線培訓或袖珍型批處理培訓共同使用；也可以與批處理培訓共同使用。
培訓選項。 該培訓選項允許您細微調整優(yōu)化算法。您一般無需更改這些設置，除非網(wǎng)絡出現(xiàn)估計問題。