SPSS統(tǒng)計(jì)分析案例:多層感知器神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)模型起源于對(duì)人類大腦思維模式的研究，它是一個(gè)非線性的數(shù)據(jù)建模工具， 由輸入層和輸出層、 一個(gè)或者多個(gè)隱藏層構(gòu)成神經(jīng)元，神經(jīng)元之間的連接賦予相關(guān)的權(quán)重， 訓(xùn)練學(xué)習(xí)算法在迭代過程中不斷調(diào)整這些權(quán)重，從而使得預(yù)測誤差最小化并給出預(yù)測精度。

在SPSS神經(jīng)網(wǎng)絡(luò)中，包括多層感知器（MLP）和徑向基函數(shù)（RBF）兩種方法。

本期主要學(xué)習(xí)多層感知器神經(jīng)網(wǎng)絡(luò)，要把它講清楚是比較困難的，為了能直觀感受它的功能，首先以一個(gè)案例開始，最后再總結(jié)知識(shí)。

案例數(shù)據(jù)

該數(shù)據(jù)文件涉及某銀行在降低貸款拖欠率方面的舉措。該文件包含 700 位過去曾獲得貸款的客戶財(cái)務(wù)和人口統(tǒng)計(jì)信息。請(qǐng)使用這 700 名客戶的隨機(jī)樣本創(chuàng)建多層感知器神經(jīng)網(wǎng)絡(luò)模型。銀行需要此模型對(duì)新的客戶數(shù)據(jù)按高或低信用風(fēng)險(xiǎn)對(duì)他們進(jìn)行分類。

第一次分析：菜單參數(shù)

要運(yùn)行“多層感知器”分析，請(qǐng)從菜單中選擇：

分析  >  神經(jīng)網(wǎng)絡(luò)  >  多層感知器

如上圖所示，MLP主面板共有8個(gè)選項(xiàng)卡，至少需要設(shè)置其中"變量"、"分區(qū)"、"輸出"、"保存"、"導(dǎo)出"等5個(gè)選項(xiàng)卡，其他接受軟件默認(rèn)設(shè)置。

▌ "變量"選項(xiàng)卡

將"是否拖欠"移入因變量框；

將分類變量"學(xué)歷"移入因子框，其他數(shù)值變量移入"協(xié)變量"框；

因各協(xié)變量量綱不同，選擇"標(biāo)準(zhǔn)化"處理；

▌ "分區(qū)"選項(xiàng)卡

在此之前，首先在 "轉(zhuǎn)換  >  隨機(jī)數(shù)生成器"菜單中設(shè)置隨機(jī)數(shù)固定種子為9191972（此處同SPSS官方文檔，用戶可以自由設(shè)定），因?yàn)?分區(qū)"選項(xiàng)卡中，要求對(duì)原始數(shù)據(jù)文件進(jìn)行隨機(jī)化抽樣，將數(shù)據(jù)劃分為"訓(xùn)練樣本"、"支持樣本"、"檢驗(yàn)樣本"3個(gè)區(qū)塊，為了隨機(jī)過程可重復(fù)，所以此處指定固定種子一枚；

初次建模，先抽樣70%作為訓(xùn)練樣本，用于完成自學(xué)習(xí)構(gòu)建神經(jīng)網(wǎng)絡(luò)模型，30%作為支持樣本，用于評(píng)估所建立模型的性能，暫不分配檢驗(yàn)樣本；

▌ "輸出"選項(xiàng)卡

勾選"描述"、"圖"；

勾選"模型摘要"、"分類結(jié)果"、"預(yù)測實(shí)測圖"；

勾選"個(gè)案處理摘要"；

構(gòu)成"自變量重要性分析"；

這是第一次嘗試性的分析，主要參數(shù)設(shè)置如上，其他選項(xiàng)卡接受軟件默認(rèn)設(shè)置，最后返回主面板，點(diǎn)擊"確定"按鈕，軟件開始執(zhí)行MLP過程。

第一次分析產(chǎn)生的結(jié)果：

主要看重點(diǎn)的結(jié)果，依次如下：

個(gè)案處理摘要表，700個(gè)貸款客戶的記錄，其中480個(gè)客戶被分配到訓(xùn)練樣本，占比68.6%，另外220個(gè)客戶分配為支持樣本。

模型摘要表，首次構(gòu)建的MLP神經(jīng)網(wǎng)絡(luò)模型其不正確預(yù)測百分比為12.7%，獨(dú)立的支持樣本檢驗(yàn)?zāi)Ｐ偷牟徽_百分比為20.9%，提示"超出最大時(shí)程數(shù)"，模型非正常規(guī)則中止，顯示有過度學(xué)習(xí)的嫌疑。

判斷：首次建立的模型需要預(yù)防過度訓(xùn)練。

第二次分析：菜單參數(shù)

首次分析懷疑訓(xùn)練過度，所以第二次分析主要是新增檢驗(yàn)樣本以及輸出最終的模型結(jié)果。

運(yùn)行“多層感知器”分析，請(qǐng)從菜單中選擇：

分析  >  神經(jīng)網(wǎng)絡(luò)  >  多層感知器

▌ "分區(qū)"選項(xiàng)卡

對(duì)樣本進(jìn)行重新分配，總700樣本，支持樣本繼續(xù)30%，訓(xùn)練樣本由原來的70%縮減至50%，另外的20%分配給獨(dú)立的檢驗(yàn)樣本空間；

▌ "保存"選項(xiàng)卡

保存每個(gè)因變量的預(yù)測值或類別；

保存每個(gè)因變量的預(yù)測擬概率；

▌ "導(dǎo)出"選項(xiàng)卡

將突觸權(quán)重估算值導(dǎo)出到XML文件；

給XML模型文件起名并制定存放路徑；

其他選項(xiàng)卡的操作和第一次分析保持一致。返回主面板，點(diǎn)擊"確定"開始執(zhí)行第二次分析。

第一次分析產(chǎn)生的結(jié)果：

總樣本在3個(gè)分區(qū)的分配比例。

MLP神經(jīng)網(wǎng)絡(luò)圖，模型包括1個(gè)輸入層、1個(gè)隱藏層和1個(gè)輸出層，輸入層神經(jīng)元個(gè)數(shù)12個(gè)，隱藏層9個(gè)，輸出層2個(gè)。

模型摘要表，模型誤差在1個(gè)連續(xù)步驟中未出現(xiàn)優(yōu)化減少現(xiàn)象，模型按預(yù)定中止。模型在3個(gè)分區(qū)中的不正確預(yù)測百分比較接近。

模型分類表，軟件默認(rèn)采用0.5作為正確和錯(cuò)誤的概率分界，將3大分區(qū)樣本的正確率進(jìn)行交叉對(duì)比，顯示出預(yù)測為NO，即預(yù)測為不拖欠的概率高于拖欠，模型對(duì)有拖欠的貸款客戶風(fēng)險(xiǎn)識(shí)別能力較低。

預(yù)測-實(shí)測圖，按照貸款客戶是否拖欠與預(yù)測結(jié)果進(jìn)行分組，縱坐標(biāo)為預(yù)測概率。以0.5為分界時(shí)，對(duì)優(yōu)質(zhì)客戶的識(shí)別效果較好，但是有較大的概率在識(shí)別有拖欠客戶上出錯(cuò)。

顯然以0.5作為分界并不是最優(yōu)解，可以嘗試將分界下移至0.3左右，此操作會(huì)使第四個(gè)箱圖中大量欠貸客戶正確地重新分類為欠貸者，提高風(fēng)險(xiǎn)識(shí)別能力。

自變量重要性圖，重要性圖為重要性表格中值的條形圖，以重要性值降序排序。其顯示與客戶穩(wěn)定性（employ、address）和負(fù)債（creddebt、debtinc）相關(guān)的變量對(duì)于網(wǎng)絡(luò)如何對(duì)客戶進(jìn)行分類有重大影響；

最后來看導(dǎo)出的XML模型文件：

以XML文件存儲(chǔ)了第二次構(gòu)建的MLP神經(jīng)網(wǎng)絡(luò)模型，可以用于新客戶的分類和風(fēng)險(xiǎn)識(shí)別。

新客戶分類

假設(shè)現(xiàn)在有150名新客戶，現(xiàn)在需要采用此前建立的模型，對(duì)這些客戶進(jìn)行快速的風(fēng)險(xiǎn)分類和識(shí)別。

打開新客戶數(shù)據(jù)，菜單中選擇：

實(shí)用程序  >  評(píng)分向?qū)?

檢查新數(shù)據(jù)文件變量的定義是否準(zhǔn)確。下一步。

選擇輸出"預(yù)測類別的概率"、"預(yù)測值"。完成。

新客戶數(shù)據(jù)文件新增3列，分別給出每一個(gè)新客戶的預(yù)測概率和風(fēng)險(xiǎn)分類（是否欠貸）。

多層感知器神經(jīng)網(wǎng)絡(luò) 總結(jié)

一種前饋式有監(jiān)督的學(xué)習(xí)技術(shù)；

多層感知器可以發(fā)現(xiàn)極為復(fù)雜的關(guān)系；

如果因變量是分類型，神經(jīng)網(wǎng)絡(luò)會(huì)根據(jù)輸入數(shù)據(jù)，將記錄劃分為最適合的類別；

如果因變量是連續(xù)型，神將網(wǎng)絡(luò)預(yù)測的連續(xù)值是輸入數(shù)據(jù)的某個(gè)連續(xù)函數(shù)；

建議創(chuàng)建訓(xùn)練-檢驗(yàn)-支持三個(gè)分區(qū)，網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)將更有效；

可將模型導(dǎo)出成 XML 格式對(duì)新的數(shù)據(jù)進(jìn)行打分；