非常值得收藏的 IBM SPSS Modeler 算法簡介

IBM SPSS Modeler 以圖形化的界面、簡單的拖拽方式來快速構(gòu)建數(shù)據(jù)挖掘分析模型著稱，它提供了完整的統(tǒng)計挖掘功能，包括來自于統(tǒng)計學(xué)、機(jī)器學(xué)習(xí)、人工智能等方面的分析算法和數(shù)據(jù)模型，包括如關(guān)聯(lián)、分類、預(yù)測等完整的全面挖掘分析功能，下面讓我們一起來了解這些算法：

首先，針對剛?cè)腴T數(shù)據(jù)挖掘領(lǐng)域的初學(xué)者來說，即使你不懂數(shù)據(jù)挖掘算法，你一樣可以使用 SPSS Modeler 進(jìn)行建模，這里提供了自動建模器，可以幫助你自動選擇最優(yōu)算法，包括有：

“自動分類器”節(jié)點(diǎn)：用于創(chuàng)建和對比二元結(jié)果（是或否，流失或不流失等）的若干不同模型，使用戶可以選擇給定分析的最佳處理方法。由于支持多種建模算法，因此可以對用戶希望使用的方法、每種方法的特定選項(xiàng)以及對比結(jié)果的標(biāo)準(zhǔn)進(jìn)行選擇。節(jié)點(diǎn)根據(jù)指定的選項(xiàng)生成一組模型并根據(jù)用戶指定的標(biāo)準(zhǔn)排列最佳候選項(xiàng)的順序。

自動數(shù)值節(jié)點(diǎn)：使用多種不同方法估計和對比模型的連續(xù)數(shù)字范圍結(jié)果。此節(jié)點(diǎn)和自動分類器節(jié)點(diǎn)的工作方式相同，因此可以選擇要使用和要在單個建模傳遞中使用多個選項(xiàng)組合進(jìn)行測試的算法。受支持的算法包括神經(jīng)網(wǎng)絡(luò)、C&R樹、CHAID、線性回歸、廣義線性回歸以及Support Vector Machine (SVM)?？苫谙嚓P(guān)度、相對錯誤或已用變量數(shù)對模型進(jìn)行對比。

自動聚類節(jié)點(diǎn)：估算和比較識別具有類似特征記錄組的聚類模型。節(jié)點(diǎn)工作方式與其他自動建模節(jié)點(diǎn)相同，使您在一次建模運(yùn)行中即可試驗(yàn)多個選項(xiàng)組合。模型可使用基本測量進(jìn)行比較，以嘗試過濾聚類模型的有效性以及對其進(jìn)行排序，并提供一個基于特定字段的重要性的測量。

時間序列節(jié)點(diǎn)：可為時間序列估計指數(shù)平滑模型、單變量綜合自回歸移動平均(ARIMA) 模型和多變量ARIMA（或變換函數(shù)）模型并基于時間序列數(shù)據(jù)生成預(yù)測。

接下來，是分類算法的介紹，分類是數(shù)據(jù)挖掘里面最常用的分析方式，它的計算邏輯是自我學(xué)習(xí)的過程，即有監(jiān)督的學(xué)習(xí)，你需要給他一個目標(biāo)，給他一些影響因素，它會自動找到影響因素與目標(biāo)之間隱藏的規(guī)則。

C&R樹節(jié)點(diǎn)：生成可用于預(yù)測或分類未來觀測值的決策樹。該方法通過在每個步驟最大限度降低不純潔度，使用遞歸分區(qū)來將訓(xùn)練記錄分割為組。如果節(jié)點(diǎn)中100% 的觀測值都屬于目標(biāo)字段的一個特定類別，則樹中的該節(jié)點(diǎn)將被認(rèn)定為“純潔”。目標(biāo)和輸入字段可以是數(shù)字范圍或分類（名義、有序或標(biāo)志）；所有分割均為二元分割（即僅分割為兩個子組）。

QUEST節(jié)點(diǎn)：可提供用于構(gòu)建決策樹的二元分類法，此方法的設(shè)計目的是減少大型C&R 樹分析所需的處理時間，同時也減少在分類樹方法中發(fā)現(xiàn)的趨勢以便支持允許有多個分割的輸入。輸入字段可以是數(shù)字范圍（連續(xù)），但目標(biāo)字段必須是分類。所有分割都是二元的。

CHAID節(jié)點(diǎn)：使用卡方統(tǒng)計量來生成決策樹，以確定最佳的分割。CHAID 與C&R樹和QUEST 節(jié)點(diǎn)不同，它可以生成非二元樹，這意味著有些分割將有多于兩個的分支。目標(biāo)和輸入字段可以是數(shù)字范圍（連續(xù)）或分類。Exhaustive CHAID 是CHAID 的修正版，它對所有分割進(jìn)行更徹底的檢查，但計算時間比較長。

決策列表節(jié)點(diǎn)：可標(biāo)識子組或段，顯示與總體相關(guān)的給定二元結(jié)果的似然度的高低。例如，您或許在尋找那些最不可能流失的客戶或最有可能對某個商業(yè)活動作出積極響應(yīng)的客戶。通過定制段和并排預(yù)覽備選模型來比較結(jié)果，您可以將自己的業(yè)務(wù)知識體現(xiàn)在模型中。決策列表模型由一組規(guī)則構(gòu)成，其中每個規(guī)則具備一個條件和一個結(jié)果。規(guī)則依順序應(yīng)用，相匹配的第一個規(guī)則將決定結(jié)果。

線性模型節(jié)點(diǎn)：根據(jù)目標(biāo)與一個或多個預(yù)測變量間的線性關(guān)系來預(yù)測連續(xù)目標(biāo)。

線性回歸節(jié)點(diǎn)：是一種通過擬合直線或平面以實(shí)現(xiàn)匯總數(shù)據(jù)和預(yù)測的普通統(tǒng)計方法，它可使預(yù)測值和實(shí)際輸出值之間的差異最小化。

因子/主成分分析節(jié)點(diǎn)：提供了用于降低數(shù)據(jù)復(fù)雜程度的強(qiáng)大數(shù)據(jù)縮減技術(shù)。主成份分析（PCA）可找出輸入字段的線性組合，該組合最好地捕獲了整個字段集合中的方差，且組合中的各個成分相互正交（相互垂直）。因子分析則嘗試識別底層因素，這些因素說明了觀測的字段集合內(nèi)的相關(guān)模式。這兩種方式的目標(biāo)都是找到有效概括原始字段集中的信息的一小部分導(dǎo)出字段。

神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)：使用的模型是對人類大腦處理信息的方式簡化了的模型。此模型通過模擬大量類似于神經(jīng)元的抽象形式的互連簡單處理單元而運(yùn)行。神經(jīng)網(wǎng)絡(luò)是功能強(qiáng)大的一般函數(shù)估計器，只需要最少的統(tǒng)計或數(shù)學(xué)知識就可以對其進(jìn)行訓(xùn)練或應(yīng)用。

C5.0節(jié)點(diǎn)：構(gòu)建決策樹或規(guī)則集。該模型的工作原理是根據(jù)在每個級別提供最大信息收獲的字段分割樣本。目標(biāo)字段必須為分類字段。允許進(jìn)行多次多于兩個子組的分割。

“特征選擇”節(jié)點(diǎn)：會根據(jù)某組條件（例如缺失值百分比）篩選可刪除的輸入字段；對于保留的輸入，將相對于指定目標(biāo)對其重要性進(jìn)行排序。例如，假如某個給定數(shù)據(jù)集有上千個潛在輸入，那么哪些輸入最有可能用于對患者結(jié)果進(jìn)行建模呢？

判別式分析節(jié)點(diǎn)：所做的假設(shè)比logistic 回歸的假設(shè)更嚴(yán)格，但在符合這些假設(shè)時，判別式分析可以作為logistic 回歸分析的有用替代項(xiàng)或補(bǔ)充。

Logistic 回歸節(jié)點(diǎn)：是一種統(tǒng)計方法，它可根據(jù)輸入字段的值對記錄進(jìn)行分類。它類似于線性回歸，但采用的是類別目標(biāo)字段而非數(shù)字范圍。

“廣義線性”模型節(jié)點(diǎn)：對一般線性模型進(jìn)行了擴(kuò)展，這樣因變量通過指定的關(guān)聯(lián)函數(shù)與因子和協(xié)變量線性相關(guān)。另外，該模型允許因變量呈非正態(tài)分布。它包括統(tǒng)計模型大部分的功能，其中包括線性回歸、logistic 回歸、用于計數(shù)數(shù)據(jù)的對數(shù)線性模型以及區(qū)間刪失生存模型。

Cox 回歸節(jié)點(diǎn)：可為時間事件數(shù)據(jù)構(gòu)建預(yù)測模型。該模型會生成一個生存函數(shù)，該函數(shù)可預(yù)測在給定時間t 內(nèi)對于所給定的預(yù)測變量值相關(guān)事件的發(fā)生概率。

SVM (Support Vector Machine)節(jié)點(diǎn)：使用該節(jié)點(diǎn)，可以將數(shù)據(jù)分為兩組，而無需過度擬合。SVM 可以與大量數(shù)據(jù)集配合使用，如那些含有大量輸入字段的數(shù)據(jù)集。

貝葉斯網(wǎng)絡(luò)節(jié)點(diǎn)：可以利用該節(jié)點(diǎn)對真實(shí)世界認(rèn)知的判斷力并結(jié)合所觀察和記錄的證據(jù)來構(gòu)建概率模型。該節(jié)點(diǎn)重點(diǎn)應(yīng)用了樹擴(kuò)展簡單貝葉斯(TAN) 和馬爾可夫毯網(wǎng)絡(luò)，這些算法主要用于分類問題。

自學(xué)響應(yīng)模型(SLRM) 節(jié)點(diǎn)：利用該節(jié)點(diǎn)可以構(gòu)建這樣的模型：隨著數(shù)據(jù)集的增長，可以不斷對其進(jìn)行更新或重新估計，而不必每次使用整個數(shù)據(jù)集重新構(gòu)建該模型。例如，如果有若干產(chǎn)品，而您希望確定某位客戶獲得報價后最有可能購買的產(chǎn)品，那么這種模型將十分有用。此模型可用于預(yù)測最適合客戶的報價，以及該報價被接受的概率。

KNN (k-最近相鄰元素)節(jié)點(diǎn)：將新的個案關(guān)聯(lián)到預(yù)測變量空間中與其最鄰近的k 個對象的類別或值（其中k 為整數(shù)）。類似個案相互靠近，而不同個案相互遠(yuǎn)離。

聚類算法我們也稱為無監(jiān)督學(xué)習(xí)，是與分類算法的有監(jiān)督學(xué)習(xí)相對而言。一般在數(shù)據(jù)初探的時候，經(jīng)常會用到，比如客戶細(xì)分、市場細(xì)分等等。

K-Means 節(jié)點(diǎn)：將數(shù)據(jù)集聚類到不同分組（或聚類）。此方法將定義固定的聚類數(shù)量，將記錄迭代分配給聚類，以及調(diào)整聚類中心，直到進(jìn)一步優(yōu)化無法再改進(jìn)模型。k-means 節(jié)點(diǎn)作為一種非監(jiān)督學(xué)習(xí)機(jī)制，它并不試圖預(yù)測結(jié)果，而是揭示隱含在輸入字段集中的模式。

Kohonen節(jié)點(diǎn)：會生成一種神經(jīng)網(wǎng)絡(luò)，此神經(jīng)網(wǎng)絡(luò)可用于將數(shù)據(jù)集聚類到各個差異組。此網(wǎng)絡(luò)訓(xùn)練完成后，相似的記錄應(yīng)在輸出映射中緊密地聚集，有差異的記錄則應(yīng)彼此遠(yuǎn)離。您可以通過查看模型塊中每個單元所捕獲觀測值的數(shù)量來找出規(guī)模較大的單元。這將讓您對聚類的相應(yīng)數(shù)量有所估計。

TwoStep 節(jié)點(diǎn)：使用兩步聚類方法。第一步完成簡單數(shù)據(jù)處理，以便將原始輸入數(shù)據(jù)壓縮為可管理的子聚類集合。第二步使用層級聚類方法將子聚類一步一步合并為更大的聚類。TwoStep 具有一個優(yōu)點(diǎn)，就是能夠?yàn)橛?xùn)練數(shù)據(jù)自動估計最佳聚類數(shù)。它可以高效處理混合的字段類型和大型的數(shù)據(jù)集。

關(guān)聯(lián)分析在零售行業(yè)應(yīng)用最為廣泛，最傳統(tǒng)的就是購物籃分析，淘寶上的“猜你喜歡”最常用的分析方式。

“先驗(yàn)”節(jié)點(diǎn)：從數(shù)據(jù)抽取一組規(guī)則，即抽取信息內(nèi)容最多的規(guī)則?！跋闰?yàn)”節(jié)點(diǎn)提供五種選擇規(guī)則的方法并使用復(fù)雜的索引模式來高效地處理大數(shù)據(jù)集。對于大問題而言，“先驗(yàn)”通常用于訓(xùn)練時比GRI 處理速度快；它對可保留的規(guī)則數(shù)量沒有任何限制，而且可處理最多帶有32 個前提條件的規(guī)則。“先驗(yàn)”要求輸入和輸出字段均為分類型字段，但因?yàn)樗鼘樘幚泶祟愋蛿?shù)據(jù)而進(jìn)行優(yōu)化，因而處理速度快得多。

CARMA節(jié)點(diǎn)：使用關(guān)聯(lián)規(guī)則發(fā)現(xiàn)算法來發(fā)現(xiàn)數(shù)據(jù)中的關(guān)聯(lián)規(guī)則。例如，您可以使用此節(jié)點(diǎn)生成的規(guī)則來查找一系列產(chǎn)品或服務(wù)（條件），其結(jié)果是您要在此假期內(nèi)進(jìn)行促銷的項(xiàng)目。

序列節(jié)點(diǎn)：可發(fā)現(xiàn)連續(xù)數(shù)據(jù)或與時間有關(guān)的數(shù)據(jù)中的關(guān)聯(lián)規(guī)則。序列是一系列可能會以可預(yù)測順序發(fā)生的項(xiàng)目集合。例如，一個購買了剃刀和須后水的顧客可能在下次購物時購買剃須膏。序列節(jié)點(diǎn)基于CARMA 關(guān)聯(lián)規(guī)則算法，該算法使用有效的兩步法來發(fā)現(xiàn)序列。

異常檢測主要是在多維樣本空間里面，找出偏離“大眾”最大的那些樣本點(diǎn)出來，在 SPSS Modeler 里面，它是先聚類，生成幾大類之后，再找出偏離這些類最大的那些樣本點(diǎn)。

“異常檢測”節(jié)點(diǎn)：確定不符合“正?！?a href='/map/shujugeshi/' style='color:#000;font-size:inherit;'>數(shù)據(jù)格式的異常觀測值（離群值）。即使離群值不匹配任何已知格式或用戶不清楚自己的查找對象，也可以使用此節(jié)點(diǎn)來確定離群值。

社交網(wǎng)絡(luò)分析是當(dāng)前流行的朋友圈找出“領(lǐng)導(dǎo)者”與“傳播者”的分析方法，它的應(yīng)用可以是“種子營銷”，或者叫“病毒營銷”。

IBM SPSS Modeler Social Network Analysis 通過將關(guān)系信息處理為可包括在模型中的附加字段，導(dǎo)出的關(guān)鍵績效指標(biāo)衡量個人的社交特征。將這些社交屬性與基于個人的衡量結(jié)合起來，提供對個人的更好概覽，因此可提高您模型的預(yù)測精度。