非常值得收藏的 IBM SPSS Modeler 算法簡介

IBM SPSS Modeler 以圖形化的界面、簡單的拖拽方式來快速構(gòu)建數(shù)據(jù)挖掘分析模型著稱，它提供了完整的統(tǒng)計挖掘功能，包括來自于統(tǒng)計學、機器學習、人工智能等方面的分析算法和數(shù)據(jù)模型，包括如關聯(lián)、分類、預測等完整的全面挖掘分析功能，下面讓我們一起來了解這些算法：

首先，針對剛?cè)腴T數(shù)據(jù)挖掘領域的初學者來說，即使你不懂數(shù)據(jù)挖掘算法，你一樣可以使用 SPSS Modeler 進行建模，這里提供了自動建模器，可以幫助你自動選擇最優(yōu)算法，包括有：

“自動分類器”節(jié)點：用于創(chuàng)建和對比二元結(jié)果（是或否，流失或不流失等）的若干不同模型，使用戶可以選擇給定分析的最佳處理方法。由于支持多種建模算法，因此可以對用戶希望使用的方法、每種方法的特定選項以及對比結(jié)果的標準進行選擇。節(jié)點根據(jù)指定的選項生成一組模型并根據(jù)用戶指定的標準排列最佳候選項的順序。

自動數(shù)值節(jié)點：使用多種不同方法估計和對比模型的連續(xù)數(shù)字范圍結(jié)果。此節(jié)點和自動分類器節(jié)點的工作方式相同，因此可以選擇要使用和要在單個建模傳遞中使用多個選項組合進行測試的算法。受支持的算法包括神經(jīng)網(wǎng)絡、C&R樹、CHAID、線性回歸、廣義線性回歸以及Support Vector Machine (SVM)。可基于相關度、相對錯誤或已用變量數(shù)對模型進行對比。

自動聚類節(jié)點：估算和比較識別具有類似特征記錄組的聚類模型。節(jié)點工作方式與其他自動建模節(jié)點相同，使您在一次建模運行中即可試驗多個選項組合。模型可使用基本測量進行比較，以嘗試過濾聚類模型的有效性以及對其進行排序，并提供一個基于特定字段的重要性的測量。

時間序列節(jié)點：可為時間序列估計指數(shù)平滑模型、單變量綜合自回歸移動平均(ARIMA) 模型和多變量ARIMA（或變換函數(shù)）模型并基于時間序列數(shù)據(jù)生成預測。

接下來，是分類算法的介紹，分類是數(shù)據(jù)挖掘里面最常用的分析方式，它的計算邏輯是自我學習的過程，即有監(jiān)督的學習，你需要給他一個目標，給他一些影響因素，它會自動找到影響因素與目標之間隱藏的規(guī)則。

C&R樹節(jié)點：生成可用于預測或分類未來觀測值的決策樹。該方法通過在每個步驟最大限度降低不純潔度，使用遞歸分區(qū)來將訓練記錄分割為組。如果節(jié)點中100% 的觀測值都屬于目標字段的一個特定類別，則樹中的該節(jié)點將被認定為“純潔”。目標和輸入字段可以是數(shù)字范圍或分類（名義、有序或標志）；所有分割均為二元分割（即僅分割為兩個子組）。

QUEST節(jié)點：可提供用于構(gòu)建決策樹的二元分類法，此方法的設計目的是減少大型C&R 樹分析所需的處理時間，同時也減少在分類樹方法中發(fā)現(xiàn)的趨勢以便支持允許有多個分割的輸入。輸入字段可以是數(shù)字范圍（連續(xù)），但目標字段必須是分類。所有分割都是二元的。

CHAID節(jié)點：使用卡方統(tǒng)計量來生成決策樹，以確定最佳的分割。CHAID 與C&R樹和QUEST 節(jié)點不同，它可以生成非二元樹，這意味著有些分割將有多于兩個的分支。目標和輸入字段可以是數(shù)字范圍（連續(xù)）或分類。Exhaustive CHAID 是CHAID 的修正版，它對所有分割進行更徹底的檢查，但計算時間比較長。

決策列表節(jié)點：可標識子組或段，顯示與總體相關的給定二元結(jié)果的似然度的高低。例如，您或許在尋找那些最不可能流失的客戶或最有可能對某個商業(yè)活動作出積極響應的客戶。通過定制段和并排預覽備選模型來比較結(jié)果，您可以將自己的業(yè)務知識體現(xiàn)在模型中。決策列表模型由一組規(guī)則構(gòu)成，其中每個規(guī)則具備一個條件和一個結(jié)果。規(guī)則依順序應用，相匹配的第一個規(guī)則將決定結(jié)果。

線性模型節(jié)點：根據(jù)目標與一個或多個預測變量間的線性關系來預測連續(xù)目標。

線性回歸節(jié)點：是一種通過擬合直線或平面以實現(xiàn)匯總數(shù)據(jù)和預測的普通統(tǒng)計方法，它可使預測值和實際輸出值之間的差異最小化。

因子/主成分分析節(jié)點：提供了用于降低數(shù)據(jù)復雜程度的強大數(shù)據(jù)縮減技術。主成份分析（PCA）可找出輸入字段的線性組合，該組合最好地捕獲了整個字段集合中的方差，且組合中的各個成分相互正交（相互垂直）。因子分析則嘗試識別底層因素，這些因素說明了觀測的字段集合內(nèi)的相關模式。這兩種方式的目標都是找到有效概括原始字段集中的信息的一小部分導出字段。

神經(jīng)網(wǎng)絡節(jié)點：使用的模型是對人類大腦處理信息的方式簡化了的模型。此模型通過模擬大量類似于神經(jīng)元的抽象形式的互連簡單處理單元而運行。神經(jīng)網(wǎng)絡是功能強大的一般函數(shù)估計器，只需要最少的統(tǒng)計或數(shù)學知識就可以對其進行訓練或應用。

C5.0節(jié)點：構(gòu)建決策樹或規(guī)則集。該模型的工作原理是根據(jù)在每個級別提供最大信息收獲的字段分割樣本。目標字段必須為分類字段。允許進行多次多于兩個子組的分割。

“特征選擇”節(jié)點：會根據(jù)某組條件（例如缺失值百分比）篩選可刪除的輸入字段；對于保留的輸入，將相對于指定目標對其重要性進行排序。例如，假如某個給定數(shù)據(jù)集有上千個潛在輸入，那么哪些輸入最有可能用于對患者結(jié)果進行建模呢？

判別式分析節(jié)點：所做的假設比logistic 回歸的假設更嚴格，但在符合這些假設時，判別式分析可以作為logistic 回歸分析的有用替代項或補充。

Logistic 回歸節(jié)點：是一種統(tǒng)計方法，它可根據(jù)輸入字段的值對記錄進行分類。它類似于線性回歸，但采用的是類別目標字段而非數(shù)字范圍。

“廣義線性”模型節(jié)點：對一般線性模型進行了擴展，這樣因變量通過指定的關聯(lián)函數(shù)與因子和協(xié)變量線性相關。另外，該模型允許因變量呈非正態(tài)分布。它包括統(tǒng)計模型大部分的功能，其中包括線性回歸、logistic 回歸、用于計數(shù)數(shù)據(jù)的對數(shù)線性模型以及區(qū)間刪失生存模型。

Cox 回歸節(jié)點：可為時間事件數(shù)據(jù)構(gòu)建預測模型。該模型會生成一個生存函數(shù)，該函數(shù)可預測在給定時間t 內(nèi)對于所給定的預測變量值相關事件的發(fā)生概率。

SVM (Support Vector Machine)節(jié)點：使用該節(jié)點，可以將數(shù)據(jù)分為兩組，而無需過度擬合。SVM 可以與大量數(shù)據(jù)集配合使用，如那些含有大量輸入字段的數(shù)據(jù)集。

貝葉斯網(wǎng)絡節(jié)點：可以利用該節(jié)點對真實世界認知的判斷力并結(jié)合所觀察和記錄的證據(jù)來構(gòu)建概率模型。該節(jié)點重點應用了樹擴展簡單貝葉斯(TAN) 和馬爾可夫毯網(wǎng)絡，這些算法主要用于分類問題。

自學響應模型(SLRM) 節(jié)點：利用該節(jié)點可以構(gòu)建這樣的模型：隨著數(shù)據(jù)集的增長，可以不斷對其進行更新或重新估計，而不必每次使用整個數(shù)據(jù)集重新構(gòu)建該模型。例如，如果有若干產(chǎn)品，而您希望確定某位客戶獲得報價后最有可能購買的產(chǎn)品，那么這種模型將十分有用。此模型可用于預測最適合客戶的報價，以及該報價被接受的概率。

KNN (k-最近相鄰元素)節(jié)點：將新的個案關聯(lián)到預測變量空間中與其最鄰近的k 個對象的類別或值（其中k 為整數(shù)）。類似個案相互靠近，而不同個案相互遠離。

聚類算法我們也稱為無監(jiān)督學習，是與分類算法的有監(jiān)督學習相對而言。一般在數(shù)據(jù)初探的時候，經(jīng)常會用到，比如客戶細分、市場細分等等。

K-Means 節(jié)點：將數(shù)據(jù)集聚類到不同分組（或聚類）。此方法將定義固定的聚類數(shù)量，將記錄迭代分配給聚類，以及調(diào)整聚類中心，直到進一步優(yōu)化無法再改進模型。k-means 節(jié)點作為一種非監(jiān)督學習機制，它并不試圖預測結(jié)果，而是揭示隱含在輸入字段集中的模式。

Kohonen節(jié)點：會生成一種神經(jīng)網(wǎng)絡，此神經(jīng)網(wǎng)絡可用于將數(shù)據(jù)集聚類到各個差異組。此網(wǎng)絡訓練完成后，相似的記錄應在輸出映射中緊密地聚集，有差異的記錄則應彼此遠離。您可以通過查看模型塊中每個單元所捕獲觀測值的數(shù)量來找出規(guī)模較大的單元。這將讓您對聚類的相應數(shù)量有所估計。

TwoStep 節(jié)點：使用兩步聚類方法。第一步完成簡單數(shù)據(jù)處理，以便將原始輸入數(shù)據(jù)壓縮為可管理的子聚類集合。第二步使用層級聚類方法將子聚類一步一步合并為更大的聚類。TwoStep 具有一個優(yōu)點，就是能夠為訓練數(shù)據(jù)自動估計最佳聚類數(shù)。它可以高效處理混合的字段類型和大型的數(shù)據(jù)集。

關聯(lián)分析在零售行業(yè)應用最為廣泛，最傳統(tǒng)的就是購物籃分析，淘寶上的“猜你喜歡”最常用的分析方式。

“先驗”節(jié)點：從數(shù)據(jù)抽取一組規(guī)則，即抽取信息內(nèi)容最多的規(guī)則?！跋闰灐惫?jié)點提供五種選擇規(guī)則的方法并使用復雜的索引模式來高效地處理大數(shù)據(jù)集。對于大問題而言，“先驗”通常用于訓練時比GRI 處理速度快；它對可保留的規(guī)則數(shù)量沒有任何限制，而且可處理最多帶有32 個前提條件的規(guī)則。“先驗”要求輸入和輸出字段均為分類型字段，但因為它專為處理此類型數(shù)據(jù)而進行優(yōu)化，因而處理速度快得多。

CARMA節(jié)點：使用關聯(lián)規(guī)則發(fā)現(xiàn)算法來發(fā)現(xiàn)數(shù)據(jù)中的關聯(lián)規(guī)則。例如，您可以使用此節(jié)點生成的規(guī)則來查找一系列產(chǎn)品或服務（條件），其結(jié)果是您要在此假期內(nèi)進行促銷的項目。

序列節(jié)點：可發(fā)現(xiàn)連續(xù)數(shù)據(jù)或與時間有關的數(shù)據(jù)中的關聯(lián)規(guī)則。序列是一系列可能會以可預測順序發(fā)生的項目集合。例如，一個購買了剃刀和須后水的顧客可能在下次購物時購買剃須膏。序列節(jié)點基于CARMA 關聯(lián)規(guī)則算法，該算法使用有效的兩步法來發(fā)現(xiàn)序列。

異常檢測主要是在多維樣本空間里面，找出偏離“大眾”最大的那些樣本點出來，在 SPSS Modeler 里面，它是先聚類，生成幾大類之后，再找出偏離這些類最大的那些樣本點。

“異常檢測”節(jié)點：確定不符合“正?！?a href='/map/shujugeshi/' style='color:#000;font-size:inherit;'>數(shù)據(jù)格式的異常觀測值（離群值）。即使離群值不匹配任何已知格式或用戶不清楚自己的查找對象，也可以使用此節(jié)點來確定離群值。

社交網(wǎng)絡分析是當前流行的朋友圈找出“領導者”與“傳播者”的分析方法，它的應用可以是“種子營銷”，或者叫“病毒營銷”。

IBM SPSS Modeler Social Network Analysis 通過將關系信息處理為可包括在模型中的附加字段，導出的關鍵績效指標衡量個人的社交特征。將這些社交屬性與基于個人的衡量結(jié)合起來，提供對個人的更好概覽，因此可提高您模型的預測精度。