應用關聯(lián)規(guī)則模型提高超市銷量

Statistics 和 Modeler作為 IBM SPSS 軟件家族中重要的成員，是專業(yè)的科學統(tǒng)計、數(shù)據(jù)挖掘分析工具，其具有功能強大，應用廣泛的特點。其核心 組成部分——預測分析模型，不僅是軟件功能實現(xiàn)的關鍵，同時也是軟件應用的關鍵。

Statistics中的模型側重于統(tǒng)計分析技術， 而Modeler則側重于數(shù)據(jù)挖掘技術。它們都依據(jù)現(xiàn)有數(shù)據(jù)，運用某個或某幾個特定的算法，來預測用戶所關注信息的未來值。Statistics 和 Modeler提供眾多的預測模型，這使得它們可以應用在多種商業(yè)領域中：如超市商品如何擺放可以提高銷量；分析商場營銷的打折方案，以制定新的更為有效的方案；保險公司分析以往的理賠案例，以推出新的保險品種等等，具有很強的商業(yè)價值。

Statistics和 Modeler產(chǎn)品中含有大量基于高級數(shù)學統(tǒng)計算法的預測模型，為了保證算法的嚴密性及結果的精確性，模型往往還需要許多詳細的參數(shù)設定，這樣就要求用戶具有一定的統(tǒng)計專業(yè)知識，只有理解預測模型中的各項設置及運算結果的真實意義，才有可能結合結果做出正確的決策判斷；另外，為了滿足不同行業(yè)用戶的需求，Statistics和 Modeler涉及到數(shù)學領域中多個不同的范疇，即使專業(yè)用戶也很難了解所有模型，從而挑選出最適合他們應用的模型。

因此，為了讓更多的用戶更好更準確地使用我們的產(chǎn)品，最大地發(fā)揮其商業(yè)價值，我們將通過一系列的相關文章來介紹IBM SPSS軟件家族中Statistics 和 Modeler的典型預測模型以及他們在解決相應的商業(yè)問題中的實際應用。

本系列文章從實際問題出發(fā)，通過一些實際生活中常見的商業(yè)問題來引出IBM SPSS 軟件家族中的典型預測模型，手把手地指導用戶如何在軟件中對該模型進行設置，如何查看運行結果，講解運行結果的真實意義，最后引申到如何將該結果應用于解決這個具體的商業(yè)問題中來。用這種最直觀簡單的方式使即使缺乏統(tǒng)計學背景的用戶也能容易地理解這些預測模型，從而很好地使用我們的產(chǎn)品。 同時，文中也涉及了一定的統(tǒng)計知識，使具有專業(yè)知識的用戶能依此線索盡可能多的了解我們的產(chǎn)品的方方面面，從而選擇最適合他們問題的模型。

下面，我們將會陸續(xù)給大家介紹IBM SPSS 軟件家族中的Statistics 和 Modeler包含的典型預測模型。

超市典型案例

如何擺放超市的商品引導消費者購物從而提高銷量，這對大型連鎖超市來說是一個現(xiàn)實的營銷問題。關聯(lián)規(guī)則模型自它誕生之時為此類問題提供了一種科學的解決方法。該模型利用數(shù)據(jù)挖掘的技術，在海量數(shù)據(jù)中依據(jù)該模型的獨特算法發(fā)現(xiàn)數(shù)據(jù)內(nèi)在的規(guī)律性聯(lián)系，進而提供具有洞察力的分析解決方案。以下我們將通過一則超市銷售商品的案例，利用 IBM SPSS Modeler 產(chǎn)品中的“關聯(lián)規(guī)則模型”，來分析商品交易流水數(shù)據(jù)，以其發(fā)現(xiàn)合理的商品擺放規(guī)則，來幫助提高銷量。文中將詳細地描述產(chǎn)品的設置和使用方法，以及對計算結果的分析及應用。

關聯(lián)規(guī)則簡介

關聯(lián)規(guī)則的定義

關聯(lián)規(guī)則表示不同數(shù)據(jù)項目在同一事件中出現(xiàn)的相關性，就是從大量數(shù)據(jù)中挖掘出關聯(lián)規(guī)則。為了更直觀的理解關聯(lián)規(guī)則，我們首先來看下圖的場景。

圖 1. 超市市場分析員分析顧客購買習慣

在上圖中，超市市場分析員分析顧客購買商品的場景，顧客購買面包同時也會購買牛奶的購物模式就可用以下的關聯(lián)規(guī)則來描述：

面包 => 牛奶 [ 支持度 =2%, 置信度 =60%] （式 1）

式 1中面包是規(guī)則前項（Antecedent），牛奶是規(guī)則后項 (Consequent)。實例數(shù)（Instances）表示所有購買記錄中包含面包的記錄的數(shù)量。支持度（Support）表示購買面包的記錄數(shù)占所有的購買記錄數(shù)的百分比。規(guī)則支持度（Rule Support）表示同時購買面包和牛奶的記錄數(shù)占所有的購買記錄數(shù)的百分比。置信度（confidence）表示同時購買面包和牛奶的記錄數(shù)占購買面包記錄數(shù)的百分比。提升（Lift）表示置信度與已知購買牛奶的百分比的比值，提升大于 1 的規(guī)則才是有意義的。關聯(lián)規(guī)則 式 1的支持度 2% 意味著，所分析的記錄中的 2% 購買了面包。置信度 60% 表明，購買面包的顧客中的 60% 也購買了牛奶。如果關聯(lián)滿足最小支持度閾值和最小置信度閾值，就說關聯(lián)規(guī)則是有意義的。這些閾值可以由用戶或領域?qū)＜以O定。就顧客購物而言，根據(jù)以往的購買記錄，找出滿足最小支持度閾值和最小置信度閾值的關聯(lián)規(guī)則，就找到顧客經(jīng)常同時購買的商品。

數(shù)據(jù)格式

關聯(lián)規(guī)則使用的數(shù)據(jù)可能是交易格式，也可能是表格格式，如下所述。

交易格式

交易數(shù)據(jù)對于每個交易或項目具有一個單獨的記錄。例如，如果客戶進行了多次采購，則每次采購都會有一個單獨的記錄，并且相關聯(lián)的商品與客戶 ID 相鏈接。這種格式有時稱為 行窮盡格式。

表 1. 交易格式數(shù)據(jù)
客戶    采購
1    jam
2    milk
3    jam
3    bread
4    jam
4    bread
4    milk
    表格格式
表格數(shù)據(jù)（也稱為籃子數(shù)據(jù)或真值表數(shù)據(jù)），由單獨的標志表示項目，其中每個標志字段表示一個特定項目的存在或不存在。每個記錄表示一個相關項目的完整集合。標志字段可以是分類的，也可以是數(shù)字的。
表 2. 表格格式數(shù)據(jù)
客戶    Jam    Bread    Milk
1    T    F    F
2    F    F    T
3    T    T    F
4    T    T    T規(guī)則挖掘算法

Aprior、Carma 和序列節(jié)點是常用的關聯(lián)規(guī)則挖掘算法，它們都可以使用交易格式和表格格式數(shù)據(jù)進行挖掘處理。其中 Aprior 算法，處理速度快，對包含的規(guī)則數(shù)沒有限制，是一種最有影響的挖掘關聯(lián)規(guī)則的方法。

IBM SPSS Modeler 關聯(lián)規(guī)則模型的使用

IBM SPSS Modeler 作為一種可視化的數(shù)據(jù)挖掘和建模工具，支持 Aprior、Carma 和序列節(jié)點關聯(lián)規(guī)則挖掘模型，本章節(jié)將重點介紹 Aprior 模型的設置、使用方法和結果分析。

對于超市市場分析員分析顧客購買習慣的案例，現(xiàn)在讓我們設定一個實際的場景，市場分析員利用超市海量的購物清單，從中分析出顧客購買啤酒會和哪些商品一起購買，依次來合理安排商品的擺放，進而提高啤酒的銷量。

對于此案例，我們使用 IBM SPSS Modeler 自帶的安裝目錄下的 Demos 文件夾下的 BASKETS1n 數(shù)據(jù)。我們希望分析出哪些商品會和啤酒一起購買，以此來合理安排商品的擺放，進而提高啤酒的銷量。

此數(shù)據(jù)屬于表格格式數(shù)據(jù)，每條記錄表示顧客的一次購物。記錄的字段包括卡號、顧客基本信息、付款方式和商品名稱（每個商品一個字段 , 該商品字段值為 T, 表示購買該商品 , 值為 F 表示未購買，具體可參考表 2, 表格格式數(shù)據(jù)）。商品名稱都有 fruitveg（水果蔬菜），freshmeat（生鮮肉），dairy（奶制品），cannedveg（罐裝蔬菜），cannedmeat（罐裝肉），fozenmeal（凍肉），beer（啤酒）, wine（酒類），softdrink（軟飲），fish（魚）, confectionery（甜食）。如何對這些數(shù)據(jù)進行分析和處理，本節(jié)會給出詳細的演示。

在做詳細介紹以前，讓我們先了解下 IBM SPSS Modeler 的建模過程，關于詳細的過程，可以參考本文給出的參考資料。IBM SPSS Modeler 中處理的基本對象是流，在流中可以添加數(shù)據(jù)節(jié)點、類型節(jié)點、建模節(jié)點等，運行后會生成模型節(jié)點，進而對模型節(jié)點進行分析，得出結論。

現(xiàn)在讓我們開始介紹如何創(chuàng)建一條包含關聯(lián)規(guī)則模型的流，來解決市場分析員的問題。本節(jié)使用 IBM SPSS Modeler 14.2 進行演示。首先打開 Modeler 產(chǎn)品，會出現(xiàn)一張空白的流界面，這時用戶可以在里面創(chuàng)建自己的流。

圖 2. IBM SPSS Modeler 界面

第一步，為流添加一個數(shù)據(jù)節(jié)點，這里選擇 Modeler 自帶的 Demo 數(shù)據(jù)。將界面下方選項卡的“源”選項中的“可變文件”拖放到空白界面中，雙擊打開，在文件選項卡中選擇 Modeler 自帶的 Demo 數(shù)據(jù) BASKETS1n，如圖所示。

圖 3. 選擇添加數(shù)據(jù)節(jié)點

點擊確定按鈕，這時就成功的創(chuàng)建了數(shù)據(jù)節(jié)點。

第二步，為流添加類型節(jié)點，類型節(jié)點是顯示和設置數(shù)據(jù)每個字段的類型、格式和角色。從界面下方的“字段選項”卡中，將“類型”節(jié)點拖放到界面中，接著將數(shù)據(jù)節(jié)點和類型節(jié)點連接起來，或者直接在“字段選項”卡中雙擊“類型”節(jié)點，將兩者連接起來。這時雙擊打開“類型”節(jié)點，此時“類型”節(jié)點中顯示了數(shù)據(jù)的字段和其類型，點擊“類型”節(jié)點界面上的“讀取值”按鈕，這時會將數(shù)據(jù)節(jié)點中的數(shù)據(jù)讀取過來。如下圖所示。

圖 4. 設置類型節(jié)點

接著可以為參與建模的數(shù)據(jù)字段設置角色，角色分“輸入”，“目標”，“兩者”和“無”。輸入表示該字段可供建模使用，目標表示該字段為建模的預測目標，兩者表示該字段為布爾型的輸入字段，無表示該字段不參與建模。Apriori 節(jié)點需要一個或多個輸入字段和一個或多個目標字段，輸入字段和輸出字段必須是符號型字段。在此可以選擇一個或多個字段為目標字段，表明該模型的預測目標字段；對于 Apriori 建模節(jié)點，也可以不設置目標字段，則需要在建模節(jié)點中設置“后項”。

第三步，為流添加 過濾節(jié)點，將不參與的字段排除在外。該步驟為可選步驟。從“字段選項”卡中選擇“過濾”節(jié)點，并將其拖入到界面中，將“過濾”節(jié)點加入到流中。雙擊打開“過濾”節(jié)點，在不參與建模字段的箭頭上點擊，會出現(xiàn)一個紅叉，表示該字段被過濾掉了，不參與建模，如圖所示。

圖 5. 設置過濾節(jié)點

對于一些與建模關系不大的節(jié)點可以將其過濾掉，比如卡號、性別、家鄉(xiāng)和年齡字段。

第四步，有了這些前期的準備過程，接下來就可以開始創(chuàng)建關聯(lián)規(guī)則模型節(jié)點了，在此之前，讓我們先添加一個圖形節(jié)點—— 網(wǎng)絡節(jié)點，建立此節(jié)點的目的是為了讓用戶首先可以直觀的看到商品之間的關聯(lián)程度，有一個感性認識。選擇“圖形”選項卡中的“網(wǎng)絡”節(jié)點，將此拖入界面，將“網(wǎng)絡”節(jié)點加入流中，與“過濾”節(jié)點連接起來。雙擊打開網(wǎng)絡節(jié)點，在“字段”列表中選擇添加字段，可以將所有的商品字段添加進來；也可以點擊“僅顯示真值標志”，將只顯示那些“兩者”的字段，如圖所示。

圖 6. 網(wǎng)絡節(jié)點設置

點擊“選項”卡，進入選項設置，用戶可以在此設置鏈接數(shù)量的顯示范圍，不顯示一些鏈接數(shù)量低的鏈接，如圖所示。

圖 7. 網(wǎng)絡節(jié)點選項設置

點擊“運行”按鈕，這時會生成一個商品之間關聯(lián)程度（鏈接數(shù)量）的網(wǎng)絡圖，用戶可以在下方的調(diào)節(jié)桿上調(diào)節(jié)鏈接數(shù)量的顯示范圍。

圖 8. 網(wǎng)絡節(jié)點運行結果

上圖中，線的粗細和深淺代表聯(lián)系的強弱，可以直觀的看到 beer 和 frozenmeat，cannedeg 聯(lián)系程度比較強。接下來將開始本章節(jié)的重點部分，關聯(lián)規(guī)則模型節(jié)點的設置和使用。

第五步，添加“建模”節(jié)點到流中，開始關聯(lián)規(guī)則模型設置和使用的篇章。首先點擊界面下方“建?！边x項卡，再點擊“關聯(lián)”分類，將 Apriori 節(jié)點拖放到界面中，連接該節(jié)點到過濾節(jié)點上，或者雙擊 Apriori 節(jié)點。接著設置 Apriori 節(jié)點的參數(shù)，建立關聯(lián)規(guī)則模型。雙擊打開 Apriori 節(jié)點，如下圖所示。

圖 9. Apriori 建模節(jié)點

該“字段”選項卡，是設置參與建模的字段和目標字段的，可以看到其中包括兩個選項，“使用類型節(jié)點設置”和“使用定制設置”，這里將為用戶分別呈現(xiàn)兩種選項的使用方法。這里無論選擇哪個選項，都需要將市場分析員重點關注的商品包括在其中，其他商品可以不包括。

如果用戶選擇“使用類型節(jié)點設置”選項，則需要雙擊打開“類型”節(jié)點，將啤酒設置為目標，將其他重點關注的商品設置為兩者或輸入，其他無用字段可以設置為無或輸入，如下圖所示。

圖 10. 設置字段當選擇“使用類型節(jié)點設置”

如果用戶選擇“使用定制設置”選項，則需要將啤酒設置在“后項”列表中，將其他重點關注的商品設置在“前項”列表中，如下圖所示。

圖11. 設置字段當選擇“使用定制設置”

這里，分區(qū)允許您使用指定字段將數(shù)據(jù)分割為幾個不同的樣本，分別用于模型構建過程中的訓練、測試和驗證階段。如果設置了“分區(qū)”，除了在此選擇分區(qū)字段外，還需要在“模型”選項卡中，勾上“使用分區(qū)數(shù)據(jù)”的選擇框。關于“分區(qū)”的概念、作用和使用方法，本文不做詳細介紹。

除此，“使用事務處理格式”選擇框，是針對于事務性數(shù)據(jù)的，如果數(shù)據(jù)為交易格式，需要勾上此選擇框，但本示例的數(shù)據(jù)為表格格式，故無需選擇。

設置好了字段后，點擊“模型”選項卡，進入模型設置。如下圖所示。

圖 12. 設置模型選項卡

用戶可以在“模型名稱”處為本模型設置一個名字，如果想使用分區(qū)功能，則需要勾上“使用分區(qū)數(shù)據(jù)”選項。

用戶為規(guī)則模型設置一個 最低條件支持度，那么模型將從所有規(guī)則中選擇那些為真，并且其對應的記錄的百分比大于此值的規(guī)則。如果您獲得的規(guī)則適用于非常小的數(shù)據(jù)子集，請嘗試增加此設置。

接著，用戶需要為模型設置一個 最小規(guī)則置信度，表明正確預測的百分比。置信度低于指定標準的規(guī)則將被放棄。如果您獲得的規(guī)則太多，請嘗試增加此設置。如果您獲得的規(guī)則太少（甚至根本無法獲得規(guī)則），請嘗試降低此設置。

用戶還可以為任何規(guī)則指定“最大前項數(shù)”。這是一種用來限制規(guī)則復雜性的方式。如果規(guī)則太復雜或者太具體，請嘗試降低此設置。

對于“僅包含標志變量的真值”選項，如果對于表格格式的數(shù)據(jù)選擇了此選項，則在生成的規(guī)則中只會出現(xiàn)真值。這樣使得規(guī)則更容易理解。該選項不適用于事務格式的數(shù)據(jù)。

為了提高建模性能，設置了“優(yōu)化”選項供用戶選擇。選擇“速度”可指示算法從不使用磁盤溢出，以便提高性能。選擇“內(nèi)存”可指示算法在合適的時候，以犧牲某些速度為代價使用磁盤溢出。

接下來，進入“專家”選項卡，對于一般用戶，則選擇“簡單”選項；而對于高級用戶，則可以通過此頁面進行微調(diào)，如下圖所示。

圖 13. 專家選項卡設置

關于“專家”選項的設置和介紹，請參見 IBM SPSS Modeler 幫助文檔。

此時，我們已經(jīng)創(chuàng)建好了關聯(lián)規(guī)則模型的整個流，點擊工具欄的綠色箭頭，運行該流，會生成一個“模型”節(jié)點，該節(jié)點里包含了模型運行結果。整個運行后的流圖，如下圖所示。

圖 14. 關聯(lián)規(guī)則模型流圖

第六步，在得到了運行結果后，我們雙擊打開生成的“模型”節(jié)點，點擊“顯示 / 隱藏標準菜單”下拉框，選擇“顯示所有”，結果如下圖所示。

圖 15. 模型節(jié)點信息

從結果可以看出，通過關聯(lián)規(guī)則模型挖掘出了三個規(guī)則，分別是規(guī)則一，購買了凍肉（frozenmeal）和罐裝蔬菜（cannedveg）的顧客都會購買啤酒（beer）；規(guī)則二，購買了凍肉的顧客都會購買啤酒；規(guī)則三，購買了罐裝蔬菜的顧客都會購買啤酒。其中，第一列代表結果，而下一列代表條件，后面的列包含規(guī)則信息，如置信度、支持度和提升等。

市場分析員對于模型結果的三條規(guī)則和規(guī)則信息，如何分析得出結論呢？首先分析第一條規(guī)則，購買了凍肉和罐裝蔬菜的顧客會購買啤酒，此規(guī)則中購買了凍肉和罐裝蔬菜的記錄有 173 條，占 17.3%，同時購買了凍肉、罐裝蔬菜和啤酒的記錄占 14.6%，而在購買了凍肉和罐裝蔬菜的顧客中會有 84.393% 的顧客會購買啤酒，并且提升為 2.88，表明此規(guī)則的相關性很強，部署能力和置信度類似，可以不考慮。對于規(guī)則二三，可以同樣分析。問題的關鍵是，哪些規(guī)則信息才能作為評判標準。通過對規(guī)則信息的分析和了解，建議將置信度和提升作為選擇規(guī)則的標準，因為置信度能反映出規(guī)則預測的準確程度，提升值越大，規(guī)則的相關性越強。據(jù)此，可以將規(guī)則一作為分析結果。

因此可以將啤酒和凍肉、罐裝蔬菜放在一起銷售，這也正好和前面的網(wǎng)絡節(jié)點圖的顯示相一致。

總結

本文通過一個實際的商業(yè)場景，引入了 IBM SPSS Modeler 關聯(lián)規(guī)則模型，首先給出了關聯(lián)規(guī)則的相關概念，接著帶領您一步一步的創(chuàng)建了數(shù)據(jù)流，并且介紹了模型的建立和設置，并且對結果進行了分析。您可以將本模型應用到其他的場景中，如網(wǎng)絡日志分析、銀行潛在客戶分析、電子商務的捆綁銷售等。