簡而言之，數(shù)據(jù)挖掘（Data Mining）是有組織有目的地收集數(shù)據(jù)，通過分析數(shù)據(jù)使之成為信息，從而在大量數(shù)據(jù)中尋找潛在規(guī)律以形成規(guī)則或知識的技術(shù)。在本文中，我們從數(shù)據(jù)挖掘的實例出發(fā)，并以數(shù)據(jù)挖掘中比較經(jīng)典的分類算法入手，給讀者介紹我們怎樣利用數(shù)據(jù)挖掘的技術(shù)解決現(xiàn)實中出現(xiàn)的問題。

數(shù)據(jù)挖掘是如何解決問題的？

本節(jié)通過幾個數(shù)據(jù)挖掘實際案例來詮釋如何通過數(shù)據(jù)挖掘解決商業(yè)中遇到的問題。下面關(guān)于“啤酒和尿不濕”的故事是數(shù)據(jù)挖掘中最經(jīng)典的案例。而Target公司通過“懷孕預測指數(shù)”來預測女顧客是否懷孕的案例也是近來為數(shù)據(jù)挖掘學者最津津樂道的一個話題。

尿不濕和啤酒

很多人會問，究竟數(shù)據(jù)挖掘能夠為企業(yè)做些什么？下面我們通過一個在數(shù)據(jù)挖掘中最經(jīng)典的案例來解釋這個問題——一個關(guān)于尿不濕與啤酒的故事。超級商業(yè)零售連鎖巨無霸沃爾瑪公司（Wal Mart）擁有世上最大的數(shù)據(jù)倉庫系統(tǒng)之一。為了能夠準確了解顧客在其門店的購買習慣，沃爾瑪對其顧客的購物行為進行了購物籃關(guān)聯(lián)規(guī)則分析，從而知道顧客經(jīng)常一起購買的商品有哪些。在沃爾瑪龐大的數(shù)據(jù)倉庫里集合了其所有門店的詳細原始交易數(shù)據(jù)，在這些原始交易數(shù)據(jù)的基礎(chǔ)上，沃爾瑪利用數(shù)據(jù)挖掘工具對這些數(shù)據(jù)進行分析和挖掘。一個令人驚奇和意外的結(jié)果出現(xiàn)了：“跟尿不濕一起購買最多的商品竟是啤酒”！這是數(shù)據(jù)挖掘技術(shù)對歷史數(shù)據(jù)進行分析的結(jié)果，反映的是數(shù)據(jù)的內(nèi)在規(guī)律。那么這個結(jié)果符合現(xiàn)實情況嗎？是否是一個有用的知識？是否有利用價值？

為了驗證這一結(jié)果，沃爾瑪派出市場調(diào)查人員和分析師對這一結(jié)果進行調(diào)查分析。經(jīng)過大量實際調(diào)查和分析，他們揭示了一個隱藏在“尿不濕與啤酒”背后的美國消費者的一種行為模式：

在美國，到超市去買嬰兒尿不濕是一些年輕的父親下班后的日常工作，而他們中有30%～40%的人同時也會為自己買一些啤酒。產(chǎn)生這一現(xiàn)象的原因是：美國的太太們常叮囑她們的丈夫不要忘了下班后為小孩買尿不濕，而丈夫們在買尿不濕后又隨手帶回了他們喜歡的啤酒。另一種情況是丈夫們在買啤酒時突然記起他們的責任，又去買了尿不濕。既然尿不濕與啤酒一起被購買的機會很多，那么沃爾瑪就在他們所有的門店里將尿不濕與啤酒并排擺放在一起，結(jié)果是得到了尿不濕與啤酒的銷售量雙雙增長。按常規(guī)思維，尿不濕與啤酒風馬牛不相及，若不是借助數(shù)據(jù)挖掘技術(shù)對大量交易數(shù)據(jù)進行挖掘分析，沃爾瑪是不可能發(fā)現(xiàn)數(shù)據(jù)內(nèi)這一有價值的規(guī)律的。

Target和懷孕預測指數(shù)

關(guān)于數(shù)據(jù)挖掘的應(yīng)用，最近還有這樣一個真實案例在數(shù)據(jù)挖掘和營銷挖掘領(lǐng)域廣為流傳。

美國一名男子闖入他家附近的一家美國零售連鎖超市Target店鋪（美國第三大零售商塔吉特）進行抗議：“你們竟然給我17歲的女兒發(fā)嬰兒尿片和童車的優(yōu)惠券。”店鋪經(jīng)理立刻向來者承認錯誤，但是其實該經(jīng)理并不知道這一行為是總公司運行數(shù)據(jù)挖掘的結(jié)果。如圖所示。一個月后，這位父親來道歉，因為這時他才知道他的女兒的確懷孕了。Target比這位父親知道他女兒懷孕的時間足足早了一個月。

Target能夠通過分析女性客戶購買記錄，“猜出”哪些是孕婦。他們從Target的數(shù)據(jù)倉庫中挖掘出25項與懷孕高度相關(guān)的商品，制作“懷孕預測”指數(shù)。比如他們發(fā)現(xiàn)女性會在懷孕四個月左右，大量購買無香味乳液。以此為依據(jù)推算出預產(chǎn)期后，就搶先一步將孕婦裝、嬰兒床等折扣券寄給客戶來吸引客戶購買。

如果不是在擁有海量的用戶交易數(shù)據(jù)基礎(chǔ)上實施數(shù)據(jù)挖掘，Target不可能做到如此精準的營銷。

電子商務(wù)網(wǎng)站流量分析

網(wǎng)站流量分析，是指在獲得網(wǎng)站訪問量基本數(shù)據(jù)的情況下對有關(guān)數(shù)據(jù)進行的統(tǒng)計和分析，其常用手段就是Web挖掘。Web挖掘可以通過對流量的分析，幫助我們了解Web上的用戶訪問模式。那么了解用戶訪問模式有哪些好處呢？

• 在技術(shù)架構(gòu)上，我們可以合理修改網(wǎng)站結(jié)構(gòu)及適度分配資源，構(gòu)建后臺服務(wù)器群組，比如輔助改進網(wǎng)絡(luò)的拓撲設(shè)計，提高性能，在有高度相關(guān)性的節(jié)點之間安排快速有效的訪問路徑等。
• 幫助企業(yè)更好地設(shè)計網(wǎng)站主頁和安排網(wǎng)頁內(nèi)容。
• 幫助企業(yè)改善市場營銷決策，如把廣告放在適當?shù)腤eb頁面上。
• 幫助企業(yè)更好地根據(jù)客戶的興趣來安排內(nèi)容。
• 幫助企業(yè)對客戶群進行細分，針對不同客戶制定個性化的促銷策略等。

人們在訪問某網(wǎng)站的同時，便提供了個人對網(wǎng)站內(nèi)容的反饋信息：點擊了哪一個鏈接，在哪個網(wǎng)頁停留時間最多，采用了哪個搜索項、總體瀏覽時間等。而所有這些信息都被保存在網(wǎng)站日志中。從保存的信息來看，網(wǎng)站雖然擁有了大量的網(wǎng)站訪客及其訪問內(nèi)容的信息，但擁有了這些信息卻不等于能夠充分利用這些信息。

那么如果將這些數(shù)據(jù)轉(zhuǎn)換到數(shù)據(jù)倉庫中呢？這些帶有大量信息的數(shù)據(jù)借助數(shù)據(jù)倉庫報告系統(tǒng)（一般稱作在線分析處理系統(tǒng)），雖然能給出可直接觀察到的和相對簡單直接的信息，卻也不能告訴網(wǎng)站其信息模式及怎樣對其進行處理，而且它一般不能分析復雜信息。所以對于這些相對復雜的信息或是不那么直觀的問題，我們就只能通過數(shù)據(jù)挖掘技術(shù)來解決，即通過機器學習算法，找到數(shù)據(jù)庫中的隱含模式，報告結(jié)果或按照結(jié)果執(zhí)行。為了讓電子商務(wù)網(wǎng)站能夠充分應(yīng)用數(shù)據(jù)挖掘技術(shù)，我們需要采集更加全面的數(shù)據(jù)，采集的數(shù)據(jù)越全面，分析就能越精準。在實際操作中，有以下幾個方面的數(shù)據(jù)可以被采集：

• 訪客的系統(tǒng)屬性特征。比如所采用的操作系統(tǒng)、瀏覽器、域名和訪問速度等。
• 訪問特征。包括停留時間、點擊的URL等。
• 條款特征。包括網(wǎng)絡(luò)內(nèi)容信息類型、內(nèi)容分類和來訪URL等。
• 產(chǎn)品特征。包括所訪問的產(chǎn)品編號、產(chǎn)品目錄、產(chǎn)品顏色、產(chǎn)品價格、產(chǎn)品利潤、產(chǎn)品數(shù)量和特價等級等。

當訪客訪問該網(wǎng)站時，以上有關(guān)此訪客的數(shù)據(jù)信息便會逐漸被積累起來，那么我們就可以通過這些積累而成的數(shù)據(jù)信息整理出與這個訪客有關(guān)的信息以供網(wǎng)站使用?？梢哉沓尚偷男畔⒋笾驴梢苑譃橐韵聨讉€方面：

• 訪客的購買歷史以及廣告點擊歷史。
• 訪客點擊的超鏈接的歷史信息。
• 訪客的總鏈接機會（提供給訪客的超級鏈接）。
• 訪客總的訪問時間。
• 訪客所瀏覽的全部網(wǎng)頁。
• 訪客每次會話的產(chǎn)出利潤。
• 訪客每個月的訪問次數(shù)及上一次的訪問時間等。
• 訪客對于商標總體正面或負面的評價。

分類：從人臉識別系統(tǒng)說起

美國電視劇《反恐24小時》中有一集，當一個恐怖分子用手機撥打了一個電話，從CTU（反恐部隊）的計算機系統(tǒng)中便立刻發(fā)出恐怖分子出現(xiàn)的預警。很多好萊塢的大片中此類智能系統(tǒng)的應(yīng)用也比比皆是，它能從茫茫人群中實時找出正在苦苦追蹤的恐怖分子或間諜。而在2008年北京奧運會上，最引人注意的IT 熱點莫過于“實時人臉識別技術(shù)”在奧運會安檢系統(tǒng)中的應(yīng)用，這種技術(shù)通過對人臉關(guān)鍵部位的數(shù)據(jù)采集，讓系統(tǒng)能夠精確地識別出所有進出奧運場館的觀眾身份。

目前人臉識別技術(shù)正廣泛的應(yīng)用于各種安檢系統(tǒng)中，警方只需將犯罪分子的臉部數(shù)據(jù)采集到安檢數(shù)據(jù)庫，那么只要犯罪分子一出現(xiàn)，系統(tǒng)就能精確地將其識別出來。現(xiàn)如今人臉識別技術(shù)已經(jīng)相對成熟，谷歌在Picasa照片分享軟件的工具中就已經(jīng)加入了人臉識別功能。當然，人臉識別技術(shù)牽涉到隱私，是把雙刃劍，谷歌在谷歌街景地圖中故意將人臉模糊化，變得無法識別就是這個原因。如圖所示為人臉識別示意圖。

雖然需要借力于其他技術(shù)，但是人臉識別中的主要技術(shù)還是來自于數(shù)據(jù)挖掘中的分類算法（Classification）。讓我們從一個最簡單的事實來解釋分類的思想。設(shè)想一下，一天中午，你第一次到三里屯，站在幾家以前從未去過的餐廳門前，現(xiàn)在的問題是該選擇哪家餐廳用餐。應(yīng)該怎樣選擇呢？假設(shè)您沒有帶手機，無法上網(wǎng)查詢，那么可能會出現(xiàn)如下兩種情況：

一種，你記起某位朋友去過其中一家，并且好像他對這家的評價還不錯，這時，你很有可能就直接去這家了。

第二種，沒有類似朋友推薦這類先驗知識，你就只能從自己以往的用餐經(jīng)歷中來選擇了，例如你可能會比較餐廳的品牌和用餐環(huán)境，因為似乎以前的經(jīng)歷告訴自己，品牌響、用餐環(huán)境好的餐廳可能味道也會好。不管是否意識得到，在最終決定去哪家吃的時候，我們已經(jīng)根據(jù)自己的判斷標準把候選的這幾家餐廳分類了，可能分成好、中、差三類或者值得去、不值得去兩類。而最終去了自己選擇的那家餐廳，吃完過后我們自然也會根據(jù)自己的真實體驗來判定我們的判斷準則是否正確，同時根據(jù)這次的體驗來修正或改進自己的判斷準則，決定下次是否還會來這家餐廳或者是否把它推薦給朋友。

選擇餐廳的過程其實就是一個分類的過程，此類分類例子是屢見不鮮的。在古時，司天監(jiān)會依賴長時間積累的信息，通過觀察天象對是否會有天災做出分類預測。古人則通過對四季氣候雨水的常年觀察，總結(jié)出農(nóng)作物最佳播種時間。在伯樂的《相馬經(jīng)》中，就通過簡單分類區(qū)分出羸馬的三條標準：“大頭小頸，弱脊大腹，小頸大蹄”。

其實在數(shù)據(jù)挖掘領(lǐng)域，有大量基于海量數(shù)據(jù)的分類問題。通常，我們先把數(shù)據(jù)分成訓練集（Training Set）和測 試集（Testing Set），通過對歷史訓練集的訓練，生成一個或多個分類器（Classifier），將這些分類器應(yīng)用到測試集中，就可以對分類器的性能和準確性做出評判。如果效果不佳，那么我們或者重新選擇訓練集，或者調(diào)整訓練模式，直到分類器的性能和準確性達到要求為止。最后將選出的分類器應(yīng)用到未經(jīng)分類的新數(shù)據(jù)中，就可以對新數(shù)據(jù)的類別做出預測了。

節(jié)選譚磊所著的自《大數(shù)據(jù)挖掘》一書。未完待續(xù)……