大白話講解數(shù)據(jù)挖掘【案例】潛客模型的數(shù)據(jù)框架

本篇文章作為回答很多朋友問我的一個問題：到底數(shù)據(jù)挖掘是什么？有什么作用？

我把數(shù)據(jù)挖掘比喻成炒菜燒飯。下面用了一個潛客模型的框架作為案例進(jìn)行講解。

（潛客模型數(shù)據(jù)挖掘框架）

因為我在互聯(lián)網(wǎng)公司，所以流量是整個流程圖的開始。

第一步：數(shù)據(jù)準(zhǔn)備（去菜場買食材，到家清洗食材）

第二步：做模型（將食材加工成各類食物，咸味、甜味、淡味）

第三步：數(shù)據(jù)CRM系統(tǒng)營銷管理（把不同的食物分給不同的人吃）

第四步：做評估（反饋不同人群對菜的評價，反饋給廚師，廚師根據(jù)反饋再做改進(jìn)）

可以看到數(shù)據(jù)挖掘非常類似廚師的工作。我們來細(xì)細(xì)得看一下每一步大概要考慮什么問題？如何去解決吧？

第一步：數(shù)據(jù)準(zhǔn)備

問題：

1、怎么收集用戶信息？ （去哪里買食材）

收集用戶信息可以是非常多的形式，但我們不可能無限制得到用戶信息，那是非常浪費資源并且也會讓用戶認(rèn)為我們不友好。（就比如你在上海不會飛去北京買烤鴨吧？）所以使用哪些用戶信息這個問題就非常關(guān)鍵。

2、應(yīng)該使用哪些用戶信息？ （買哪些食材）

通常我們會把所有的一些字段都羅列出來（附近菜場能買到的食材全部記錄下來），然后用于模型軟件和建模專家去評估哪些字段是有用的（去看哪些能做出菜品的），哪些字段可能對于模型沒有任何作用。目前較為流行的就是用戶的交互信息，因為這些信息最不易作假，來源也最方便。

第二步：做模型

問題：如何建模？（如何燒菜）

建模其實就是將你手中的信息量折合成你需要的信息。（把幾個食材加工后變成紅燒肉）。比如要預(yù)測這個用戶是否要流失，你可以用最近用戶的交易習(xí)慣是否有巨大的改變，這時我們做模型可能只需要幾個關(guān)鍵變量（食材）。從原來的幾百個關(guān)鍵變量到最后的幾個關(guān)鍵變量，然后把他們組合起來這一個過程就是建模的過程。（選食材到做出美味的美食的過程）

做模型其實是一件非常耗費時間的事情，因為在沒有專業(yè)化軟件的時候，大家做模型就是靠業(yè)務(wù)經(jīng)驗及一遍遍的數(shù)據(jù)組合去完成的。而現(xiàn)在專業(yè)化的工具如R,SAS,SPSS等其實是提高了建模師的工作效率，讓他們繁瑣且重復(fù)化的工作由計算機(jī)完成。當(dāng)然在你使用這些軟件的同時，你必須了解每一種數(shù)學(xué)模型背后的原理，這樣你才明白什么時候用什么模型。（數(shù)學(xué)模型就好像油鹽醬醋，要知道什么時候用什么，最終才能做出美味）

做完模型后，有時你需要把你的模型解釋給業(yè)務(wù)部門聽，然后告訴他們?nèi)绾问褂媚愕哪Ｐ?，因為幫助解決問題才是模型的最終目標(biāo)。

第三步：數(shù)據(jù)CRM系統(tǒng)營銷管理

當(dāng)我們把每個顧客的菜做好了，我們需要對不同的顧客滿足不同的需求，這時就用到了CRM系統(tǒng)，如下圖所示，可以根據(jù)模型進(jìn)行營銷，檢測最后是否解決了業(yè)務(wù)問題。

CRM具有以下優(yōu)勢：

1、在營銷之前你就可以預(yù)算營銷成本。

2、針對不同用戶使用不同的營銷策略（常說的精確化營銷）

3、易于檢測營銷和模型結(jié)果

第四步：結(jié)果反饋及模型優(yōu)化

重要結(jié)果反饋KPI:（只例舉部分）

正向反饋：1、用戶再次訪問客戶端或網(wǎng)站的概率

2、用戶上線下單購買產(chǎn)品概率

反向反饋：1、退訂率（E-mail  APP）

2、投訴率

3、未響應(yīng)度（未采取任何動作）

根據(jù)不同類型的人群進(jìn)行的反饋結(jié)果再次檢驗?zāi)Ｐ?顧客的口味評價)，查看模型的準(zhǔn)確度是否在可控范圍內(nèi)。很多模型隨著時間推移都會變得不準(zhǔn)確，需要調(diào)整一定的閥值。比如銀行的風(fēng)控模型，通常都會半年到1年調(diào)整一次（廚師根據(jù)顧客喜好調(diào)整口味）。其中的原因可能是經(jīng)濟(jì)條件增長原因，也可以能是銀行政策原因?qū)е隆?

總結(jié)項目關(guān)鍵點：

1、        收集用戶的信息質(zhì)量（業(yè)務(wù)及BI部門合作）

2、        算法優(yōu)化處理（建模工程師）

3、        系統(tǒng)實施跟進(jìn)（BI及IT開發(fā)部門合作）

這些因素決定模型應(yīng)用的成敗。

PS：數(shù)據(jù)挖掘有很多有意思的應(yīng)用，典型的亞馬遜推薦算法；啤酒與尿布；預(yù)測；語音識別的原理中也有概率數(shù)據(jù)挖掘的影子（推薦閱讀《數(shù)學(xué)之美》）。