數(shù)據(jù)挖掘過程體會

Step1.

就是商業(yè)問題的理解了，那么如何更好的理解“老大”提出的商業(yè)問題困惑呢？我覺得思維導圖倒是個不錯的選擇，當然自己要想更好的理解“老大”的意思還需要進一步的溝通，商業(yè)問題的理解關系到這個挖掘項目的價值，甚至成敗，所以在這塊大家要顯得“外向”一些，多交流、多溝通、多了解這個商業(yè)問題背后的東東；

step2.

接下來就是需要提取的字段，也就是數(shù)據(jù)挖掘的寬表，這點就要和企業(yè)的DBA人員多多交流，看數(shù)據(jù)庫中各個維度的表格都有什么字段，主要關聯(lián)的主鍵有那些，那么如何選取字段呢？這就需要自己把自己與“老大”共同討論的思維導圖拿出來看看，這樣就有提取那些字段的感覺了，這部分大多數(shù)的提取是自己對商業(yè)問題的感覺或者一些前輩的經(jīng)驗；

Step3

數(shù)據(jù)的ETL，這部分一般的時間占數(shù)據(jù)挖掘項目的70%左右，為什么數(shù)據(jù)的ETL如此重要呢？萬丈高樓平地起，如果連地基都是“豆腐渣工程”的話，那么再華麗的樓房也沒人愿意掏腰包；嘿嘿，開個玩笑；數(shù)據(jù)的ETL主要是一些異常值、空值（miss值）、錯誤數(shù)值的處理，這部分一般需要根據(jù)數(shù)據(jù)自身的分布、簡單的統(tǒng)計知識、該字段體現(xiàn)的業(yè)務特點、自己的經(jīng)驗進行的，也就是這一部分的處理主要是統(tǒng)計知識+項目經(jīng)驗+業(yè)務特點；

Step4

建立模型所需要的變量如何選？當然目標變量（Y）一般都是事前設定好的，那么X如何找呢？大多數(shù)都是應用相關分析、特征選擇、描述性的統(tǒng)計圖表（分箱圖、散點圖等），這里我只想說一句算法是死的，有時候我們根據(jù)算法得出來的X對Y沒有影響，但在實際的業(yè)務中影響卻很大，所以大家不要過于依賴算法、工具，我曾經(jīng)因為這點，被人批了，555~~~~~

  Step5

建立數(shù)據(jù)挖掘模型，這塊是許多同行相當癡迷的地方，我也不例外，記得大學畢業(yè)去北京的時候，就在咨詢公司研究算法什么的，后來經(jīng)過leader的幾次談話，自己才慢慢走出了誤區(qū)；一句話，我們追求的是模型帶來的效益，所以沒那么多時間去玩模型、搞算法；但是作為數(shù)據(jù)挖掘從業(yè)者，最基本的應該是了解各種算法的原理，還有一些數(shù)據(jù)挖掘模型參數(shù)的意義，比如在spss clementine中就有自定義和專家兩個供大家選擇，所以掌握一些參數(shù)的意義也是有必要的，大家可以上網(wǎng)下一些人大數(shù)據(jù)挖掘的視頻教程，里面講的比較詳細；

Step6

模型評估，大部分都是借助數(shù)據(jù)挖掘自帶的評估模型來做，什么準確度、收益率等，理論上很完美，實際中就一定有療效嗎？非也！有時候模型跑出來的信息很詭異的，建模人員都無法知道這個結果如何去解讀，這時我倒是覺得可以從模型中選取一部分人群來做一下簡單的調(diào)研，或許能獲得更多數(shù)據(jù)背后的東西，也能為自己的片子多幾分數(shù)據(jù)解讀的色彩，何樂而不為呢？

Step7

模型可視化展示，可視化一直是一些數(shù)據(jù)服務公司所追求的東東，也是我們從業(yè)人員一種傳達信息的方式，對于一個專題的數(shù)據(jù)挖掘模型，我相信大家都能通過一些圖表、表格或者更炫的PPT搞定，打個岔，我常常遇到這樣的問題，在對多維度做交叉分析時，因為涉及許多數(shù)據(jù)維度的鉆取而很難展現(xiàn)給決策者，這時可以用水晶易表來做動態(tài)的展示，但是遇到更復雜的邏輯呢？大家不難發(fā)現(xiàn)現(xiàn)在大部分的數(shù)據(jù)分析系統(tǒng)或者叫運營體系的分析維度都是作為一個content展現(xiàn)給使用者，從數(shù)據(jù)從業(yè)者的角度來看，這只是從不同維度對數(shù)據(jù)進行了切割而已，談不上真正的數(shù)據(jù)可視化，路漫漫兮修遠兮！業(yè)務、維度、用戶交互三者融合才是王道；