實(shí)際工作中的數(shù)據(jù)挖掘流程

數(shù)據(jù)工作者最長(zhǎng)也是有效的一種工作方式是帶項(xiàng)目，無論是數(shù)據(jù)分析還是專項(xiàng)挖掘，項(xiàng)目制能使數(shù)據(jù)盡量貼近業(yè)務(wù)并且有效理解業(yè)務(wù)和數(shù)據(jù)的各個(gè)維度。那么如何建立面向業(yè)務(wù)落地的數(shù)據(jù)分析（挖掘）流程？

在做本篇介紹之前，有以下幾個(gè)方向需要做一個(gè)界定，這些界定是做本篇的前提：

該項(xiàng)目流程是面向業(yè)務(wù)層的，直接通過模型做代碼優(yōu)化或者以BI技術(shù)為方向的不同；
該項(xiàng)目的領(lǐng)導(dǎo)者是具有一定能力的數(shù)據(jù)分析師，需要具備業(yè)務(wù)常識(shí)、數(shù)據(jù)理解能力和專項(xiàng)分析挖掘能力，說白了，能接受問題并且能解決問題；

該項(xiàng)目是以業(yè)務(wù)落地為導(dǎo)向的，那些面向市場(chǎng)分析方向的戰(zhàn)略項(xiàng)目等不在此列。

在以上的界定下，我們放心的來談本篇的核心，我相信大多數(shù)一線的數(shù)據(jù)分析師都能適用這套流程。完整的數(shù)據(jù)分析（挖掘）流程包括：需求提報(bào)審核、商業(yè)理解、數(shù)據(jù)理解、專項(xiàng)分析（建模）、部署與實(shí)施優(yōu)化、項(xiàng)目總結(jié)六大部分。

一、需求提報(bào)

任何數(shù)據(jù)分析的起點(diǎn)都是從業(yè)務(wù)需求開始的。在收到業(yè)務(wù)需求后，首先要做的還不是業(yè)務(wù)夠通，是考量這個(gè)需求是否可以受理。導(dǎo)致需求不能受理的原因包括業(yè)務(wù)需求本身是個(gè)偽命題以及目前的數(shù)據(jù)無法支撐該需求的分析。

目的：第一步需求提報(bào)的審核目的是找到最佳需求命題，并確定該命題的可行性。

輸出物料：無

周期：1天內(nèi)響應(yīng)

二、商業(yè)理解

商業(yè)理解包括業(yè)務(wù)語言轉(zhuǎn)化成數(shù)據(jù)語言的整個(gè)過程，目的是確定業(yè)務(wù)通過數(shù)據(jù)需要實(shí)現(xiàn)的具體緯度，粒度，數(shù)據(jù)范圍等，通過方案思路進(jìn)行二次確認(rèn)。確認(rèn)思路后，會(huì)正式開始項(xiàng)目的數(shù)據(jù)部分工作。

目的：確認(rèn)業(yè)務(wù)邏輯、數(shù)據(jù)分析需求、數(shù)據(jù)產(chǎn)出內(nèi)容方向及分析思路。

輸出物料：分析思維導(dǎo)圖、測(cè)試數(shù)據(jù)

周期：2天

三、數(shù)據(jù)準(zhǔn)備

數(shù)據(jù)準(zhǔn)備是對(duì)即將進(jìn)行的分析和挖掘工作進(jìn)行預(yù)處理，包括從數(shù)據(jù)倉庫中取數(shù)，驗(yàn)證數(shù)據(jù)質(zhì)量，數(shù)據(jù)特征提取，異常值處理，數(shù)據(jù)轉(zhuǎn)換，合并等，為最終的數(shù)據(jù)分析挖掘做準(zhǔn)備。這個(gè)階段是非常費(fèi)時(shí)但是重要的工作，前期這個(gè)工作做不好會(huì)直接影響數(shù)據(jù)質(zhì)量。

目的：數(shù)據(jù)前期清洗。

輸出物料：數(shù)據(jù)

周期：4天

四、專項(xiàng)分析（建模）

經(jīng)過需求確認(rèn)，數(shù)據(jù)清洗之后，開始了專項(xiàng)數(shù)據(jù)分析和挖掘工作，包括常用的描述性數(shù)據(jù)統(tǒng)計(jì)、數(shù)據(jù)分類、聚類、管理、序列、規(guī)則提取等建模工作，并在專項(xiàng)分析或建模結(jié)束后完成模型測(cè)試工作，保持模型的穩(wěn)定性和最佳擬合度。

目的：報(bào)告撰寫、模型搭建。

輸出物料：分析報(bào)告、建模流程和節(jié)點(diǎn)、模型評(píng)估報(bào)告等

周期：7天

五、部署與實(shí)施優(yōu)化

本階段包括數(shù)據(jù)結(jié)果輸出，方式可能是郵件、會(huì)議類（通常是二者配合），在業(yè)務(wù)報(bào)告溝通中確認(rèn)落地執(zhí)行計(jì)劃，并安排排期和計(jì)劃方案，同時(shí)數(shù)據(jù)分析師進(jìn)行數(shù)據(jù)收集，等業(yè)務(wù)執(zhí)行完畢后進(jìn)行效果再評(píng)估，并根據(jù)評(píng)估結(jié)果優(yōu)化前期報(bào)告或模型結(jié)果。

目的：數(shù)據(jù)落地。

輸出物料：業(yè)務(wù)執(zhí)行計(jì)劃、落地排期、數(shù)據(jù)落地收集計(jì)劃等

周期：14天（根據(jù)所需數(shù)據(jù)量和業(yè)務(wù)時(shí)間需求而定）

六、項(xiàng)目總結(jié)

在整個(gè)項(xiàng)目結(jié)束后，進(jìn)行整體總結(jié)，反思本項(xiàng)目整個(gè)過程，包括前期需求溝通與確認(rèn)是否清晰，中期數(shù)據(jù)處理、分析和挖掘如何優(yōu)化，后期數(shù)據(jù)落地效果和建議等，對(duì)整個(gè)項(xiàng)目有新的認(rèn)知，最終為下一次項(xiàng)目積累經(jīng)驗(yàn)。如果有必要，可以跟業(yè)務(wù)一起溝通討論本次項(xiàng)目的優(yōu)劣得失。另外，不是所有的有效項(xiàng)目都是以成功結(jié)束，失敗的項(xiàng)目也可以為我們帶來啟發(fā)，最起碼能說明業(yè)務(wù)的邏輯或出發(fā)點(diǎn)不可行。

目的：經(jīng)驗(yàn)總結(jié)

輸出物料：項(xiàng)目總結(jié)報(bào)告

周期：1天

只會(huì)做挖掘、只會(huì)寫報(bào)告的數(shù)據(jù)分析師只能算一半，另一半就是如何把我們的思想、建議融入業(yè)務(wù)中，真正讓他們理解并付諸實(shí)踐。這才是數(shù)據(jù)分析師存在的真正價(jià)值。