說(shuō)說(shuō)什么是數(shù)據(jù)挖掘

數(shù)據(jù)挖掘就是指從數(shù)據(jù)中獲取知識(shí)。

好吧，這樣的定義方式比較抽象，但這也是業(yè)界認(rèn)可度最高的一種解釋了。對(duì)于如何開(kāi)發(fā)一個(gè)大數(shù)據(jù)環(huán)境下完整的數(shù)據(jù)挖掘項(xiàng)目，業(yè)界至今仍沒(méi)有統(tǒng)一的規(guī)范。說(shuō)白了，大家都聽(tīng)說(shuō)過(guò)大數(shù)據(jù)、數(shù)據(jù)挖掘等概念，然而真正能做而且做好的公司并不是很多。

數(shù)據(jù)挖掘背后的哲學(xué)思想

在過(guò)去很多年，首要原則模型(first-principle models)是科學(xué)工程領(lǐng)域最為經(jīng)典的模型。
        比如你要想知道某輛車從啟動(dòng)到速度穩(wěn)定行駛的距離，那么你會(huì)先統(tǒng)計(jì)從啟動(dòng)到穩(wěn)定耗費(fèi)的時(shí)間、穩(wěn)定后的速度、加速度等參數(shù)；然后運(yùn)用牛頓第二定律(或者其他物理學(xué)公式)建立模型；最后根據(jù)該車多次實(shí)驗(yàn)的結(jié)果列出方程組從而計(jì)算出模型的各個(gè)參數(shù)。通過(guò)該過(guò)程，你就相當(dāng)于學(xué)習(xí)到了一個(gè)知識(shí) --- 某輛車從啟動(dòng)到速度穩(wěn)定行駛的具體模型。此后往該模型輸入車的啟動(dòng)參數(shù)便可自動(dòng)計(jì)算出該車達(dá)到穩(wěn)定速度前行駛的距離。
        然而，在數(shù)據(jù)挖掘的思想中，知識(shí)的學(xué)習(xí)是不需要通過(guò)具體問(wèn)題的專業(yè)知識(shí)建模。如果之前已經(jīng)記錄下了100輛型號(hào)性能相似的車從啟動(dòng)到速度穩(wěn)定行駛的距離，那么我就能夠?qū)@100個(gè)數(shù)據(jù)求均值，從而得到結(jié)果。顯然，這一過(guò)程是是直接面向數(shù)據(jù)的，或者說(shuō)我們是直接從數(shù)據(jù)開(kāi)發(fā)模型的。
        這其實(shí)是模擬了人的原始學(xué)習(xí)過(guò)程 --- 比如你要預(yù)測(cè)一個(gè)人跑100米要多久時(shí)間，你肯定是根據(jù)之前了解的他(研究對(duì)象)這樣體型的人跑100米用的多少時(shí)間做一個(gè)估計(jì)，而不會(huì)使用牛頓定律來(lái)算。

數(shù)據(jù)挖掘的起源

由于數(shù)據(jù)挖掘理論涉及到的面很廣，它實(shí)際上起源于多個(gè)學(xué)科。如建模部分主要起源于統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)。統(tǒng)計(jì)學(xué)方法以模型為驅(qū)動(dòng)，常常建立一個(gè)能夠產(chǎn)生數(shù)據(jù)的模型；而機(jī)器學(xué)習(xí)則以算法為驅(qū)動(dòng)，讓計(jì)算機(jī)通過(guò)執(zhí)行算法來(lái)發(fā)現(xiàn)知識(shí)。仔細(xì)想想，"學(xué)習(xí)"本身就有算法的意思在里面嘛。

然而數(shù)據(jù)挖掘除了建模外，還有不少其他要做的工作(本文后面會(huì)一一講到)，因此涉及到不少其他知識(shí)，如下圖所示：

數(shù)據(jù)挖掘的基本任務(wù)

數(shù)據(jù)挖掘的兩大基本目標(biāo)是預(yù)測(cè)和描述數(shù)據(jù)。其中前者的計(jì)算機(jī)建模及實(shí)現(xiàn)過(guò)程通常被稱為監(jiān)督學(xué)習(xí)(supervised learning)，后者的則通常被稱為無(wú)監(jiān)督學(xué)習(xí)(supervised learning)。往更細(xì)分，數(shù)據(jù)挖掘的目標(biāo)可以劃分為以下這些：

預(yù)測(cè)主要包括分類 - 將樣本劃分到幾個(gè)預(yù)定義類之一，回歸 - 將樣本映射到一個(gè)真實(shí)值預(yù)測(cè)變量上；描述主要包括聚類 - 將樣本劃分為不同類(無(wú)預(yù)定義類)，關(guān)聯(lián)規(guī)則發(fā)現(xiàn) - 發(fā)現(xiàn)數(shù)據(jù)集中不同特征的相關(guān)性。本系列其他文章將會(huì)分別對(duì)這些工作深入進(jìn)行講解，如果讀者是第一次接觸這些概念請(qǐng)不要糾結(jié)。

數(shù)據(jù)挖掘的基本流程

從形式上來(lái)說(shuō)，數(shù)據(jù)挖掘的開(kāi)發(fā)流程是迭代式的。開(kāi)發(fā)人員通過(guò)如下幾個(gè)階段對(duì)數(shù)據(jù)進(jìn)行迭代式處理：

其中，

1. 解讀需求

絕大多數(shù)的數(shù)據(jù)挖掘工程都是針對(duì)具體領(lǐng)域的，因此數(shù)據(jù)挖掘工作人員不應(yīng)該沉浸在自己的世界里YY算法模型，而應(yīng)該多和具體領(lǐng)域的專家交流合作以正確的解讀出項(xiàng)目需求。這種合作應(yīng)當(dāng)貫穿整個(gè)項(xiàng)目生命周期。

2. 搜集數(shù)據(jù)

在大型公司，數(shù)據(jù)搜集大都是從其他業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)提取。很多時(shí)候我們是對(duì)數(shù)據(jù)進(jìn)行抽樣，在這種情況下必須理解數(shù)據(jù)的抽樣過(guò)程是如何影響取樣分布，以確保評(píng)估模型環(huán)節(jié)中用于訓(xùn)練(train)和檢驗(yàn)(test)模型的數(shù)據(jù)來(lái)自同一個(gè)分布。

3. 預(yù)處理數(shù)據(jù)

預(yù)處理數(shù)據(jù)可主要分為數(shù)據(jù)準(zhǔn)備和數(shù)據(jù)歸約兩部分。其中前者包含了缺失值處理、異常值處理、歸一化、平整化、時(shí)間序列加權(quán)等；而后者主要包含維度歸約、值歸約、以及案例歸約。后面兩篇博文將分別講解數(shù)據(jù)準(zhǔn)備和數(shù)據(jù)歸約。

4. 評(píng)估模型

確切來(lái)說(shuō)，這一步就是在不同的模型之間做出選擇，找到最優(yōu)模型。很多人認(rèn)為這一步是數(shù)據(jù)挖掘的全部，但顯然這是以偏概全的，甚至絕大多數(shù)情況下這一步耗費(fèi)的時(shí)間和精力在整個(gè)流程里是最少的。

5. 解釋模型

數(shù)據(jù)挖掘模型在大多數(shù)情況下是用來(lái)輔助決策的，人們顯然不會(huì)根據(jù)"黑箱模型"來(lái)制定決策。如何針對(duì)具體環(huán)境對(duì)模型做出合理解釋也是一項(xiàng)非常重要的任務(wù)。

數(shù)據(jù)挖掘的工程架構(gòu)

回到本文開(kāi)頭提到的那個(gè)問(wèn)題，“如何開(kāi)發(fā)一個(gè)大數(shù)據(jù)環(huán)境下完整的數(shù)據(jù)挖掘項(xiàng)目？”。這個(gè)問(wèn)題每個(gè)公司有自己的答案，這里僅以A公司的情況進(jìn)行介紹。

在A公司的數(shù)據(jù)引擎團(tuán)隊(duì)中，主要人員分成A、B、C、D四個(gè)大組。這四個(gè)大組的分工非常明確，如下圖所示：

圖中的這些個(gè)數(shù)據(jù)引擎架構(gòu)在一個(gè)基于維度建模的云數(shù)據(jù)倉(cāng)庫(kù)之上，并對(duì)上層應(yīng)用提供算法支撐、推薦支撐、可視化支撐等等。這里也能看出A公司的數(shù)據(jù)挖掘工程架構(gòu)主要由三大塊組成：底層數(shù)據(jù)倉(cāng)庫(kù)、中間數(shù)據(jù)引擎、高層可視化/前端輸出。很多小伙伴問(wèn)我，你是一名數(shù)據(jù)挖掘工程師呀，可為什么你前面的博文都是數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)可視化呢？我想如果他們看到這里想必不會(huì)有此疑問(wèn)了：)。

至于這些引擎的具體作用、開(kāi)發(fā)方法，體系結(jié)構(gòu)等則由于涉及公司秘密不能深入細(xì)說(shuō)，請(qǐng)各位讀者見(jiàn)諒。

小結(jié)

數(shù)據(jù)挖掘涵蓋的面非常大，本文僅旨在讓讀者對(duì)數(shù)據(jù)挖掘有一個(gè)感性的認(rèn)識(shí)。關(guān)于什么是數(shù)據(jù)挖掘如果讀者還不清楚的話也不要糾結(jié)，跟著本系列一起學(xué)習(xí)一定能有所收獲并會(huì)最終發(fā)現(xiàn)：數(shù)據(jù)挖掘是一門非常有趣的學(xué)問(wèn)，比單純的寫代碼要有意思多了。