數(shù)據(jù)挖掘的入門概念

1 數(shù)據(jù)挖掘

數(shù)據(jù)挖掘(Data Mining，簡(jiǎn)稱DM)，是指從大量的數(shù)據(jù)中，挖掘出未知的且有價(jià)值的信息和知識(shí)的過(guò)程。

2 機(jī)器學(xué)習(xí) 與 數(shù)據(jù)挖掘

與數(shù)據(jù)挖掘類似的有一個(gè)術(shù)語(yǔ)叫做”機(jī)器學(xué)習(xí)“，這兩個(gè)術(shù)語(yǔ)在本質(zhì)上的區(qū)別不大，如果在書店分別購(gòu)買兩本講數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的書籍，書中大部分內(nèi)容都是互相重復(fù)的。具體來(lái)說(shuō)，小的區(qū)別如下：

機(jī)器學(xué)習(xí)：更側(cè)重于技術(shù)方面和各種算法，一般提到機(jī)器學(xué)習(xí)就會(huì)想到語(yǔ)音識(shí)別，圖像視頻識(shí)別，機(jī)器翻譯，無(wú)人駕駛等等各種其他的模式識(shí)別，甚至于谷歌大腦等AI，這些東西的一個(gè)共同點(diǎn)就是極其復(fù)雜的算法，所以說(shuō)機(jī)器學(xué)習(xí)的核心就是各種精妙的算法。

數(shù)據(jù)挖掘：更偏向于“數(shù)據(jù)”而非算法，而且包括了很多數(shù)據(jù)的前期處理，用爬蟲爬取數(shù)據(jù)，然后做數(shù)據(jù)的清洗，數(shù)據(jù)的整合，數(shù)據(jù)有效性檢測(cè)，數(shù)據(jù)可視化(畫圖)等等，最后才是用一些統(tǒng)計(jì)的或者機(jī)器學(xué)習(xí)的算法來(lái)抽取某些有用的“知識(shí)”。前期數(shù)據(jù)處理的工作比較多。

所以，數(shù)據(jù)挖掘的范疇要更廣泛一些。

3 數(shù)據(jù)挖掘所覆蓋的學(xué)科

數(shù)據(jù)挖掘是一門交叉學(xué)科，覆蓋了統(tǒng)計(jì)學(xué)、計(jì)算機(jī)程序設(shè)計(jì)、數(shù)學(xué)與算法、數(shù)據(jù)庫(kù)、機(jī)器學(xué)習(xí)、市場(chǎng)營(yíng)銷、數(shù)據(jù)可視化等領(lǐng)域的理論和實(shí)踐成果

4 數(shù)據(jù)挖掘的誤區(qū)

誤區(qū)一：算法至上論。認(rèn)為數(shù)據(jù)挖據(jù)是某些對(duì)大量數(shù)據(jù)操作的算法，這些算法能夠自動(dòng)地發(fā)現(xiàn)新的知識(shí)。

誤區(qū)二：技術(shù)至上論。認(rèn)為數(shù)據(jù)挖據(jù)必須需要非常高深的分析技能，需要精通高深的數(shù)據(jù)挖掘算法，需要熟練程序開(kāi)發(fā)設(shè)計(jì)。

這兩種認(rèn)知都有一定的偏頗。實(shí)際上，數(shù)據(jù)挖掘本質(zhì)上是人們處理商業(yè)問(wèn)題的方法，通過(guò)適量的數(shù)據(jù)挖掘來(lái)獲得有價(jià)值的結(jié)果，技術(shù)在隨著大數(shù)據(jù)時(shí)代的來(lái)臨變得愈發(fā)重要，但是最好的數(shù)據(jù)挖掘工程師往往是那些熟悉和理解業(yè)務(wù)的人。

5 數(shù)據(jù)挖掘能解決什么問(wèn)題

商業(yè)上的問(wèn)題多種多樣，例如：

“如何能降低用戶流失率?”

“某個(gè)用戶是否會(huì)響應(yīng)本次營(yíng)銷活動(dòng)?“

"如何細(xì)分現(xiàn)有目標(biāo)市場(chǎng)?"

“如何制定交叉銷售策略以提升銷售額?”

“如何預(yù)測(cè)未來(lái)銷量?”

從數(shù)據(jù)挖掘的角度看，都可以轉(zhuǎn)換為五類問(wèn)題：

分類問(wèn)題

聚類問(wèn)題

回歸問(wèn)題

關(guān)聯(lián)分析

推薦系統(tǒng)

5.1 分類問(wèn)題

簡(jiǎn)單來(lái)說(shuō)，就是根據(jù)已經(jīng)分好類的一推數(shù)據(jù)，分析每一類的潛在特征建立分類模型。對(duì)于新數(shù)據(jù)，可以輸出新出具屬于每一類的概率。

比如主流郵箱都具備的垃圾郵件識(shí)別功能：一開(kāi)始，正常郵件和垃圾郵件都是混合在一起的，如果我們手工去點(diǎn)擊哪些是垃圾郵件，逐漸的，垃圾郵件就會(huì)自動(dòng)被識(shí)別放到垃圾文件夾。如果我們對(duì)于混在正常郵件中的垃圾持續(xù)進(jìn)行判斷，系統(tǒng)的識(shí)別率就會(huì)越來(lái)越高。我們?nèi)斯c(diǎn)擊判斷，相當(dāng)于預(yù)先分類(兩類：垃圾郵件和非垃圾郵件)，系統(tǒng)就會(huì)自己學(xué)習(xí)兩類郵件的特征建立模式，對(duì)于新郵件，會(huì)根據(jù)模式判斷屬于每個(gè)類別的可能性。

分類算法示意

5.2 聚類問(wèn)題

和分類算法是不同概念，但是工作中業(yè)務(wù)人員經(jīng)常誤用。 聚類的的目的也是把數(shù)據(jù)分類，但類別并不是預(yù)先定義的，算法根據(jù)“物以類聚”的原則，判斷各條數(shù)據(jù)之間的相似性，相似的就歸為一類。

比如我有十萬(wàn)消費(fèi)者的信息數(shù)據(jù)，比如包括性別，年齡，收入，消費(fèi)等，通過(guò)聚類的方法事可以把這些數(shù)據(jù)分成不同的群，理論上每群用戶內(nèi)都是相似性較高的，就可以覆蓋分群用戶制定不同的策略

聚類算法示意

5.3 回歸問(wèn)題

回歸問(wèn)題和分類問(wèn)題有點(diǎn)類似，但是回歸問(wèn)題中的因變量是一個(gè)數(shù)值，而分類問(wèn)題，最終輸出的因變量是一個(gè)類別。簡(jiǎn)單理解，就是定義一個(gè)因變量，在定義若干自變量，找到一個(gè)數(shù)學(xué)公式，描述自變量和因變量之間的關(guān)系。

比如，我們要研究房?jī)r(jià)(Y)，然后收集房子距離市中心的距離(X1)，面積(X2)，收集足夠多的房子的數(shù)據(jù)，就可以建立一個(gè)房?jī)r(jià)和距離、面積的方程式(例如Y=aX1+bX2)，這樣給出一個(gè)新的距離和面積數(shù)據(jù)，就可以預(yù)測(cè)這個(gè)房子的價(jià)格。

回歸問(wèn)題示意

5.4 關(guān)聯(lián)分析

關(guān)聯(lián)分析主要就是指”購(gòu)物籃分析“，很有名氣案例是【啤酒與尿布】的故事，”據(jù)說(shuō)“這是一個(gè)真實(shí)的案例：沃爾瑪在分析銷售記錄時(shí)，發(fā)現(xiàn)啤酒和尿布經(jīng)常一起被購(gòu)買，于是他們調(diào)整了貨架，把兩者放在一起，結(jié)果真的提升了啤酒的銷量。后來(lái)還分析背后的原因，說(shuō)是因?yàn)榘职衷诮o寶寶買尿布的時(shí)候，會(huì)順便給自己買點(diǎn)啤酒……

所以，關(guān)聯(lián)分析就是基于數(shù)據(jù)識(shí)別產(chǎn)品之間潛在的關(guān)聯(lián)，識(shí)別有可能頻繁發(fā)生的模式。

5.5 推薦系統(tǒng)

利用電子商務(wù)網(wǎng)站向客戶提供商品信息和建議，幫助用戶決定應(yīng)該購(gòu)買什么產(chǎn)品，模擬銷售人員幫助客戶完成購(gòu)買過(guò)程。也就是平時(shí)我們?cè)跒g覽電商網(wǎng)站、視頻網(wǎng)站、新聞App中的"猜你喜歡"、“其他人也購(gòu)買了XXX”等類似的功能。

5.6 數(shù)據(jù)挖掘的工作流程

數(shù)據(jù)挖掘的通用流程叫做CRISP-DM(Cross Industry Standard Process-Data Mining)數(shù)據(jù)挖掘方法論。

CRISP-DM

6.1 商業(yè)理解

商業(yè)理解階段主要完成對(duì)商業(yè)問(wèn)題的界定，以及對(duì)企業(yè)內(nèi)外部資源進(jìn)行評(píng)估與組織，最終確定將企業(yè)的商業(yè)目標(biāo)轉(zhuǎn)化為數(shù)據(jù)挖掘目標(biāo)，并制定項(xiàng)目的方案

6.2 數(shù)據(jù)理解

了解企業(yè)目前數(shù)據(jù)現(xiàn)狀，提出數(shù)據(jù)需求，并盡可能多的收集數(shù)據(jù)。通過(guò)初步的數(shù)據(jù)探索，快速了解數(shù)據(jù)的質(zhì)量

6.3 數(shù)據(jù)準(zhǔn)備

在建立數(shù)據(jù)挖掘模型之前對(duì)數(shù)據(jù)做最后的準(zhǔn)備工作，主要是把收集到的各部分數(shù)據(jù)關(guān)聯(lián)起來(lái)，形成一張最終數(shù)據(jù)寬表。這個(gè)階段其實(shí)是耗時(shí)最長(zhǎng)的階段，一般會(huì)占據(jù)整個(gè)數(shù)據(jù)挖掘項(xiàng)目的70%左右的時(shí)間，包括數(shù)據(jù)導(dǎo)入、數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)合并、新變量計(jì)算等工作。

6.4 模型構(gòu)建

模型構(gòu)建是數(shù)據(jù)挖掘工作的核心階段。主要包括準(zhǔn)備模型的訓(xùn)練集和驗(yàn)證集，選擇并使用適當(dāng)?shù)慕＜夹g(shù)和算法，模型建立，模型效果對(duì)比等工作

6.5 模型評(píng)估

模型評(píng)估主要從兩個(gè)方面進(jìn)行評(píng)價(jià)：

1)技術(shù)層面：

- 設(shè)計(jì)對(duì)照組進(jìn)行比較。

- 根據(jù)常用的模型評(píng)估指標(biāo)進(jìn)行評(píng)價(jià)，如命中率、覆蓋率、提升度等

2)業(yè)務(wù)經(jīng)驗(yàn)：業(yè)務(wù)專家憑借業(yè)務(wù)經(jīng)驗(yàn)對(duì)數(shù)據(jù)挖掘結(jié)果進(jìn)行評(píng)估

6.6 模型部署

將數(shù)據(jù)挖掘成果程序化，將模型寫成存儲(chǔ)過(guò)程固化到IT平臺(tái)上，并持續(xù)觀察模型衰退變化，在發(fā)生模型衰退時(shí)，引入新的變量進(jìn)行模型優(yōu)化。