大數(shù)據(jù)的核心：數(shù)據(jù)挖掘

大數(shù)據(jù)的核心：數(shù)據(jù)挖掘。從頭至尾我們都脫離不了數(shù)據(jù)挖掘。其實(shí)從大學(xué)到現(xiàn)在一直都接觸數(shù)據(jù)挖掘，但是我們不關(guān)心是什么是數(shù)據(jù)挖掘，我們關(guān)心的是我們?nèi)绾瓮ㄟ^數(shù)據(jù)挖掘過程中找到我們需要的東西，而我們更關(guān)心的是這個(gè)過程是什么？如何開始？

總結(jié)的過程也是一個(gè)學(xué)習(xí)的過程，通過有章節(jié)的整理對(duì)目前正在的學(xué)習(xí)的內(nèi)容做規(guī)整。在這個(gè)過程中我們會(huì)從具體的項(xiàng)目實(shí)施中去談數(shù)據(jù)挖掘，中間會(huì)貫穿很多的概念，算法，業(yè)務(wù)轉(zhuǎn)換，過程，建模等等。

我們列一下要談?wù)摰脑掝}：

1、什么是數(shù)據(jù)挖掘及為什么要進(jìn)行數(shù)據(jù)挖掘？

2、數(shù)據(jù)挖掘在營(yíng)銷和CRM中的應(yīng)用？

3、數(shù)據(jù)挖掘的過程

4、你應(yīng)理解的統(tǒng)計(jì)學(xué)

5、數(shù)據(jù)描述與預(yù)測(cè)：剖析與預(yù)測(cè)建模

6、經(jīng)典的數(shù)據(jù)挖掘技術(shù)

7、各類算法

8、數(shù)據(jù)倉(cāng)庫(kù)、OLAP、分析沙箱和數(shù)據(jù)挖掘

9、具體的案例分析

什么是數(shù)據(jù)挖掘？

是知識(shí)發(fā)現(xiàn)、商業(yè)智能、預(yù)測(cè)分析還是預(yù)測(cè)建模。其實(shí)都可以歸為一類：數(shù)據(jù)挖掘是一項(xiàng)探測(cè)大量數(shù)據(jù)以發(fā)現(xiàn)有意義的模式（pattern）和規(guī)則（rule）的業(yè)務(wù)流程。

這里談到了發(fā)現(xiàn)模式與規(guī)則，其實(shí)就是一項(xiàng)業(yè)務(wù)流程，為業(yè)務(wù)服務(wù)。而我們要做就是讓業(yè)務(wù)做起來顯得更簡(jiǎn)單，或直接幫助客戶如何提升業(yè)務(wù)。在大量的數(shù)據(jù)中找到有意義的模式和規(guī)則。在大量數(shù)據(jù)面前，數(shù)據(jù)的獲得不再是一個(gè)障礙，而是一個(gè)優(yōu)勢(shì)。在現(xiàn)在很多的技術(shù)在大數(shù)據(jù)集上比在小數(shù)據(jù)集上的表現(xiàn)得更好——你可以用數(shù)據(jù)產(chǎn)生智慧，也可以用計(jì)算機(jī)來完成其最擅長(zhǎng)的工作：提出問題并解決問題。模式和規(guī)則的定義：就是發(fā)現(xiàn)對(duì)業(yè)務(wù)有益的模式或規(guī)則。發(fā)現(xiàn)模式就意味著把保留活動(dòng)的目標(biāo)定位為最有可能流失的客戶。這就意味著優(yōu)化客戶獲取資源，既考慮客戶數(shù)量上的短期效益，同時(shí)也考慮客戶價(jià)值的中期和長(zhǎng)期收益。

而在上面的過程，最重要的一點(diǎn)就是：如何通過數(shù)據(jù)挖掘技術(shù)來維護(hù)與客戶之間的關(guān)系，這就是客戶關(guān)系管理，CRM。

專注于數(shù)據(jù)挖掘在營(yíng)銷和客戶關(guān)系管理方面的應(yīng)用——例如，為交叉銷售和向上銷售改進(jìn)推薦，預(yù)測(cè)未來的用戶級(jí)別，建模客戶生存價(jià)值，根據(jù)用戶行為對(duì)客戶進(jìn)行劃分，為訪問網(wǎng)站的客戶選擇最佳登錄頁面，確定適合列入營(yíng)銷活動(dòng)的候選者，以及預(yù)測(cè)哪些客戶處于停止使用軟件包、服務(wù)或藥物治療的風(fēng)險(xiǎn)中。

兩種關(guān)鍵技術(shù)：生存分析、統(tǒng)計(jì)算法。在加上文本挖掘和主成分分析。

經(jīng)營(yíng)有方的小店自然地形成與客戶之間的學(xué)習(xí)關(guān)系。隨著時(shí)間的推移，他們對(duì)客戶的了解也會(huì)越來越多，從而可以利用這些知識(shí)為他們提供更好的服務(wù)。結(jié)果是：忠實(shí)的顧客和盈利的商店。

但是擁有數(shù)十萬或數(shù)百萬客戶的大公司，則不能奢望與每個(gè)客戶形成密切的私人關(guān)系。面臨這樣困境，他們必須要面對(duì)的是，學(xué)會(huì)充分利用所擁有的大量信息——幾乎是每次與客戶交互產(chǎn)生的數(shù)據(jù)。這就是如何將客戶數(shù)據(jù)轉(zhuǎn)換成客戶知識(shí)的分析技術(shù)。

數(shù)據(jù)挖掘是一項(xiàng)與業(yè)務(wù)流程交互的業(yè)務(wù)流程。數(shù)據(jù)挖掘以數(shù)據(jù)作為開始，通過分析來啟動(dòng)或激勵(lì)行為，這些行為反過來又將創(chuàng)建更多需要數(shù)據(jù)挖掘的數(shù)據(jù)。

因此，對(duì)于那些充分利用數(shù)據(jù)來改善業(yè)務(wù)的公司來說，不應(yīng)僅僅把數(shù)據(jù)挖掘看作是細(xì)枝末節(jié)。

相反，在業(yè)務(wù)策略上必須包含：1、數(shù)據(jù)收集。2、為長(zhǎng)期利益分析數(shù)據(jù)。3、針對(duì)分析結(jié)果做出分析。

CRM（客戶關(guān)系管理系統(tǒng)）。在各行各業(yè)中，高瞻遠(yuǎn)矚的公司的目標(biāo)都是理解每個(gè)客戶，并通過利用這種理解，使得客戶與他們做生意更加容易。同樣要學(xué)習(xí)分析每個(gè)客戶的價(jià)值，清楚哪些客戶值得投資和努力來保留，哪些準(zhǔn)許流失。把一個(gè)產(chǎn)品為中心的企業(yè)轉(zhuǎn)變成以客戶為中心的企業(yè)的代價(jià)超過了數(shù)據(jù)挖掘。假設(shè)數(shù)據(jù)挖掘的結(jié)果是像一個(gè)用戶推薦一個(gè)小首飾而不是一個(gè)小發(fā)明，但是如果經(jīng)理的獎(jiǎng)金取決于小發(fā)明的季度銷售量而不是小首飾的銷售量（即便后者更為有利可圖或者收獲長(zhǎng)期盈利更多的客戶），那么數(shù)據(jù)挖掘的結(jié)果就會(huì)被忽視，這就導(dǎo)致挖掘結(jié)果不能產(chǎn)生決策。