大數(shù)據(jù)精準(zhǔn)營(yíng)銷必讀的“三步曲”及“兩誤區(qū)“

隨著云時(shí)代的來臨，大數(shù)據(jù)也吸引了越來越多的關(guān)注，大多行業(yè)都因沾染這兩個(gè)詞匯為榮。馬云也表示，在接下來的社會(huì)經(jīng)濟(jì)發(fā)展中，數(shù)據(jù)將如過去的“石油”成為一種核心資源。

其實(shí)，上面這些搜集的數(shù)據(jù)多數(shù)是無效的。在我的文章《展會(huì)大數(shù)據(jù)精準(zhǔn)營(yíng)銷，你應(yīng)該知道這些事》中，明確提要一個(gè)詞匯“大數(shù)據(jù)畫像”，考慮到未來的營(yíng)銷會(huì)是精準(zhǔn)化營(yíng)銷，搜集數(shù)據(jù)時(shí)一定要按數(shù)據(jù)的組合進(jìn)行整理，而大數(shù)據(jù)畫像很直接地告訴我們?cè)撍鸭鯓拥臄?shù)據(jù)，由于篇幅有限，此處不過多講解，更多請(qǐng)自行百度一下進(jìn)行閱讀。

大數(shù)據(jù)浪潮，洶涌來襲，與互聯(lián)網(wǎng)的誕生一樣，這絕不僅僅是信息技術(shù)領(lǐng)域的升級(jí)，更是在全球范圍企業(yè)加速創(chuàng)新、社會(huì)加速變革的利器?，F(xiàn)代關(guān)系學(xué)之父德魯克說過，預(yù)測(cè)未來最好的方法，就是去創(chuàng)造未來。而“大數(shù)據(jù)戰(zhàn)略”，在當(dāng)下及未來某節(jié)點(diǎn)上能起到“給我一個(gè)杠桿，我能翹起整個(gè)地球”的效用。

大數(shù)據(jù)的應(yīng)用離不開數(shù)據(jù)，從搜集、存儲(chǔ)、分析到預(yù)測(cè)。而關(guān)于數(shù)據(jù)的收集，許多人都會(huì)覺得無從下手，那么大數(shù)據(jù)的應(yīng)用真的那么難嗎？

今年早些時(shí)候，一項(xiàng)出自Gartner的統(tǒng)計(jì)結(jié)果引起了我的關(guān)注。該結(jié)果稱，到2018年，由于面對(duì)關(guān)于技能和整合的挑戰(zhàn)，70%的Hadoop應(yīng)用都將陷入困境。

誠(chéng)然，技能與整合是會(huì)為我們帶來挑戰(zhàn)，但現(xiàn)如今，各個(gè)服務(wù)提供商都聲稱能使大數(shù)據(jù)應(yīng)用變得更容易、更平滑，那么挑戰(zhàn)與困難會(huì)出現(xiàn)在什么環(huán)節(jié)呢？我們從大數(shù)據(jù)項(xiàng)目的上游部分入手，開始分析。

1、數(shù)據(jù)收集

對(duì)于數(shù)據(jù)收集，乍一看是一項(xiàng)艱巨的任務(wù)。因?yàn)閷?duì)于數(shù)據(jù)，不僅僅要做到全面，還要做到精準(zhǔn)。再加上大數(shù)據(jù)收集并納入數(shù)據(jù)湖泊（hub）的一系列工作，使人對(duì)大數(shù)據(jù)項(xiàng)目望洋興嘆。但是如果將數(shù)據(jù)收集問題肢解開來的話，你會(huì)發(fā)現(xiàn)實(shí)際操作難度系數(shù)降低了不少。

來自傳統(tǒng)來源的數(shù)據(jù)：我們有各種傳統(tǒng)的體系為我們作分析提供數(shù)據(jù)來源，例如會(huì)計(jì)系統(tǒng)、HR系統(tǒng)、CRM系統(tǒng)及專業(yè)的數(shù)據(jù)采集技術(shù)等等。通過現(xiàn)有的ETL技術(shù)，我們可以匯聚這些系統(tǒng)中的數(shù)據(jù)。大體上我們有兩種選擇：一種是將實(shí)體數(shù)據(jù)從數(shù)據(jù)倉(cāng)庫(kù)復(fù)制、替換到數(shù)據(jù)湖泊（hub），另一種是在結(jié)構(gòu)上搭建數(shù)據(jù)湖泊（hub）（虛擬數(shù)據(jù)倉(cāng)庫(kù)的一種變體）。

來自物聯(lián)網(wǎng)的結(jié)構(gòu)化的數(shù)據(jù)：物聯(lián)網(wǎng)中的傳感器以及其他設(shè)備產(chǎn)生的數(shù)據(jù)會(huì)使應(yīng)用變得復(fù)雜，主要原因是數(shù)據(jù)產(chǎn)生量與攝入量的及時(shí)匹配問題。不過這其中涉及的數(shù)據(jù)通常高度標(biāo)準(zhǔn)化，而且對(duì)上游數(shù)據(jù)轉(zhuǎn)換的需求量不大。

非結(jié)構(gòu)化的數(shù)據(jù)：諸如Hadoop之類的大數(shù)據(jù)平臺(tái)可以簡(jiǎn)化媒體文件以及文字?jǐn)?shù)據(jù)的收集工作。這些數(shù)據(jù)可以被簡(jiǎn)單地“傾倒”入數(shù)據(jù)湖泊(hub)而后加以利用，因?yàn)檫@些數(shù)據(jù)的存儲(chǔ)是無結(jié)構(gòu)的。

2、數(shù)據(jù)存儲(chǔ)

數(shù)據(jù)不斷增長(zhǎng)造成單機(jī)系統(tǒng)性能不斷下降，即使不斷提升硬件配置也難以跟上數(shù)據(jù)的增長(zhǎng)速度。因此，關(guān)于數(shù)據(jù)的存儲(chǔ)就發(fā)展出來數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)，具體有如下幾種：

并行數(shù)據(jù)庫(kù)

并行數(shù)據(jù)庫(kù)是指那些在無共享的體系結(jié)構(gòu)中進(jìn)行數(shù)據(jù)操作的數(shù)據(jù)庫(kù)系統(tǒng)。這些系統(tǒng)大部分采用了關(guān)系數(shù)據(jù)模型并且支持SQL語句查詢，但為了能夠并行執(zhí)行SQL的查詢操作，系統(tǒng)中采用了兩個(gè)關(guān)鍵技術(shù)：關(guān)系表的水平劃分和SQL查詢的分區(qū)執(zhí)行。

NoSQL數(shù)據(jù)管理系統(tǒng)

傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)在處理數(shù)據(jù)密集型應(yīng)用方面顯得力不從心，主要表現(xiàn)在靈活性差、擴(kuò)展性差、性能差等方面。最近出現(xiàn)的一些存儲(chǔ)系統(tǒng)摒棄了傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)的設(shè)計(jì)思想，轉(zhuǎn)而采用不同的解決方案來滿足擴(kuò)展性方面的需求。這些沒有固定數(shù)據(jù)模式并且可以水平擴(kuò)展的系統(tǒng)現(xiàn)在統(tǒng)稱為NoSQL（有些人認(rèn)為稱為NoREL更為合理），這里的NoSQL指的是“Not Only SQL”，即對(duì)關(guān)系型SQL數(shù)據(jù)系統(tǒng)的補(bǔ)充。

NewSQL數(shù)據(jù)管理系統(tǒng)

傳統(tǒng)數(shù)據(jù)庫(kù)支持ACID和SQL等特性限制了數(shù)據(jù)庫(kù)的擴(kuò)展和處理海量數(shù)據(jù)的性能，因此嘗試通過犧牲這些特性來提升對(duì)海量數(shù)據(jù)的存儲(chǔ)管理能力。這種方式取消了耗費(fèi)資源的緩沖池，在內(nèi)存中運(yùn)行整個(gè)數(shù)據(jù)庫(kù)；它還擯棄了單線程服務(wù)的鎖機(jī)制，也通過使用冗余機(jī)器來實(shí)現(xiàn)復(fù)制和故障恢復(fù)，取代原有的昂貴的恢復(fù)操作。這種可擴(kuò)展、高性能的SQL數(shù)據(jù)庫(kù)被稱為NewSQL。

得益于自身基礎(chǔ)設(shè)計(jì)理念，大數(shù)據(jù)平臺(tái)可以無限擴(kuò)展。如果大數(shù)據(jù)平臺(tái)在云端運(yùn)行維護(hù)，那么它的靈活性將更強(qiáng)，但是網(wǎng)絡(luò)也存在較大安全問題。但是我們從整個(gè)數(shù)據(jù)的應(yīng)用過程來看，至少?gòu)母拍钌现v，存儲(chǔ)數(shù)據(jù)是大數(shù)據(jù)應(yīng)用中最易于實(shí)現(xiàn)的部分。

3、數(shù)據(jù)使用（非應(yīng)用）

在數(shù)據(jù)湖泊中存儲(chǔ)了理想的數(shù)據(jù)后，我們?cè)撛趺磳⑵浼右岳媚?？?shù)據(jù)的轉(zhuǎn)換、協(xié)調(diào)、確保不同數(shù)據(jù)源之間的一致性、檢查數(shù)據(jù)的質(zhì)量，這些是大數(shù)據(jù)應(yīng)用中最難實(shí)施的部分，而且在這些方面我們可用的自動(dòng)化工具少之又少。

如果我們的需求只是基于某個(gè)單一數(shù)據(jù)源開發(fā)項(xiàng)目，或者基于一致的數(shù)據(jù)集得出報(bào)告的話，那么我們有許多集成度高的無縫化解決方案可以使用。然而想要結(jié)合多種數(shù)據(jù)源、探索利用不同屬性的數(shù)據(jù)的話，我們就不得不自行開發(fā)。

4、大數(shù)據(jù)的兩個(gè)誤區(qū)

大數(shù)據(jù)“萬能”

個(gè)人認(rèn)為，目前大多企業(yè)不具備數(shù)據(jù)應(yīng)用的能力，因?yàn)榇髷?shù)據(jù)之間存在相關(guān)性。“一句話，即便在大數(shù)據(jù)時(shí)代，種種‘黑天鵝’事件也仍然是沒有辦法被準(zhǔn)確預(yù)測(cè)到的。因?yàn)樗懈鶕?jù)過去的理論數(shù)據(jù)模型進(jìn)行的假設(shè)都無法準(zhǔn)確推演未來，它們不過是為了未來某個(gè)黑天鵝做著準(zhǔn)備?！?/span>

大數(shù)據(jù)涉及海量非相關(guān)數(shù)據(jù)的相關(guān)性的統(tǒng)計(jì)，其相關(guān)性的存在基礎(chǔ)又是什么呢？非相關(guān)數(shù)據(jù)，很多時(shí)候兩者的相關(guān)性是真相關(guān)，也可能是偽相關(guān)。需要注意，這種相關(guān)性要成為可推演的行為邏輯，首要前提就是確保這種相關(guān)性的基礎(chǔ)是恒定不變的。  

因此，我們要注意和警惕的是，大數(shù)據(jù)并非是一個(gè)萬能的事物，它的缺陷在于立足于統(tǒng)計(jì)學(xué)基礎(chǔ)之上，必然是會(huì)因?yàn)榻y(tǒng)計(jì)樣本的變化而發(fā)生變化的。過去決定未來，是無法反映出時(shí)代進(jìn)步和調(diào)整的可能性的。過去所做的推斷，永遠(yuǎn)只代表了過去那個(gè)階段為止的最高極限，本身是不會(huì)自我演化和發(fā)展的。

大數(shù)據(jù)之“大”

人們往往犯這樣的錯(cuò)誤，認(rèn)為大數(shù)據(jù)越大越好。事實(shí)是數(shù)據(jù)并非越大越好，有價(jià)值的分析工具是幫助客戶從海量的大數(shù)據(jù)找出真正可用于決策的數(shù)據(jù)，這些有價(jià)值的數(shù)據(jù)就是‘小數(shù)據(jù)’?！睋Q言之，“小數(shù)據(jù)”是針對(duì)客戶的特定需求概括、提煉出的數(shù)據(jù)。