擁抱大數(shù)據(jù)：大數(shù)據(jù)的概念及使用場景

近幾年，大數(shù)據(jù)這個概念已經(jīng)被炒的甚囂塵上。似乎大數(shù)據(jù)是一個無比高深的話題，碰巧，筆者在大學(xué)的研究方向就是和大數(shù)據(jù)相關(guān)的人工智能，而且也有很多朋友是在大型視頻網(wǎng)站團(tuán)購網(wǎng)站等互聯(lián)網(wǎng)公司從事大數(shù)據(jù)相關(guān)工作，所以在這里就給大家介紹一下大數(shù)據(jù)的概念。當(dāng)然，我們不會去解釋大數(shù)據(jù)相關(guān)技術(shù)(CF協(xié)同濾波，MapReduce，DeepLearning等等)，畢竟讀者們不太可能會去自己編寫大數(shù)據(jù)的程序。我們只從應(yīng)用角度，給大家講講大數(shù)據(jù)的概念以及應(yīng)用方式。希望大家看完這一章后，可以知道，在自己的領(lǐng)域，可以怎樣用大數(shù)據(jù)的理念和方法，來提高效率。

　　大數(shù)據(jù)是什么?

雖然大數(shù)據(jù)聽著是一個很高科技的詞兒，其實(shí)它早就滲透到你我的生活中，比如，你每天在網(wǎng)上看視頻時，視頻網(wǎng)站推薦給你的視頻就是基于大數(shù)據(jù)。當(dāng)你在淘寶購物時，網(wǎng)頁邊欄推薦給你的也是基于大數(shù)據(jù)。要說明白大數(shù)據(jù)，首先我們要從一個大家都熟悉的簡單概念說起，那就是：數(shù)據(jù)分析?！皵?shù)據(jù)分析”是一個現(xiàn)代詞匯，但是利用數(shù)據(jù)分析的結(jié)果來指導(dǎo)行動，卻是古往今來一直都有的一個理念。網(wǎng)上有一段子：

林彪帶兵打仗的時候，有個特別的習(xí)慣，那就是每次戰(zhàn)斗結(jié)束后，都要用小本子記下所繳獲的武器種類、數(shù)量等數(shù)據(jù)，樂此不疲。大家對此都不以為意。

有一天，在又一次遭遇戰(zhàn)后，士兵在給他念繳獲的武器數(shù)量時，他突然叫停，然后興奮地指出，這次遭遇戰(zhàn)很可能遇到的是敵人的指揮部隊(duì)。原因是，這次繳獲的小槍與大槍的比例高于普通的戰(zhàn)斗，小車與大車的比例以及軍官與士兵的比例也都高于平均，因此他得到了這個結(jié)論。

在這個數(shù)據(jù)的指導(dǎo)下，部隊(duì)一鼓作氣，追擊逃脫的部隊(duì)，成功的把敵人的指揮官抓獲。如果這個故事屬實(shí)，那么這個可能是筆者知道的最早的基于嚴(yán)謹(jǐn)?shù)臄?shù)據(jù)分析來指導(dǎo)行為的例子。進(jìn)入現(xiàn)代以后，人們對數(shù)據(jù)的分析應(yīng)用就更加頻繁。企業(yè)在做戰(zhàn)略規(guī)劃的時候要進(jìn)行數(shù)據(jù)分析，公司在做營銷推廣方案時也要做數(shù)據(jù)分析。那么，“大數(shù)據(jù)”和前面說的“數(shù)據(jù)分析”之間有什么關(guān)系和區(qū)別呢?

　　從粗獷到細(xì)致

我們知道，數(shù)據(jù)分析需要有幾個步驟：采集、統(tǒng)計、分析，而數(shù)據(jù)的總量直接和采集相關(guān)。在互聯(lián)網(wǎng)興起之前，人們采集數(shù)據(jù)的方式無外乎是人為觀察和記錄，當(dāng)然，后期也有利用傳感器來輔助記錄。但是，互聯(lián)網(wǎng)技術(shù)近幾年的發(fā)展，卻使得數(shù)據(jù)的采集水平記錄達(dá)到一個史無前例的高度。在互聯(lián)網(wǎng)時代之前，人們只能統(tǒng)計到一些基礎(chǔ)的用戶信息：年齡，住址，電話，婚姻狀況等。到了互聯(lián)網(wǎng)時代，我們可以收集到一個用戶手機(jī)上裝有什么應(yīng)用，喜歡上什么網(wǎng)站，購物記錄，在某個頁面上停留了多久，鼠標(biāo)在頁面什么位置點(diǎn)擊。而移動互聯(lián)網(wǎng)時代的來臨，使得更多動態(tài)數(shù)據(jù)可以被采集，比如用戶的睡眠時間、運(yùn)動量、位置、在商場內(nèi)的移動路線、打車次數(shù)、心率等等信息。這些數(shù)據(jù)最終匯聚在一起，形成了一個非常龐大的數(shù)據(jù)庫。

以林彪帶兵打仗為例，假設(shè)他的小本子有500頁，每頁上記滿1000個字，正反兩面都寫，那么總的數(shù)據(jù)量也就約=2M。這個和互聯(lián)網(wǎng)時代動輒上T上P的數(shù)據(jù)量比，基本上是小巫見大巫。(1P約=1000T，1T約=1000G，1G約=1000M，一個大型視頻網(wǎng)站1秒鐘就能產(chǎn)生幾百M(fèi)的用戶數(shù)據(jù))。這些數(shù)據(jù)海量數(shù)據(jù)的集中，就形成了“大數(shù)據(jù)”的最重要的一個特征：多維度的、細(xì)致的、海量的數(shù)據(jù)。

注：“海量”并不是大數(shù)據(jù)的必要條件，它更多是因?yàn)閿?shù)據(jù)的維度多，粒度細(xì)，而導(dǎo)致的數(shù)據(jù)量的增大。

　從統(tǒng)計到預(yù)測

得益于先進(jìn)的機(jī)器學(xué)習(xí)算法，使得我們對大數(shù)據(jù)的使用，從統(tǒng)計一個數(shù)據(jù)結(jié)果，到利用結(jié)果和特性來推斷一個人可能進(jìn)行的行為。

《BigData》一書中提到一個很有意思的例子：一個父親突然收到一個百貨公司發(fā)給他的關(guān)于嬰兒用品的傳單，這個父親非常憤怒，因?yàn)樗呐畠翰胖挥?6歲?但是，過了幾天后，他卻上門道歉，因?yàn)?，?jīng)過和他女兒細(xì)聊，發(fā)現(xiàn)他的女兒確實(shí)懷孕了。那么，百貨公司是如何預(yù)測一個人的行為呢?像上文所說，通過互聯(lián)網(wǎng)，我們可以采集到大量用戶的種種信息，包括固定的屬性，和一些已有的行為;比如最近買了什么。經(jīng)過對采集到的數(shù)據(jù)分析，發(fā)現(xiàn)購買嬰兒用品的人有如下特征：年齡范圍在14～40、買嬰兒用品前幾個月購買大量酸味食品，等等等等。那么，得到這個結(jié)論后，再來一個有類似特點(diǎn)的顧客，百貨公司就可以猜測，她可能在未來一段時期內(nèi)，對嬰兒用品感興趣。于是便向其發(fā)送對應(yīng)的廣告。

再比如，智能推薦廣告：視頻網(wǎng)站經(jīng)過統(tǒng)計發(fā)現(xiàn)，點(diǎn)擊了啤酒廣告的人，有如下特點(diǎn)：看體育類戰(zhàn)爭類視頻較多，看韓劇較少。那么很顯然，下次再有啤酒廣告時，把它們投給這樣的用戶就更有效一些。

注：上面舉的這兩個例子，只是為了形象的說明大數(shù)據(jù)預(yù)測是怎樣運(yùn)作的。在實(shí)際應(yīng)用中，大數(shù)據(jù)分析引擎要分析的屬性比這個細(xì)致的多，使用到的算法也比這個復(fù)雜的多，而且得到的很多結(jié)論，往往是沒有直觀的物理意義的一個組合概率模型。

　從慢到快

上述兩個特點(diǎn)基本上已經(jīng)把大數(shù)據(jù)的形態(tài)給刻畫了出來，但是，要到實(shí)際中應(yīng)用，還需要再加一個特點(diǎn)：速度夠快。

數(shù)據(jù)收集起來之后，要使用的話，就離不開計算。當(dāng)數(shù)據(jù)的量級在幾個M時，可能一個計算器就能滿足統(tǒng)計需求。當(dāng)數(shù)據(jù)量達(dá)到幾個G時，就必須使用一臺計算機(jī)來計算。而當(dāng)有幾個T幾個P的數(shù)據(jù)擺在你面前時，一臺計算機(jī)恐怕已經(jīng)難以勝任，很幸運(yùn)的是，我們有了云計算的概念。也就是說，將一個計算任務(wù)，分配給”云端“的好多臺計算機(jī)同時進(jìn)行處理，從而達(dá)到對處理時間的苛刻要求。

云計算技術(shù)的發(fā)展，使得在大尺度上計算海量數(shù)據(jù)成為可能。如果沒有足夠快的處理速度，我們收集起來的用戶消費(fèi)數(shù)據(jù)，算了半年才出一個結(jié)果，那估計用戶的消費(fèi)習(xí)慣、社會時尚已經(jīng)是時過境遷。除了處理速度快，還有一個因素也要快，那就是信息采集反饋的速度。比如，用戶電話打進(jìn)來的瞬間，我們是否立刻收集到該用戶相關(guān)信息，然后給出用戶可能的問題預(yù)測?產(chǎn)品投放出去后，我們是否可以很快收集到銷量信息以及對應(yīng)的用戶數(shù)據(jù)?這一切，都決定了我們是否可以有效地將大數(shù)據(jù)的統(tǒng)計結(jié)果應(yīng)用到商業(yè)活動中，最終使大數(shù)據(jù)從理論的圣壇上走下來，產(chǎn)生了實(shí)際的商業(yè)價值。綜上所述，大數(shù)據(jù)并不是玄乎其玄的東西，它只是在幾種現(xiàn)代技術(shù)的推動下，將數(shù)據(jù)分析做到了極致的結(jié)果。

　大數(shù)據(jù)的應(yīng)用場景

大數(shù)據(jù)誕生以來，在各個領(lǐng)域都有非常多的應(yīng)用，比如改善航線、預(yù)測污染、優(yōu)化醫(yī)療等等。這里，我們把應(yīng)用方式分成兩大類，分別介紹一下。

精準(zhǔn)的廣告投放

我們知道廣告界的一個難題“如何找到對的那一半人”。而大數(shù)據(jù)正是可以用來更加精準(zhǔn)的定位廣告的目標(biāo)用戶。廣告投放包括第三方廣告渠道和自有廣告渠道兩種：

第三方廣告渠道由于是第三方操作的，所以對于廣告主來說只能去選擇合適的渠道種類。第三方渠道總體上可以分為兩大類：互聯(lián)網(wǎng)廣告渠道(視頻網(wǎng)站、門戶網(wǎng)站、廣告聯(lián)盟等)和非互聯(lián)網(wǎng)廣告渠道(戶外廣告、樓宇廣告、電視廣告等)。目前，互聯(lián)網(wǎng)廣告已經(jīng)在大數(shù)據(jù)精準(zhǔn)投放上走的比較遠(yuǎn)，比如前面說的視頻網(wǎng)站根據(jù)用戶點(diǎn)播行為，來投放合適的廣告類型。所以，在這樣的渠道上投放廣告時，只需要廣告主能和渠道方合作定義好自己的用戶群，便可以將廣告投放的比較精準(zhǔn)。

非互聯(lián)網(wǎng)廣告渠道，因?yàn)闆]有特別有效的用戶細(xì)分手段(廣告只能投放到人群，而非個人)，投放形式本身就限制了其精準(zhǔn)的效果。對此，未來的一個出路就是，各種路牌廣能采集到附近用戶的信息，來動態(tài)調(diào)整廣告內(nèi)容。

比如，每個廣告牌都有一個iBeacon設(shè)備，會和打開iBeacon連接的手機(jī)產(chǎn)生互動，根據(jù)手機(jī)信息，反查到用戶的性別，從而決定顯示什么廣告。而對于自有廣告渠道來說，我們可以操作的空間就比較大。拿短息渠道為例，很多公司都會通過手機(jī)短信，給用戶發(fā)送最新的促銷信息，但是，以往這種信息通常是全量發(fā)送，或者是根據(jù)一定的可視化的分類(例如，信用卡的消費(fèi)額度)來分類發(fā)送促銷信息。而我們有了大數(shù)據(jù)的武器后，就可以對用戶群進(jìn)行進(jìn)一步細(xì)分，甚至是1對1的發(fā)送。比如，信用卡公司可以根據(jù)用戶的刷卡的頻次、場所、購物內(nèi)容、還款的及時性、消費(fèi)時段等等來作為分析因素，來預(yù)測用戶對什么樣的商品感興趣，從而發(fā)送相應(yīng)的商品廣告。再比如，化妝品公司，可以根據(jù)用戶的年齡、工作內(nèi)容、作息習(xí)慣、娛樂場所、季節(jié)、婚育狀況、衣著習(xí)慣、朋友圈話題等等，來預(yù)測她可能更關(guān)心什么樣的皮膚護(hù)理問題，從而推薦對應(yīng)的化妝品門類。通過對多維度、細(xì)致的信息分析，使得廣告推送更有針對性

　個性化的用戶服務(wù)定制

個性化服務(wù)要解決的問題是，不同用戶服務(wù)內(nèi)容和定價的個性化。以我們熟知的車險為例，目前的定價方式，只是簡單的根據(jù)用戶的年齡、駕齡、婚姻狀況、車價和以往的車險理賠記錄等顯式的屬性來進(jìn)行區(qū)分，而在大數(shù)據(jù)時代，則可以把這種區(qū)分做到極致的個性化。比如，我們可以統(tǒng)計用戶的駕駛習(xí)慣(駕駛時間，單次駕駛時長)、駕駛環(huán)境(常去路線的交通狀況、總體事故率、季節(jié)天氣)、身體狀況(生病頻率等)，來更加針對性的對用戶的理賠概率進(jìn)行估計，從而得到更加合理的投保額度。再比如，對于培訓(xùn)機(jī)構(gòu)來說，可以分析特定屬性的用戶(年齡、性別、各種成績等)，對特定類型的授課方式或者授課內(nèi)容的成績反應(yīng)，來有針對性的進(jìn)行課業(yè)的搭配，從而使每個用戶的成績達(dá)到最大化。同樣，醫(yī)學(xué)領(lǐng)域，也可以利用大數(shù)據(jù)來進(jìn)行個性化疾病預(yù)防和治療。智能穿戴設(shè)備為這一切打下了堅實(shí)的基礎(chǔ)：

手環(huán)，監(jiān)測你的運(yùn)動量、心跳變化

智能血壓儀，每天監(jiān)測血壓

體重秤，每天體重變化

空氣凈化器，監(jiān)測環(huán)境的污染情況

上網(wǎng)習(xí)慣，檢測你的作息時間

訂餐記錄，檢測你的飲食情況

如果以后有了更方便的血液檢測手段，每天能獲得血液檢測記錄，那將是更有效的數(shù)據(jù)

這些數(shù)據(jù)分散開的話，最多只會影響對人們的生活習(xí)慣，比如，體重重了，要少吃多運(yùn)動。但是一旦數(shù)據(jù)全都被打通，結(jié)合大數(shù)據(jù)分析技術(shù)，就可以預(yù)測出每個人的疾病發(fā)病概率。對每個人治療時，也可以在藥物和用量上變得更加有針對性。

　機(jī)遇與挑戰(zhàn)

大數(shù)據(jù)應(yīng)用在國外已經(jīng)興起很長時間，但是在國內(nèi)，卻是剛剛起步階段。一方面是國內(nèi)對數(shù)據(jù)收集的管控比較嚴(yán)，導(dǎo)致數(shù)據(jù)基礎(chǔ)設(shè)施沒有跟上。而更重要的，還是人們對大數(shù)據(jù)的理念還沒有完全吃透，大部分大數(shù)據(jù)應(yīng)用的思想，只為專業(yè)的大數(shù)據(jù)工程師所掌握。而就在我們還沒有準(zhǔn)備迎接傳統(tǒng)互聯(lián)網(wǎng)大數(shù)據(jù)的潮流時，近幾年，移動互聯(lián)網(wǎng)有了勢如破竹的發(fā)展。大部分公司，移動端業(yè)務(wù)，都已經(jīng)超過了PC網(wǎng)站，這給大數(shù)據(jù)帶來了新的機(jī)遇與挑戰(zhàn)：

更豐富即時的信息

更快的處理速度要求

(隨著種種O2O連接技術(shù)的發(fā)展，使得商家能夠更方便的觸摸到附近的用戶，而因?yàn)橛脩舻囊苿有?，需要商家能夠在用戶?jīng)過線下店的短暫時間內(nèi)作出響應(yīng))如果廣大產(chǎn)品設(shè)計者，能夠充分掌握大數(shù)據(jù)思想，在設(shè)計產(chǎn)品時，打通數(shù)據(jù)之間的壁壘，將海量數(shù)據(jù)同服務(wù)更加有效的連接起來，相信各個行業(yè)都會迎來一片更廣闊的天地。