從業(yè)者們自己是如何理解大數(shù)據(jù)分析的呢

我談?wù)剬?duì)大數(shù)據(jù)分析的理解，這要從什么是大數(shù)據(jù)講起。

因?yàn)閺氖逻@一方向，經(jīng)常會(huì)有人問(wèn)我什么是大數(shù)據(jù)？我一直都回答不好。在最近的幾個(gè)月，我對(duì)這一概念思考的更多一些，結(jié)合看過(guò)的一些書籍（如《大數(shù)據(jù)時(shí)代》、《數(shù)學(xué)之美》第二版等）和實(shí)際的經(jīng)歷，算是有了一些認(rèn)識(shí)，今天我就從大數(shù)據(jù)的概念開(kāi)始講起，試圖給大家講清楚什么是大數(shù)據(jù)分析。

首先，我來(lái)談?wù)勎覍?duì)大數(shù)據(jù)的理解，分為大數(shù)據(jù)概念和大數(shù)據(jù)思維。

我把大數(shù)據(jù)的概念總結(jié)為四個(gè)字：大、全、細(xì)、時(shí)。

我們先來(lái)看一組數(shù)據(jù)：

百度每天采集的用戶行為數(shù)據(jù)有1.5PB以上

全國(guó)各地級(jí)市今天的蘋果價(jià)格數(shù)據(jù)有2MB

1998年Google抓取的互聯(lián)網(wǎng)頁(yè)面共有47GB（壓縮后）

一臺(tái)風(fēng)力發(fā)電機(jī)每天產(chǎn)生的振動(dòng)數(shù)據(jù)有50GB

百度每天的行為數(shù)據(jù)1.5個(gè)PB夠大吧？我們毫無(wú)懷疑這是大數(shù)據(jù)。但全國(guó)各個(gè)地級(jí)市今天的蘋果價(jià)格只有2MB大小，是典型的小數(shù)據(jù)吧？但如果我們基于這個(gè)數(shù)據(jù)，做一個(gè)蘋果分銷的智能調(diào)度系統(tǒng)，這就是個(gè)牛逼的大數(shù)據(jù)應(yīng)用了。Google在剛成立的時(shí)候，佩奇和布林下載了整個(gè)互聯(lián)網(wǎng)的頁(yè)面，在壓縮后也就47GB大小，現(xiàn)在一個(gè)U盤都能裝的下，但Google搜索顯然是個(gè)大數(shù)據(jù)的應(yīng)用。如果再來(lái)看一臺(tái)風(fēng)機(jī)每天的振動(dòng)數(shù)據(jù)可能都有50GB，但這個(gè)數(shù)據(jù)只是針對(duì)這一臺(tái)風(fēng)機(jī)的，并不能從覆蓋面上，起到多大的作用，這我認(rèn)為不能叫大數(shù)據(jù)。

這里就是在強(qiáng)調(diào)大，是Big不是Large，我們強(qiáng)調(diào)的是抽象意義的大。

我們?cè)賮?lái)看關(guān)于美國(guó)大選的三次事件：

1936年《文學(xué)文摘》收集了240萬(wàn)份調(diào)查問(wèn)卷，預(yù)測(cè)錯(cuò)誤

新聞學(xué)教授蓋洛普只收集了5萬(wàn)人的意見(jiàn)，預(yù)測(cè)羅斯福連任正確

2012年Nate Silver通過(guò)互聯(lián)網(wǎng)采集社交、新聞數(shù)據(jù)，預(yù)測(cè)大選結(jié)果

《文學(xué)文摘》所收集的問(wèn)卷有240萬(wàn)，絕對(duì)是夠大的，但為什么預(yù)測(cè)錯(cuò)誤了呢？當(dāng)時(shí)《文學(xué)文摘》是通過(guò)電話調(diào)查的，能夠裝電話的就是一類富人，這類人本身就有不同的政治傾向，調(diào)查的結(jié)果本身就是偏的。而蓋洛普只收集了5萬(wàn)人的意見(jiàn)，但是他采用按照社會(huì)人群按照比例抽樣，然后匯集總體結(jié)果，反而預(yù)測(cè)正確了。因?yàn)檫@次預(yù)測(cè)，蓋洛普一炮而紅，現(xiàn)在成了一個(gè)著名的調(diào)研公司。當(dāng)然，后來(lái)蓋洛普也有預(yù)測(cè)失敗的時(shí)候。到了2012年，一個(gè)名不見(jiàn)經(jīng)傳的人物Nate Silver通過(guò)采集網(wǎng)上的社交、新聞數(shù)據(jù)，這是他預(yù)測(cè)的情況和真實(shí)的情況：

兩者是驚人的接近的。

從這點(diǎn)我是想強(qiáng)調(diào)要全量而不是抽樣，大數(shù)據(jù)時(shí)代有了更好的數(shù)據(jù)采集手段，讓獲取全量數(shù)據(jù)成為可能。

在2013年9月，百度知道發(fā)布了一份《中國(guó)十大吃貨省市排行榜》，在關(guān)于“××能吃嗎？”的問(wèn)題中，寧夏網(wǎng)友最關(guān)心“螃蟹能吃嗎？”內(nèi)蒙古、新疆和西藏的人最關(guān)心“蘑菇能吃嗎？”浙江、廣東、福建、四川等地網(wǎng)友問(wèn)得最多的是“××蟲能吃嗎？”而江蘇以及上海、北京等地則最愛(ài)問(wèn)“××的皮能不能吃？”。下圖是全國(guó)各地關(guān)心的食物：

用戶在問(wèn)什么能吃嗎的時(shí)候，并不會(huì)說(shuō)“我來(lái)自寧夏，我想知道螃蟹能吃嗎”，而是會(huì)問(wèn)“螃蟹能吃嗎”，但是服務(wù)器采集到了用戶的IP地址，而通過(guò)IP地址就能知道他所在的省份。這就是數(shù)據(jù)多維度的威力，如果沒(méi)有IP這個(gè)維度，這個(gè)分析就不好辦了。而現(xiàn)有的采集手段，能夠讓我們從多個(gè)維度獲取數(shù)據(jù)，再進(jìn)行后續(xù)分析的時(shí)候，就能對(duì)這些維度加以利用，就是“細(xì)”。

我們現(xiàn)在對(duì)CPI已經(jīng)不再陌生，是居民消費(fèi)價(jià)格指數(shù)（consumer price index）的簡(jiǎn)稱。我們努力工作，起碼要跑過(guò)CPI。

那你有了解過(guò)CPI是怎么統(tǒng)計(jì)的嗎？這里包括兩個(gè)階段，一個(gè)是收集商品價(jià)格數(shù)據(jù)，一個(gè)是分析并發(fā)布數(shù)據(jù)。我從百度百科上了解到，中國(guó)CPI采樣500多個(gè)市縣，采價(jià)調(diào)查點(diǎn)6.3萬(wàn)個(gè)，近4000名采價(jià)員，次月中旬發(fā)布報(bào)告。我還曾找國(guó)家統(tǒng)計(jì)局的朋友確認(rèn)了這個(gè)事情。

而在美國(guó)有一家創(chuàng)業(yè)公司叫Premise Data。它通過(guò)眾包方式，25000個(gè)采價(jià)員（學(xué)生、收銀員、司機(jī)等），使用手機(jī)APP采集數(shù)據(jù)，每條6~40美分，比美國(guó)政府?dāng)?shù)據(jù)提前4~6周發(fā)布。

這就是“時(shí)”，強(qiáng)調(diào)實(shí)時(shí)收集數(shù)據(jù)和實(shí)時(shí)分析數(shù)據(jù)。當(dāng)然，在CPI的例子中，我們可以讓價(jià)格上報(bào)更智能一些，不需要人工的方式。

從上面的大、全、細(xì)、時(shí)四個(gè)字，我們就可以對(duì)大數(shù)據(jù)的概念有個(gè)較為清晰的認(rèn)識(shí)。這四點(diǎn)主要強(qiáng)調(diào)的數(shù)據(jù)的獲取和規(guī)模上，和以往傳統(tǒng)數(shù)據(jù)時(shí)代的差異。有了這個(gè)基礎(chǔ)，我們還要看怎么對(duì)大數(shù)據(jù)加以利用。這里就要看看大數(shù)據(jù)思維。我們也來(lái)看兩個(gè)例子。

85前應(yīng)該都用過(guò)智能ABC，一種古老的輸入法，打起來(lái)特別慢。到了2002年左右，出了一個(gè)叫紫光的輸入法，當(dāng)時(shí)我就震驚了。真的輸入很快，仿佛你的按鍵還沒(méi)按下去，字就已經(jīng)跳出來(lái)了。但漸漸的發(fā)現(xiàn)紫光拼音有個(gè)問(wèn)題是許多新的詞匯它沒(méi)有。后來(lái)有了搜狗輸入法，直接基于搜索的用戶搜索記錄，去抽取新的詞庫(kù)，準(zhǔn)實(shí)時(shí)的更新用戶本地的詞庫(kù)數(shù)據(jù)，因?yàn)橛辛舜罅康妮斎霐?shù)據(jù)，就能直接識(shí)別出最可能的組合。

我們以前都用紙質(zhì)的地圖，每年還要買新的，舊的地址可能會(huì)過(guò)時(shí)，看著地圖你絕對(duì)不知道哪里堵車。但有了百度地圖就不一樣了，我們上面搜索的地址都是及時(shí)更新的，雖然偶爾也會(huì)有被帶到溝里的情況，但畢竟是少數(shù)?？梢詫?shí)時(shí)的看到路面堵車情況，并且可以規(guī)劃防擁堵路線。

我們想想這種做事方式和以前有和不同？

我們發(fā)現(xiàn)不是在拍腦袋做決定了，不是通過(guò)因果關(guān)系或者規(guī)則來(lái)決定該怎么辦了，而是直接通過(guò)數(shù)據(jù)要答案。我們獲取的數(shù)據(jù)越全面，越能消除更多的不確定性。也就是用數(shù)據(jù)說(shuō)話，數(shù)據(jù)驅(qū)動(dòng)。

在百度文化的29條中，我第二認(rèn)可的一條就是“用數(shù)據(jù)說(shuō)話”，數(shù)據(jù)有時(shí)候也會(huì)欺騙人，但大部分時(shí)候它還是客觀冷靜的，不帶有感情色彩。據(jù)說(shuō)在硅谷用數(shù)據(jù)說(shuō)話都是一種很自然的工作習(xí)慣，但你放眼望去你周圍，你會(huì)發(fā)現(xiàn)許多沒(méi)有數(shù)據(jù)的例子，拍腦袋的，拼嗓門的，拼關(guān)系的，拼職位的，這一點(diǎn)都不科學(xué)。

那我們?cè)賮?lái)看看互聯(lián)網(wǎng)領(lǐng)域的數(shù)據(jù)驅(qū)動(dòng)。許多公司的情況是這樣的：

不管是運(yùn)營(yíng)、產(chǎn)品、市場(chǎng)、老板，都通過(guò)數(shù)據(jù)工程師老王獲取數(shù)據(jù)，老王忙的痛不欲生。但數(shù)據(jù)需求方都對(duì)數(shù)據(jù)獲取的速度很不滿意，有的等不及，還是決定拍腦袋了。這樣極大的阻礙的迭代的速度。

還有的公司情況是這樣的：

對(duì)老板來(lái)說(shuō)，有個(gè)儀表盤還不錯(cuò)，終于知道公司的總體運(yùn)營(yíng)情況了，可以基于總體情況做決策了。但如果發(fā)現(xiàn)某天的銷售額下跌了20%，肯定是要安排下面的人追查的。對(duì)于實(shí)際干活的運(yùn)營(yíng)、產(chǎn)品同學(xué)來(lái)說(shuō)，光看一個(gè)宏觀的指標(biāo)是不夠的，解決不了問(wèn)題，還要想辦法對(duì)數(shù)據(jù)進(jìn)行多維度的分析，細(xì)粒度的下鉆，這是儀表盤解決不了的。

那么理想的數(shù)據(jù)驅(qū)動(dòng)應(yīng)該是什么樣子的？應(yīng)該是人人都能夠自助式（Self-Service）的數(shù)據(jù)分析，每個(gè)業(yè)務(wù)人員和數(shù)據(jù)之間，有一個(gè)強(qiáng)大的工具，而不是苦逼的老王?；蛘咧皇悄芸吹綌?shù)據(jù)的冰山一角。在數(shù)據(jù)源頭上，又可以獲取到全面的數(shù)據(jù)。

我們接下來(lái)看看現(xiàn)有的解決方案上，離真正的數(shù)據(jù)驅(qū)動(dòng)還有多遠(yuǎn)的距離。

常見(jiàn)的方案有三種：

我們先來(lái)看看第三方統(tǒng)計(jì)服務(wù)，目前國(guó)內(nèi)用的比較多的有三家，友盟、百度統(tǒng)計(jì)和TalkingData，他們都類似Google Analytics（簡(jiǎn)稱GA，谷歌分析）。

這些工具的優(yōu)勢(shì)是使用簡(jiǎn)單，并且免費(fèi)。

是有以下幾點(diǎn)：

數(shù)據(jù)源：只能覆蓋前端JS/APP SDK記錄的數(shù)據(jù)，無(wú)法覆蓋服務(wù)

端和業(yè)務(wù)數(shù)據(jù)庫(kù)的數(shù)據(jù)；                 

分析能力：只能覆蓋宏觀通用分析，使用后還需要數(shù)據(jù)團(tuán)隊(duì)滿足

運(yùn)營(yíng)/產(chǎn)品的各類定制化的需求

安全：規(guī)模稍大一點(diǎn)的公司，不想把核心數(shù)據(jù)放在第三方平臺(tái)。

第二種是使用數(shù)據(jù)庫(kù)寫SQL，這種在創(chuàng)業(yè)公司用的比較多：