關(guān)于大數(shù)據(jù)分析的四個關(guān)鍵環(huán)節(jié)

隨著大數(shù)據(jù)時代的到來，AI 概念的火熱，人們的認(rèn)知有所提高。為什么說大數(shù)據(jù)有價值 這是不是只是一個虛的概念 大家怎么考慮數(shù)據(jù)驅(qū)動問題 為什么掌握更多的數(shù)據(jù)就會更有效 這些問題很難回答，但是，大數(shù)據(jù)絕不是大而空洞的。

信息論之父香農(nóng)曾表示，信息是用來消除不信任的東西，比如預(yù)測明天會不會下雨，如果知道了今天的天氣、風(fēng)速、云層、氣壓等信息，有助于得出更準(zhǔn)確的結(jié)論。所以大數(shù)據(jù)是用來消除不確定性的，掌握更多的有效數(shù)據(jù)，可以驅(qū)動企業(yè)進(jìn)行科學(xué)客觀的決策。

桑文鋒對大數(shù)據(jù)有著自己的理解，數(shù)據(jù)采集遵循“大”、“全”、“細(xì)”、“時”四字法則。

“大”強(qiáng)調(diào)宏觀的“大”，而非物理的“大”。大數(shù)據(jù)不是一味追求數(shù)據(jù)量的“大”。比如每天各地級市的蘋果價格數(shù)據(jù)統(tǒng)計只有 2MB，但基于此研發(fā)出一款蘋果智能調(diào)度系統(tǒng)，就是一個大數(shù)據(jù)應(yīng)用，而有些數(shù)據(jù)雖然很大，卻價值有限;

“全”強(qiáng)調(diào)多種數(shù)據(jù)源。大數(shù)據(jù)采集講求全量，而不是抽樣。除了采集客戶端數(shù)據(jù)，還需采集服務(wù)端日志、業(yè)務(wù)數(shù)據(jù)庫，以及第三方服務(wù)等數(shù)據(jù)，全面覆蓋，比如美國大選前的民意調(diào)查，希拉里有70%以上勝算，但是川普成為了美國總統(tǒng)，因為采樣數(shù)據(jù)有偏差，支持川普的底層人民不會上網(wǎng)回復(fù)。

“細(xì)”強(qiáng)調(diào)多維度數(shù)據(jù)采集，即把事件的維度、屬性、字段等都進(jìn)行采集。如電商行業(yè)“加入購物車”的事件，除了采集用戶的 click 數(shù)據(jù)，還應(yīng)采集用戶點(diǎn)擊的是哪個商品、對應(yīng)的商戶等數(shù)據(jù)，方便后續(xù)交叉分析。

“時”強(qiáng)調(diào)數(shù)據(jù)的時效性。顯然，具有時效性的數(shù)據(jù)才有參考價值。如國家指數(shù)，CPI 指數(shù)，月初收集到信息和月中拿到信息，價值顯然不同，數(shù)據(jù)需要實時拿到，實時分析。

從另一個視角看待數(shù)據(jù)的價值，可以分為兩點(diǎn)，數(shù)據(jù)驅(qū)動決策，數(shù)據(jù)驅(qū)動產(chǎn)品智能。數(shù)據(jù)的最大價值是產(chǎn)品智能，有了數(shù)據(jù)基礎(chǔ)，再搭建好策略算法，去回灌產(chǎn)品，提升產(chǎn)品本身的學(xué)習(xí)能力，可以不斷迭代。如今日頭條的新聞推薦，百度搜索的搜索引擎優(yōu)化，都是數(shù)據(jù)驅(qū)動產(chǎn)品智能的體現(xiàn)。

▌ 數(shù)據(jù)分析四個關(guān)鍵環(huán)節(jié)

桑文鋒把數(shù)據(jù)分析分為四個環(huán)節(jié)，數(shù)據(jù)采集、數(shù)據(jù)建模、數(shù)據(jù)分析、指標(biāo)。他提出了一個觀點(diǎn)，要想做好數(shù)據(jù)分析，一定要有自底向上的理念。很多公司的數(shù)據(jù)分析自頂向下推動，用業(yè)務(wù)分析指標(biāo)來決定收集什么數(shù)據(jù)，這是需求驅(qū)動工程師的模式，不利于公司長久的數(shù)據(jù)采集。而一個健康的自底向上模式，可以幫助公司真正建立符合自己業(yè)務(wù)的數(shù)據(jù)流和數(shù)據(jù)分析體系。

一、數(shù)據(jù)采集

想要真正做好大數(shù)據(jù)分析，首先要把數(shù)據(jù)基礎(chǔ)建好，核心就是“全”和“細(xì)”。

搜集數(shù)據(jù)時不能只通過 APP 或客戶端收集數(shù)據(jù)，服務(wù)器的數(shù)據(jù)、數(shù)據(jù)庫數(shù)據(jù)都要同時收集打通，收集全量數(shù)據(jù)，而非抽樣數(shù)據(jù)，同時還要記錄相關(guān)維度，否則分析業(yè)務(wù)時可能會發(fā)現(xiàn)歷史數(shù)據(jù)不夠，所以不要在意數(shù)據(jù)量過大，磁盤存儲的成本相比數(shù)據(jù)積累的價值，非常廉價。

常見的數(shù)據(jù)采集方式歸結(jié)為三類，可視化/全埋點(diǎn)、代碼埋點(diǎn)、數(shù)據(jù)導(dǎo)入工具。

第一種是可視化/全埋點(diǎn)，這種方式不需要工程師做太多配合，產(chǎn)品經(jīng)理、運(yùn)營經(jīng)理想做分析直接在界面點(diǎn)選，系統(tǒng)把數(shù)據(jù)收集起來，比較靈活。但是也有不好的地方，有許多維度信息會丟失，數(shù)據(jù)不夠精準(zhǔn)。

第二種是代碼埋點(diǎn)，代碼埋點(diǎn)不特指前端埋點(diǎn)，后端服務(wù)器數(shù)據(jù)模塊、日志，這些深層次的都可以代碼埋點(diǎn)，比如電商行業(yè)中交易相關(guān)的數(shù)據(jù)可以在后端采集。代碼埋點(diǎn)的優(yōu)勢是，數(shù)據(jù)更加準(zhǔn)確，通過前端去采集數(shù)據(jù)，常會發(fā)現(xiàn)數(shù)據(jù)對不上，跟自己的實際后臺數(shù)據(jù)差異非常大?？赡苡腥齻€原因：第一個原因是本身統(tǒng)計口徑不一樣，一定出現(xiàn)丟失;第二點(diǎn)是流量過大，導(dǎo)致數(shù)據(jù)丟失異常;第三點(diǎn)是SDK兼容，某些客戶的某些設(shè)備數(shù)據(jù)發(fā)不出去，導(dǎo)致數(shù)據(jù)不對稱。而代碼埋點(diǎn)的后臺是公司自己的服務(wù)器，自己核心的模擬可以做校準(zhǔn)，基本進(jìn)行更準(zhǔn)確的數(shù)據(jù)采集。

第三種是通過導(dǎo)入輔助工具，將后臺生成的日志、數(shù)據(jù)表、線下數(shù)據(jù)用實時批量方式灌到里面，這是一個很強(qiáng)的耦合。

數(shù)據(jù)采集需要采集數(shù)據(jù)和分析數(shù)據(jù)的人共同參與進(jìn)來，分析數(shù)據(jù)的人明確業(yè)務(wù)指標(biāo)，并且對于數(shù)據(jù)的準(zhǔn)確性有敏感的判斷力，采集數(shù)據(jù)的人再結(jié)合業(yè)務(wù)進(jìn)行系統(tǒng)性的采集。

二、數(shù)據(jù)建模

很多公司都有業(yè)務(wù)數(shù)據(jù)庫，里面存放著用戶注冊信息、交易信息等，然后產(chǎn)品經(jīng)理、運(yùn)營人員向技術(shù)人員尋求幫助，用業(yè)務(wù)數(shù)據(jù)庫支持業(yè)務(wù)上的數(shù)據(jù)分析。但是這樣維護(hù)成本很高，且?guī)浊f、幾億條數(shù)據(jù)不能很好地操作。所以，數(shù)據(jù)分析和正常業(yè)務(wù)運(yùn)轉(zhuǎn)有兩項分析，數(shù)據(jù)分析單獨(dú)建模、單獨(dú)解決問題。

數(shù)據(jù)建模有兩大標(biāo)準(zhǔn)：易理解和性能好。

數(shù)據(jù)驅(qū)動不是數(shù)據(jù)分析師、數(shù)據(jù)庫管理員的專利，讓公司每一個業(yè)務(wù)人員都能在工作中運(yùn)用數(shù)據(jù)進(jìn)行數(shù)據(jù)分析，并能在獲得秒級響應(yīng)，驗證自己的新點(diǎn)子新思維，嘗試新方法，才是全員數(shù)據(jù)驅(qū)動的健康狀態(tài)。

多維數(shù)據(jù)分析模型(OLAP)是用戶數(shù)據(jù)分析中最有效的模型，它把用戶的訪問數(shù)據(jù)都?xì)w類為維度和指標(biāo)，城市是維度，操作系統(tǒng)也是維度，銷售額、用戶量是指標(biāo)。建立好多維數(shù)據(jù)分析模型，解決的不是某個業(yè)務(wù)指標(biāo)分析的問題，使用者可以靈活組合，滿足各種需求。

三、數(shù)據(jù)分析

數(shù)據(jù)分析支持產(chǎn)品改進(jìn)

產(chǎn)品經(jīng)理在改進(jìn)產(chǎn)品功能時，往往是拍腦袋靈光一現(xiàn)，再對初級的點(diǎn)子進(jìn)行再加工，這是不科學(xué)的。《精益創(chuàng)業(yè)》中講過一個理念，把數(shù)據(jù)分析引入產(chǎn)品迭代，對已有的功能進(jìn)行數(shù)據(jù)采集和數(shù)據(jù)分析，得出有用的結(jié)論引入下一輪迭代，從而改進(jìn)產(chǎn)品。在這個過程中大數(shù)據(jù)分析很關(guān)鍵。

Facebook 的創(chuàng)始人曾經(jīng)介紹過他的公司如何確定產(chǎn)品改進(jìn)方向。Facebook 采用了一種機(jī)制：每一個員工如果有一個點(diǎn)子，可以抽樣幾十萬用戶進(jìn)行嘗試，如果結(jié)果不行，就放棄這個點(diǎn)子，如果這個效果非常好，就推廣到更大范圍。這是把數(shù)據(jù)分析引入產(chǎn)品迭代的科學(xué)方法。

桑文鋒在 2007 年加入百度時，也發(fā)現(xiàn)了一個現(xiàn)象，他打開郵箱會收到幾十封報表，將百度知道的訪問量、提問量、回答量等一一介紹。當(dāng)百度的產(chǎn)品經(jīng)理提出一個需求時，工程師會從數(shù)據(jù)的角度提出疑問，這個功能為什么好 有什么數(shù)據(jù)支撐 這個功能上線時如何評估 有什么預(yù)期數(shù)據(jù) 這也是一種數(shù)據(jù)驅(qū)動產(chǎn)品的體現(xiàn)。

數(shù)據(jù)驅(qū)動運(yùn)營監(jiān)控

運(yùn)營監(jiān)控通常使用海盜模型，所謂的運(yùn)營就是五件事：觸達(dá)是怎么吸引用戶過來;然后激活用戶，讓用戶真正變成有效的用戶;然后留存，提高用戶粘性，讓用戶能停留在你的產(chǎn)品中不斷使用;接下來是引薦，獲取用戶這么困難，能不能發(fā)動已有的用戶，讓已有用戶帶來新用戶，實現(xiàn)自傳播;最后是營收，做產(chǎn)品最終要賺錢。要用數(shù)據(jù)分析，讓運(yùn)營做的更好。

數(shù)據(jù)分析方法

互聯(lián)網(wǎng)常見分析方法有幾種，多維分析、漏斗分析、留存分析、用戶路徑、用戶分群、點(diǎn)擊分析等等，不同的數(shù)據(jù)分析方法適用于不同的業(yè)務(wù)場景，需要自主選擇。

舉個多維分析的例子，神策數(shù)據(jù)有一個視頻行業(yè)的客戶叫做開眼，他們的軟件有一個下載頁面，運(yùn)營人員曾經(jīng)發(fā)現(xiàn)他們的安卓 APP 下載量遠(yuǎn)低于 iOS，這是不合理的。他們考慮過是不是 iOS 用戶更愿意看視頻，隨后從多個維度進(jìn)行了分析，否定了這個結(jié)論，當(dāng)他們發(fā)現(xiàn)某些安卓版本的下載量為零，分析到屏幕寬高時，看出這個版本下載按鈕顯示不出來，所以下載比例非常低。就這樣通過多維分析，找出了產(chǎn)品改進(jìn)點(diǎn)。

舉個漏斗分析的例子，神策數(shù)據(jù)的官網(wǎng)訪問量很高，但是注冊-登錄用戶的轉(zhuǎn)化率很低，需要進(jìn)行改進(jìn)。所以大家就思考如何把轉(zhuǎn)化漏斗激活地更好，后來神策做了小的改變，在提交申請試用后加了一個查看登錄頁面，這樣用戶收到賬戶名密碼后可以隨手登錄，優(yōu)化了用戶體驗，轉(zhuǎn)化率也有了可觀的提升。

四、指標(biāo)

如何定義指標(biāo) 對于創(chuàng)業(yè)公司來說，有兩種方法非常有效：第一關(guān)鍵指標(biāo)法和海盜指標(biāo)法。

第一關(guān)鍵指標(biāo)法是《精益數(shù)據(jù)分析》中提出的理論，任何一個產(chǎn)品在某個階段，都有一個最需要關(guān)注的指標(biāo)，其他指標(biāo)都是這個指標(biāo)的衍生，這個指標(biāo)決定了公司當(dāng)前的工作重點(diǎn)，對一個初創(chuàng)公司來說，可能開始關(guān)注日活，圍繞日活又?jǐn)U展了一些指標(biāo)，當(dāng)公司的產(chǎn)品成熟后，變現(xiàn)就會成為關(guān)鍵，凈收入(GMV)會變成第一關(guān)鍵指標(biāo)。