懂得從大數(shù)據(jù)中還原數(shù)據(jù)真實(shí)_數(shù)據(jù)分析師

大數(shù)據(jù)當(dāng)然需要大量、海量的數(shù)據(jù)，但究竟是不是有些研究者和論者所說的無限數(shù)據(jù)，是一個(gè)重大疑問。

　　要懂得從大數(shù)據(jù)中還原數(shù)據(jù)真實(shí)，《決戰(zhàn)大數(shù)據(jù)：駕馭未來商業(yè)的利器》一書傳達(dá)的這個(gè)觀點(diǎn)給筆者留下了深刻印象。大數(shù)據(jù)當(dāng)然需要大量、海量的數(shù)據(jù)，但究竟是不是有些研究者和論者所說的無限數(shù)據(jù)，是一個(gè)重大疑問。信息搜集需要成本，還將面臨用戶隱私意識(shí)等障礙。更大的成本來源于存儲(chǔ)和分析。

　　信息和數(shù)據(jù)分布從來就遵循冪律特點(diǎn)，如果數(shù)據(jù)挖掘以拒絕遺漏為原則，將產(chǎn)生大量的無意義勞動(dòng)消耗，因?yàn)楦鶕?jù)一部分?jǐn)?shù)據(jù)其實(shí)就可以得出足夠推導(dǎo)出80%-90%的結(jié)論。再者，大數(shù)據(jù)分析的重要意義在于改善實(shí)時(shí)分析，對(duì)數(shù)據(jù)搜集及處理速度有很高的要求，譬如電商企業(yè)不得不切實(shí)提高與用戶的有效互動(dòng)，要盡可能依據(jù)掌握并不全面的用戶數(shù)據(jù)給出推薦，并就疑難及時(shí)響應(yīng)。相反，如果數(shù)據(jù)處理和響應(yīng)總帶有遲滯性，企業(yè)希望搜集到足夠的、全面的用戶數(shù)據(jù)再給予響應(yīng)，就必然錯(cuò)過時(shí)機(jī)。

　　海量數(shù)據(jù)還可能包含大量看上去彼此矛盾，甚至根本就帶有誤導(dǎo)性的數(shù)據(jù)內(nèi)容?！稕Q戰(zhàn)大數(shù)據(jù)：駕馭未來商業(yè)的利器》一書的作者是阿里巴巴集團(tuán)商業(yè)智能部副總裁、數(shù)據(jù)委員會(huì)會(huì)長車品覺，他在書中描繪了消費(fèi)者通過智能手機(jī)等終端購物的一種常見場景：消費(fèi)者早上看到某款好看的衣服，想要購買，在網(wǎng)上搜出大批量的相關(guān)商品；正在挑選時(shí)，被叫去開會(huì)，在開會(huì)時(shí)打開手機(jī)應(yīng)用，發(fā)現(xiàn)了有誘惑力的促銷廣告，就下單購買了另外一類商品（比如手機(jī)）。

　　這起場景中，消費(fèi)者先后使用了手機(jī)端和PC端，如果均保持同一個(gè)用戶名的登錄狀態(tài)，其搜索數(shù)據(jù)和最終購買數(shù)據(jù)匯集在一起顯然會(huì)讓許多數(shù)據(jù)分析師抓狂。如果企業(yè)要求數(shù)據(jù)分析師從這些數(shù)據(jù)挖掘、還原用戶的真實(shí)需求，難度可想而知。如果這一個(gè)消費(fèi)者在手機(jī)端、PC端還使用不同用戶名，又該搜集哪些、多少數(shù)據(jù)，才能做到辨識(shí)其身份？

　　車品覺指出，“大數(shù)據(jù)的真正價(jià)值是將數(shù)據(jù)用于形成主動(dòng)收集數(shù)據(jù)的良性循環(huán)，以帶動(dòng)更多的數(shù)據(jù)進(jìn)入這個(gè)自循環(huán)中”。要做到這一點(diǎn)必然是困難的，上述場景非常常見，直接原因是普通消費(fèi)者使用互聯(lián)網(wǎng)具有多場景，完全可能靈活的輪換使用PC端、手機(jī)端、智能穿戴設(shè)備等終端；往深了說，移動(dòng)互聯(lián)網(wǎng)時(shí)代，很多人的注意力是高度渙散的。許多時(shí)候，用戶可能長時(shí)間停留于某個(gè)頁面，這并不能表明其一定是在專心停留閱讀，更大的可能在于消費(fèi)者這時(shí)有事走開了，或者切換到別的終端界面。因此，數(shù)據(jù)挖掘分析必須承認(rèn)這種手段的相對(duì)有效性、局限性。

　　書中提出，數(shù)據(jù)具有5大價(jià)值：識(shí)別與串聯(lián)價(jià)值（根據(jù)大數(shù)據(jù)中的核心數(shù)據(jù)對(duì)用戶真實(shí)身份、真實(shí)行為進(jìn)行還原）、描述價(jià)值（在特定框架內(nèi)找出核心用戶、緊密購買行為數(shù)據(jù)）、時(shí)間價(jià)值（在特定時(shí)間段分析歷史數(shù)據(jù)）、預(yù)測(cè)價(jià)值、產(chǎn)出數(shù)據(jù)的價(jià)值。這其中提到的特定框架，也就是說從海量數(shù)據(jù)中根據(jù)關(guān)聯(lián)性，提取核心有用數(shù)據(jù)的范圍。比如一個(gè)企業(yè)要判斷是否繼續(xù)使用導(dǎo)航網(wǎng)站的廣告，就要明確導(dǎo)航網(wǎng)站引進(jìn)的新老用戶比、引進(jìn)的新老用戶的投入產(chǎn)出比和轉(zhuǎn)化率、推斷一旦撤去廣告會(huì)帶來的流失影響，還要對(duì)競爭對(duì)手進(jìn)行行為分析預(yù)測(cè)（對(duì)方可能加強(qiáng)導(dǎo)航廣告投入），這些限定因素將使得數(shù)據(jù)提取及后續(xù)分析就不會(huì)毫無章法。

　　這本書第二部分對(duì)阿里巴巴的大數(shù)據(jù)實(shí)踐作了基本介紹。阿里巴巴成長到今天的規(guī)模，還能繼續(xù)駕馭宏大的產(chǎn)品線和業(yè)務(wù)范圍，電商行業(yè)內(nèi)外有識(shí)之士都認(rèn)為這應(yīng)歸功于阿里巴巴能夠很好的實(shí)現(xiàn)數(shù)據(jù)化運(yùn)營，可以通過海量數(shù)據(jù)成功實(shí)現(xiàn)即便是細(xì)小范圍內(nèi)的業(yè)務(wù)對(duì)比、細(xì)分及趨勢(shì)預(yù)估。車品覺分享指出，阿里巴巴數(shù)據(jù)化運(yùn)營落地是從“人”做起，利用好了“混、通、曬”三板斧。“混”就是讓數(shù)據(jù)分析師與業(yè)務(wù)部門的人經(jīng)?！盎臁痹谝黄穑@是確保兩大部門培養(yǎng)商業(yè)和數(shù)字直覺的前提；“通”就是打通“混”的數(shù)據(jù)；在此基礎(chǔ)上，讓數(shù)據(jù)得以最有效的獲取、使用、分享、協(xié)同、連接和組合，就是“曬”。

　　車品覺認(rèn)為，2011年起，阿里巴巴已經(jīng)開始從數(shù)據(jù)化運(yùn)營向運(yùn)營數(shù)據(jù)發(fā)展，形成了良性循環(huán)，走到了運(yùn)營數(shù)據(jù)的外三板斧“存、管、用”。“存”指的是搜集并存儲(chǔ)有效數(shù)據(jù)；“管”涵蓋了數(shù)據(jù)的安全管理、讓數(shù)據(jù)更趨準(zhǔn)確穩(wěn)定、更好運(yùn)用數(shù)據(jù)等范疇；“用”，就是要從數(shù)據(jù)本身實(shí)現(xiàn)分裂和重組，推動(dòng)顛覆性創(chuàng)新。書中就此對(duì)“用”這一層次，結(jié)合作者長期以來的從業(yè)實(shí)踐及對(duì)京東、一號(hào)店等其他知名電商企業(yè)運(yùn)營經(jīng)驗(yàn)的觀察，展開了頗為深入的梳理剖析。文章來源：CDA數(shù)據(jù)分析師培訓(xùn)官網(wǎng)