“忘掉大數(shù)據(jù)”之“法”：大數(shù)據(jù)修煉要五講四美
幾經(jīng)思考，定下“忘掉大數(shù)據(jù)”這個(gè)題目，開始醞釀框架及骨干觀點(diǎn)，偶爾在朋友圈發(fā)些感悟，但遲遲沒有系統(tǒng)的形諸文字，直到最近，應(yīng)眾多朋友要求終于動筆，整整推遲了兩年!
“忘掉大數(shù)據(jù)”系列將分為“道”、“法”、“術(shù)”三篇，“道”篇就是之前發(fā)布的“萬物皆數(shù)據(jù)，數(shù)據(jù)藏大道”，主要介紹我對數(shù)據(jù)的認(rèn)識;“法”篇也即本篇，將講大數(shù)據(jù)實(shí)戰(zhàn)的原則性問題及實(shí)操法則;而“術(shù)”篇將介紹各個(gè)細(xì)分領(lǐng)域的具體方法、技巧、案例!
“道”篇發(fā)布后，先是中國統(tǒng)計(jì)網(wǎng)聯(lián)系轉(zhuǎn)載，后被眾多網(wǎng)站、公眾號轉(zhuǎn)發(fā)，朋友們也紛紛要求加快推出，既受鼓舞，也感壓力!
數(shù)據(jù)太多，數(shù)據(jù)的觀點(diǎn)太多，令我們無所適從。我想，寫“忘掉大數(shù)據(jù)”，不僅僅是面向數(shù)據(jù)專業(yè)人士，當(dāng)然希望數(shù)據(jù)技術(shù)人員能夠正確理解數(shù)據(jù)，跳出技術(shù)的框框，從應(yīng)用出發(fā)，掌握數(shù)據(jù)與商業(yè)連接的方法;而更大的愿望是讓更多的非數(shù)據(jù)專業(yè)人士能夠認(rèn)識到數(shù)據(jù)并不神秘，它有一定的技術(shù)特性，但本質(zhì)上是事實(shí)的表征、抽樣，學(xué)會善用數(shù)據(jù)方法解決業(yè)務(wù)問題。大數(shù)據(jù)不只是數(shù)據(jù)技術(shù)人員的事情，人人都有意識的去用數(shù)據(jù)更加重要。人人都懂得運(yùn)用數(shù)據(jù)影響“行動”，大數(shù)據(jù)應(yīng)用才能真正繁榮!
接觸過數(shù)據(jù)的類型不同及深入程度、開展的場景不同往往會帶來不同的大數(shù)據(jù)觀點(diǎn)，筆者試圖擺脫局限，超越實(shí)戰(zhàn)經(jīng)驗(yàn)，用道家思想抽象出一個(gè)更具普適性的框架?！巴舸髷?shù)據(jù)”的“道”、“法”、“術(shù)”三篇，對比著看效果會更好。
萬物皆有道，何為數(shù)據(jù)道;一切皆有法，何為數(shù)據(jù)法?
在“道”篇里面，筆者認(rèn)為數(shù)據(jù)是人類對世界的觀測，人們運(yùn)用數(shù)據(jù)通過模型產(chǎn)生新的數(shù)據(jù)，影響人或者人工智能體的行動，繼而觀測，源源不斷產(chǎn)生數(shù)據(jù)，循環(huán)往復(fù)，生生不息，推動人類社會進(jìn)步。
上述的整個(gè)過程，是數(shù)據(jù)的抽象，也就是數(shù)據(jù)的“道”，而這個(gè)過程要遵循什么法則?各個(gè)關(guān)鍵元素如“觀測”、“數(shù)據(jù)”、”模型“、“行動”又有哪些訣竅?
筆者十年實(shí)戰(zhàn)所思，覺得可歸之為五“講”四“美”：效益原則、應(yīng)用原則、前瞻原則、開放原則、道德原則這五個(gè)原則，不能違背，而要做出實(shí)效，“觀測”、“數(shù)據(jù)”、”模型“、“行動”四個(gè)環(huán)節(jié)缺一不可，都要做“美”。
大數(shù)據(jù)修煉必須“講”的五個(gè)原則
講“效益”：要算ROI，無規(guī)模毋寧做
大數(shù)據(jù)需要昂貴的成本，作為商業(yè)行為，不能像搞學(xué)術(shù)研究那樣不考慮回報(bào)。大到數(shù)據(jù)體系、中到數(shù)據(jù)產(chǎn)品、小到具體的模型算法，值不值得做的標(biāo)準(zhǔn)一看ROI，二看效益規(guī)模!ROI不高，相信沒幾個(gè)企業(yè)愿意投入;而一個(gè)模型轉(zhuǎn)化率再高，如果數(shù)據(jù)量很小，業(yè)務(wù)提升不明顯。除非講故事，做市場的話就一定得講規(guī)模，“啤酒與尿布”故事很好，但不具備規(guī)模效益，超市也就沒有必要大費(fèi)周章把它們擺在一起。
量化別人，也要量化自己。不少數(shù)據(jù)團(tuán)隊(duì)很苦惱，干得很累，但得不到認(rèn)可。我們要學(xué)會利用自己的優(yōu)勢量化數(shù)據(jù)的貢獻(xiàn)，盤點(diǎn)一下，哪些事情缺乏數(shù)據(jù)就一定做不成?哪些事情沒有數(shù)據(jù)也能做，但在數(shù)據(jù)的驅(qū)動下能有大幅度的提升?大數(shù)據(jù)獲取的用戶質(zhì)量是不是更好?…….以效益為導(dǎo)向，給自己設(shè)置KPI，推動各項(xiàng)工作，將團(tuán)隊(duì)的價(jià)值顯性化，得到認(rèn)可，才能實(shí)現(xiàn)可持續(xù)發(fā)展。
講“應(yīng)用”：應(yīng)用驅(qū)動，建立數(shù)據(jù)供應(yīng)鏈
一切從應(yīng)用出發(fā)，大數(shù)據(jù)的結(jié)果最終都是要落實(shí)到”行動”中，沒有相配套的生產(chǎn)流程承接，那就是學(xué)術(shù)研究。有明確的應(yīng)用場景，才能確定要找的數(shù)據(jù)。很多企業(yè)都有這種情況，IT部門按自己的理解做了一堆的標(biāo)簽，開發(fā)了一系列功能，但是業(yè)務(wù)部門一看，標(biāo)簽很多，真正可用的很少，主要原因就是這些數(shù)據(jù)沒與業(yè)務(wù)很好的結(jié)合。
建立數(shù)據(jù)供應(yīng)鏈，實(shí)現(xiàn)數(shù)據(jù)與商業(yè)的連接。數(shù)據(jù)供應(yīng)鏈的關(guān)鍵要素歸根到底是兩個(gè)東西，一個(gè)是能力，包括數(shù)據(jù)獲取的能力、數(shù)據(jù)治理的能力、平臺的能力、數(shù)據(jù)產(chǎn)生新的數(shù)據(jù)的能力、數(shù)據(jù)解讀的能力等等，運(yùn)用這些能力，構(gòu)建數(shù)據(jù)生產(chǎn)體系，把源數(shù)據(jù)經(jīng)過一系列處理流程供應(yīng)到商業(yè)側(cè);第二個(gè)是產(chǎn)品，能力的具備，只能解決單個(gè)的場景，解決少數(shù)人用數(shù)據(jù)的問題，只有將這些能力沉淀為產(chǎn)品，實(shí)現(xiàn)系統(tǒng)化、自動化、工程化，才能更有規(guī)模的解決商業(yè)問題，解決更多人的用數(shù)據(jù)問題。
講“前瞻”：無前瞻，不長遠(yuǎn)
前瞻的收集數(shù)據(jù)?！皵?shù)”到用時(shí)方恨少，等到要用的時(shí)候才意識到去收集已經(jīng)晚了。數(shù)據(jù)培育需要具備孕育孩子一般的耐心，數(shù)據(jù)收集進(jìn)來不是馬上能夠產(chǎn)生效益的，要累積到一定程度，在多種數(shù)據(jù)的綜合作用下，經(jīng)特定的應(yīng)用場景催化，才能產(chǎn)生意想不到的效果。養(yǎng)好數(shù)據(jù)，則事半功倍。
前瞻的做模型。從最原始的數(shù)據(jù)出發(fā)建模，時(shí)間周期還是挺長的，但業(yè)務(wù)不能等!因而有必要提前規(guī)劃應(yīng)用場景，根據(jù)需要做一些半成品，譬如我們提前歷時(shí)三個(gè)月儲備了快遞員的識別模型，后來大促的時(shí)候，基于快遞員的細(xì)分挖掘在一天內(nèi)就搞定出數(shù)!
既要看“數(shù)”吃飯，也要前瞻布局!
講“開放”：平臺集中，數(shù)據(jù)開放
數(shù)據(jù)建設(shè)往往會經(jīng)歷這樣的過程，一開始還沒出現(xiàn)企業(yè)級的數(shù)據(jù)中心，一些部門對自己的數(shù)據(jù)進(jìn)行了匯聚開發(fā)了一些應(yīng)用;接著發(fā)現(xiàn)自己的數(shù)據(jù)不夠用于是接入了其他部門的數(shù)據(jù);然后一看這么多部門接入的數(shù)據(jù)及應(yīng)用類似，于是企業(yè)統(tǒng)一建設(shè)數(shù)據(jù)平臺，統(tǒng)一匯聚，統(tǒng)一管理數(shù)據(jù)資產(chǎn)，統(tǒng)一整合一些應(yīng)用;統(tǒng)一之后各部門又會根據(jù)自己新的業(yè)務(wù)環(huán)境產(chǎn)生獨(dú)特的數(shù)據(jù)創(chuàng)新的應(yīng)用;當(dāng)這些獨(dú)特的數(shù)據(jù)創(chuàng)新的應(yīng)用被更多的部門需要之后，又要進(jìn)入企業(yè)級的架構(gòu)里面……
如果平臺集中、數(shù)據(jù)匯聚之后數(shù)據(jù)就管死了，那就沒法滿足業(yè)務(wù)的個(gè)性化需求，創(chuàng)新也就中止。數(shù)據(jù)用起來才能產(chǎn)生價(jià)值，讓用數(shù)據(jù)的部門方便的拿到數(shù)據(jù)，而且是要包含一定細(xì)節(jié)的數(shù)據(jù)，如果只能憑空設(shè)想去獲取或者只能看一些統(tǒng)計(jì)數(shù)據(jù)，用數(shù)據(jù)的思路將嚴(yán)重受限，而能夠直接接觸相對底層的數(shù)據(jù)，將極大地激發(fā)他們的想象力。數(shù)據(jù)應(yīng)用創(chuàng)新的最大來源，一定是用數(shù)據(jù)的這些人員。
因而，平臺集中之后，一定要把數(shù)據(jù)開放出去，把數(shù)據(jù)能力開放出去，阿里巴巴把數(shù)據(jù)挖掘部門拆掉，將挖掘分析人員前置到各業(yè)務(wù)線，正是基于這樣的原則。
近年來政府、運(yùn)營商等已開始推進(jìn)數(shù)據(jù)對外部的開放，此舉必將促進(jìn)數(shù)據(jù)應(yīng)用的創(chuàng)新繁榮，帶動公共服務(wù)、各行業(yè)的提升。
講“道德”：做大數(shù)據(jù)要注重用戶隱私保護(hù)
為了維護(hù)個(gè)人信息安全，國家制定了信息數(shù)據(jù)采集的標(biāo)準(zhǔn)正在報(bào)批中。美國FCC認(rèn)為Verizon在用戶的流量里植入追蹤碼鑒別用戶消費(fèi)行徑的行為侵犯了用戶隱私。隱私保護(hù)越來越受到關(guān)注。
雖然相關(guān)法規(guī)還不健全，但作為數(shù)據(jù)從業(yè)者，筆者把“數(shù)據(jù)道德”看作一個(gè)基本準(zhǔn)則：
不對單個(gè)用戶進(jìn)行研究，阿里巴巴甚至設(shè)置了分析用戶的最小集;
要繼承數(shù)據(jù)表征的事實(shí)所屬領(lǐng)域的“道德”。譬如相片數(shù)據(jù)，背后是肖像權(quán)等法律法規(guī)，最近Facebook也遇到類似的麻煩，用戶指控“臉紋”識別侵犯隱私權(quán)。
大數(shù)據(jù)出成效?做到四個(gè)“美”!
“美”的觀測： 觀測是數(shù)據(jù)應(yīng)用的起點(diǎn)，也是終點(diǎn)
數(shù)據(jù)源于觀測，應(yīng)用的效果也要通過觀測收集數(shù)據(jù)來評價(jià)。做“美”觀測，是大數(shù)據(jù)成功的第一步。首先我們要重新審視生產(chǎn)過程的每一個(gè)環(huán)節(jié)，尤其是與客戶接觸的界面，發(fā)現(xiàn)遺漏的維度，優(yōu)化采集程序，把數(shù)據(jù)留存下來;其次是善于運(yùn)用他人的觀測結(jié)果，收集外部的數(shù)據(jù)，補(bǔ)充自有維度的不足;第三要注意不同環(huán)節(jié)觀測結(jié)果之間的可拼接，實(shí)現(xiàn)全流程監(jiān)控。
“美”的數(shù)據(jù)：數(shù)據(jù)無大小，有效數(shù)據(jù)需具備四個(gè)特征
大小數(shù)據(jù)的爭論很多，數(shù)據(jù)量不大，有人會說你這是小數(shù)據(jù)不是大數(shù)據(jù)，在他們眼里，大數(shù)據(jù)=數(shù)據(jù)量大、hadoop等技術(shù)、非結(jié)構(gòu)化等，不符合就斥之為小數(shù)據(jù)。而筆者認(rèn)為哪些都是技術(shù)特性，而技術(shù)在發(fā)展，今天的“大”數(shù)據(jù)都是明天的“小”數(shù)據(jù)。數(shù)據(jù)就是數(shù)據(jù)，不分什么大小，數(shù)據(jù)一直在，而技術(shù)手段會不斷進(jìn)步。
GDP這個(gè)數(shù)據(jù)大不大?沒錯(cuò)，它只是一個(gè)數(shù)字，在大小數(shù)據(jù)論者眼中小到不能再小，可是它的背后是960萬平方公里國土、14億人口的生活、消費(fèi)、勞動……你能說它不大?
又譬如基于身份證號碼推測性別是不是很簡單，不是大數(shù)據(jù)?可是當(dāng)你沒有這些信息的時(shí)候，只能通過海量的用戶網(wǎng)頁瀏覽、搜索等雜七雜八的“大”數(shù)據(jù)通過很復(fù)雜的算法來推測，這個(gè)大數(shù)據(jù)模型能比前面的準(zhǔn)確?它大在哪里?
數(shù)據(jù)無所謂大小，有效才是硬道理。大數(shù)據(jù)的4V特點(diǎn)更多的是技術(shù)特性，對實(shí)戰(zhàn)并沒幫助。有效的數(shù)據(jù)應(yīng)具備如下四個(gè)特征：
精準(zhǔn)(precise)：數(shù)據(jù)應(yīng)具備一定的精度，或者說準(zhǔn)確度，當(dāng)然并不是精準(zhǔn)度越高越好，要兼顧規(guī)模，能滿足ROI要求即可。
規(guī)模(scale)：數(shù)據(jù)應(yīng)具備一定的規(guī)模，要么可持續(xù)，要么橫向能擴(kuò)展。
溫度(hot)：溫度包含兩層含義，第一層是數(shù)據(jù)距離事實(shí)的距離，越接近說明溫度越高，譬如用戶變換城市7天內(nèi)就可能變換號碼，7天后這個(gè)數(shù)據(jù)就算找出來已經(jīng)冷了;第二層是用戶與我們的關(guān)系，很多的時(shí)候用戶并不是不需要，而是與我們沒有交情，做數(shù)據(jù)營銷，不要想著一下子就泡上人家，要像談戀愛那樣持續(xù)加熱升溫，直至成交。
連接(connect)：找出數(shù)據(jù)，能不能與fit的場景關(guān)聯(lián)?能不能有效接觸客戶?譬如公交卡數(shù)據(jù)很好，可是公交卡是匿名的，找出來也接觸不了。
有效的數(shù)據(jù)，那就是精準(zhǔn)有規(guī)模(體現(xiàn)效益原則)，溫度高則容易轉(zhuǎn)化，而連接特性提醒我們要做好數(shù)據(jù)應(yīng)用的臨門一腳。
“美”的模型：互聯(lián)網(wǎng)化迭代建模
模型之“美”，在于“迭代”，因?yàn)椤暗保Ｐ惋@得生動靈性，引無數(shù)人員為之癡迷。
在互聯(lián)網(wǎng)里面，如果不能快速的對消費(fèi)者需求做出反應(yīng)，產(chǎn)品很快就會被淘汰。做大數(shù)據(jù)也一樣，過時(shí)的數(shù)據(jù)沒有溫度更沒價(jià)值，如果我們采用傳統(tǒng)的數(shù)據(jù)挖掘流程，從商業(yè)理解、數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備到建模、評估、部署等，如軟件工程的瀑布模型一樣周期很長，一步一步做下來恐怕活動早就結(jié)束了。另一方面，營銷場景往往涉及新的商品，沒有訓(xùn)練集，如何解決冷啟動問題?數(shù)據(jù)時(shí)效很重要，做大數(shù)據(jù)也要講互聯(lián)網(wǎng)思維，小步快跑，先用簡單的算法快速輸出數(shù)據(jù)，后續(xù)在實(shí)戰(zhàn)中不斷檢驗(yàn)、修正、迭代優(yōu)化，不斷提升數(shù)據(jù)的精準(zhǔn)性。
如何快速建模?還原用戶的生活場景，把豐富的經(jīng)驗(yàn)知識輸入到模型中，加快模型的進(jìn)化。要懂得用戶，從身份屬性、狀態(tài)變化、行為表達(dá)、興趣偏好、關(guān)系推測等方面尋找蛛絲馬跡，再想方設(shè)法找到能關(guān)聯(lián)的數(shù)據(jù)。
模型并不是越復(fù)雜越好，不同的場景對精準(zhǔn)的要求不一樣，根據(jù)ROI原則，算法要取舍。
“美”的行動：有效的應(yīng)用場景比數(shù)據(jù)更重要
都在說大數(shù)據(jù)，但真正有效的成果鳳毛麟角，數(shù)據(jù)團(tuán)隊(duì)要想獲得認(rèn)可不容易。很多時(shí)候，并不是數(shù)據(jù)不好，而是沒有有效的應(yīng)用場景相配套。目標(biāo)清單精準(zhǔn)，可是打電話過去轉(zhuǎn)化不了幾個(gè)，用戶普遍對此很反感，而它掛掉電話，接著就可能去實(shí)體門店購買你推介的產(chǎn)品。
一個(gè)好的應(yīng)用場景，可能能激發(fā)那些原來看起來沒有需求的用戶的購買欲望。因而挖掘數(shù)據(jù)，不僅僅要考慮命中用戶需求，還可以考慮命中某些營銷特性，針對這些特性的策劃場景，吸引這類用戶的注意，通過精心設(shè)計(jì)的文案引起用戶的共鳴，實(shí)現(xiàn)轉(zhuǎn)化。
互聯(lián)網(wǎng)產(chǎn)生大量數(shù)據(jù)，也是大數(shù)據(jù)應(yīng)用落地的主要陣地，這也是大數(shù)據(jù)應(yīng)用率先在互聯(lián)網(wǎng)行業(yè)繁榮的原因。傳統(tǒng)行業(yè)發(fā)力大數(shù)據(jù)，也應(yīng)從電子渠道開始!
結(jié)語：數(shù)據(jù)本無“法”，實(shí)戰(zhàn)出真理
一口氣寫了這么多，但限于篇幅，沒法詳細(xì)描述，先推出簡約版，里面很多觀點(diǎn)皆可擴(kuò)充獨(dú)立成文，后面的“術(shù)”篇將聚焦更細(xì)的領(lǐng)域結(jié)合具體的案例來寫。
水無常形，法無定法。堅(jiān)定心中的道，順應(yīng)變化變換不同的“法”。筆者所認(rèn)識的“道”與“法”，也僅供參考!
CDA數(shù)據(jù)分析師考試相關(guān)入口一覽（建議收藏）：
? 想報(bào)名CDA認(rèn)證考試，點(diǎn)擊>>>
“CDA報(bào)名”
了解CDA考試詳情；
? 想學(xué)習(xí)CDA考試教材，點(diǎn)擊>>> “CDA教材” 了解CDA考試詳情；
? 想加入CDA考試題庫，點(diǎn)擊>>> “CDA題庫” 了解CDA考試詳情；
? 想了解CDA考試含金量，點(diǎn)擊>>> “CDA含金量” 了解CDA考試詳情；
京公網(wǎng)安備 11010802034615號
經(jīng)營許可證編號：京B2-20210330
