一個(gè)大數(shù)據(jù)應(yīng)用是如何煉成的

經(jīng)歷了多年的BI專題應(yīng)用建設(shè)，有幸能在一個(gè)傳統(tǒng)企業(yè)里探索大數(shù)據(jù)應(yīng)用的建設(shè)過(guò)程，發(fā)現(xiàn)了很多不一樣的地方，獲得了不同的感受，在此以一個(gè)真實(shí)的案例的建設(shè)過(guò)程來(lái)品味其中的不同，也許能獲得一些啟示。

課題是怎么來(lái)的？

大數(shù)據(jù)應(yīng)用最大的挑戰(zhàn)，就是未來(lái)的不確定性，因此，傳統(tǒng)公司動(dòng)輒提前半年進(jìn)行投資預(yù)算規(guī)劃的方式是不太適合大數(shù)據(jù)的。

做大數(shù)據(jù)幾年，雖然說(shuō)現(xiàn)在靠譜的大數(shù)據(jù)的商業(yè)模式也就在廣告、金融、公益等方面，但真要下決心干某個(gè)大數(shù)據(jù)應(yīng)用項(xiàng)目，其突發(fā)性、偶然性也非常強(qiáng)，因?yàn)閷?duì)于大數(shù)據(jù)這個(gè)不成熟事物，無(wú)論是哪類公司，觀望占了很大部分，對(duì)大數(shù)據(jù)的質(zhì)疑有之，對(duì)于大數(shù)據(jù)安全的惶恐有之，對(duì)于合作模式的疑惑有之，更多的是不停的提出想法，不停的被否定。

企業(yè)順應(yīng)大勢(shì)成立了大數(shù)據(jù)團(tuán)隊(duì)，最痛苦的是不知道干什么，什么能干，什么不能干，也沒(méi)啥可借鑒的經(jīng)驗(yàn)，這跟當(dāng)前創(chuàng)業(yè)公司也類似吧，不知道哪種模式是靠譜的。

大數(shù)據(jù)幾乎無(wú)所不能，但真要做起來(lái)，其實(shí)當(dāng)前是能者寥寥，雖然趨勢(shì)不可擋，但這一波搞大數(shù)據(jù)應(yīng)用的，似乎大多要死在黎明前，一個(gè)概念從提出到最終普世大眾，的確路慢慢兒修遠(yuǎn)兮。

今天要聊的，是個(gè)公益課題，電話反欺詐，課題有一定的偶然性，安全部門提到了，問(wèn)我們能不能做做看，感覺(jué)社會(huì)意義很大，比如騰訊有反欺詐盒子，360有攔截系統(tǒng)，本來(lái)某公司希望來(lái)做這個(gè)課題，但綜合各方面因素，還是決定自己做。

作出這個(gè)決策的實(shí)際一天不到，所以決定自己做，基于以下幾個(gè)因素：

一是這個(gè)大數(shù)據(jù)應(yīng)用是有顯著效益的。

二是很好評(píng)估，不像很多BI應(yīng)用產(chǎn)出無(wú)法評(píng)估，備受質(zhì)疑 。

三是公司大數(shù)據(jù)平臺(tái)建立了，提供了基礎(chǔ)條件。

四是自主建模團(tuán)隊(duì)建立了一年多了，不需要太依賴合作伙伴，因此也無(wú)需走那套冗長(zhǎng)的招標(biāo)流程，失敗的代價(jià)也會(huì)小。團(tuán)隊(duì)如何組建？

跟傳統(tǒng)的安排不同，拋出這個(gè)課題后，主動(dòng)接受這個(gè)挑戰(zhàn)的，卻是一名從一線剛過(guò)來(lái)的同事，面對(duì)不確定性，想來(lái)大多數(shù)有資歷的員工也會(huì)猶豫老半天吧，這個(gè)也有一定偶然性。

谷歌講到了招聘人才，提到了無(wú)論多大代價(jià)也要找到創(chuàng)意精英，而做大數(shù)據(jù)，更加需要，需要主動(dòng)型的創(chuàng)意精英，如果傳統(tǒng)企業(yè)每個(gè)人仍然像傳統(tǒng)那樣局限在自己一畝三分地，很難有創(chuàng)新突破。

很幸運(yùn)，我們有一只黑天鵝。

這種自愿組隊(duì)模式的確有很大的好處，不按計(jì)劃分配，尊重個(gè)人的意愿，更能激發(fā)人的主動(dòng)性，團(tuán)隊(duì)組建也非常快，當(dāng)天組隊(duì)，第二天就開(kāi)干，不存在類似項(xiàng)目的繁瑣流程。

雖然團(tuán)隊(duì)成立有一定的偶然性，但的確與與企業(yè)近年來(lái)在大數(shù)據(jù)組織創(chuàng)新、人才引進(jìn)和人員流動(dòng)上的努力分不開(kāi)。

假如沒(méi)有大數(shù)據(jù)組織的成立，誰(shuí)牽頭都是個(gè)問(wèn)題；假如不扔掉傳統(tǒng)的包袱，很難有人專心做這個(gè)；假如沒(méi)有企業(yè)內(nèi)的人才流動(dòng)和外部人才的引入，我們也干不了這個(gè)事。

平臺(tái)資源如何解決？

在那個(gè)傳統(tǒng)BI小型機(jī)時(shí)代，要做一個(gè)項(xiàng)目，拋開(kāi)硬件資源環(huán)境的投資立項(xiàng)過(guò)程不說(shuō)，光是一個(gè)新項(xiàng)目的集成估計(jì)也不止一個(gè)月。

而這個(gè)項(xiàng)目不同之處是：

一是基于大數(shù)據(jù)平臺(tái)的租戶能力，資源申請(qǐng)所見(jiàn)即所得，加上流程，一周內(nèi)全部搞定。

二是提供的組件較為豐富，特別是流處理資源的快速提供，為反欺詐的實(shí)時(shí)性提供了堅(jiān)實(shí)的基礎(chǔ)，換在幾年前基本不可能 。

三是公司技術(shù)團(tuán)隊(duì)的保障，使得大多技術(shù)問(wèn)題得以盡快解決，這也有賴于公司在大數(shù)據(jù)平臺(tái)上的末雨綢繆。

某人說(shuō)過(guò)，凡是能用錢解決的問(wèn)題都不是問(wèn)題，但技術(shù)這個(gè)東西，雖然用錢的確可能解決，但對(duì)于大多數(shù)公司，錢都是個(gè)大問(wèn)題，因此技術(shù)問(wèn)題的解決又是何其艱難。

比如我們碰到Kafka的一些問(wèn)題，長(zhǎng)期難解決，大多企業(yè)的機(jī)制流程恐怕也不允許隨便開(kāi)價(jià)100萬(wàn)招個(gè)技術(shù)專家來(lái)解決吧，傳統(tǒng)企業(yè)的自我技術(shù)進(jìn)步是部血淚史，外面的專家開(kāi)價(jià)開(kāi)不起，自己的專家起來(lái)了，又怕被人家挖。

開(kāi)發(fā)歷程

敏捷開(kāi)發(fā)現(xiàn)在提得很多了， 但感覺(jué)以前BI的建設(shè)就是最大的敏捷，最極致的情況，一個(gè)人搞定需求、開(kāi)發(fā)、上線和維護(hù)，當(dāng)然，現(xiàn)在軟件工程的確還是要靠分工協(xié)作，需要一套方法論來(lái)解決顯性迭代和維護(hù)配合的問(wèn)題。

大數(shù)據(jù)創(chuàng)新太特殊了，沒(méi)必要循規(guī)蹈矩，拋開(kāi)全部的束縛，一切要為速度讓步。原因是失敗可能性很大，速度越快成本越低，同時(shí)既然對(duì)于公司原有業(yè)務(wù)沒(méi)有影響，因此可以放手去干，什么文檔都可以不要，什么既定流程都可以不遵守，反正光腳不怕穿鞋的。

因此，這個(gè)課題做的非?？臁?

第10天，做出一個(gè)反欺詐簡(jiǎn)單模型，包括了案例分析、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)建模及驗(yàn)證等，我們的觀點(diǎn)是第一個(gè)版本可以粗糙一點(diǎn)，希望盡快驗(yàn)證這個(gè)事情的可行性，否則一切都是徒勞，因此就是討論和驗(yàn)證數(shù)據(jù)。

當(dāng)時(shí)規(guī)定兩個(gè)禮拜如果出不了結(jié)果，就會(huì)放棄，這類應(yīng)用失敗可能性很高， 但船小好調(diào)頭，以后做一些創(chuàng)新，都建議給創(chuàng)新做個(gè)時(shí)間止損點(diǎn)。

第25天，生產(chǎn)完成部署，也就是具備系統(tǒng)支撐能力， 除了系統(tǒng)部署方案需要專業(yè)部門把關(guān)，其他基本是能省就省，當(dāng)時(shí)的想法是，這類創(chuàng)新項(xiàng)目最好一個(gè)月就能搞上線，起碼能測(cè)試吧，相對(duì)以前BI應(yīng)用項(xiàng)目動(dòng)輒半年甚至1年的節(jié)奏，的確大不同。

創(chuàng)新，速度始終是王道，因此日?qǐng)?bào)變成剛需，也回憶起了某位離職運(yùn)營(yíng)商去創(chuàng)業(yè)的一個(gè)領(lǐng)導(dǎo)，他說(shuō)每天凌晨就要看昨天的日?qǐng)?bào)，以便安排當(dāng)天的工作，我們可能做不到這么瘋狂，但日?qǐng)?bào)的節(jié)奏是對(duì)的。

第30天，一直在外呼現(xiàn)場(chǎng)進(jìn)行驗(yàn)證迭代，直到36天，獲得認(rèn)可為止，以后就是持續(xù)調(diào)優(yōu)，但這個(gè)數(shù)據(jù)已經(jīng)可以投入生產(chǎn)了。一般電話詐騙很難在事中干預(yù)，但這個(gè)模型做到了，準(zhǔn)確度達(dá)到90%以上，通過(guò)實(shí)時(shí)事中干預(yù)挽回收入損失超千萬(wàn)。

這個(gè)應(yīng)用就是中國(guó)移動(dòng)的天盾大數(shù)據(jù)反欺詐系統(tǒng)，它就是這么誕生的，沒(méi)有什么大匯報(bào)，沒(méi)有什么流程，就是很輕很輕的來(lái)了。

現(xiàn)在算法還有很多問(wèn)題，反欺詐矛與盾的爭(zhēng)奪是很艱辛的，面上的風(fēng)光底下是每天建模師的艱苦卓絕的努力，上了很多新算法，很多很多失敗，拉低了成功率，對(duì)于這個(gè)大家是異常焦慮的，群里總是不停的討論，大家都知道這個(gè)是核心競(jìng)爭(zhēng)力，路還很長(zhǎng)，還需要堅(jiān)持。

小結(jié)

這個(gè)應(yīng)用還難言成功，只是傳統(tǒng)企業(yè)在大數(shù)據(jù)應(yīng)用上的一次不同的嘗試，但不管怎樣，互聯(lián)網(wǎng)快速迭代的那套的確是給了很大的啟示，自己做了，才知道原來(lái)的差距是如此巨大，自己的能力是如此脆弱。

從課題的角度講，要認(rèn)識(shí)到大數(shù)據(jù)這個(gè)事物的不確定性，選擇它具有偶然性，沒(méi)有規(guī)劃能預(yù)料到這個(gè)，當(dāng)前大數(shù)據(jù)變現(xiàn)商業(yè)模式也并不成熟，不要奢望投資大數(shù)據(jù)馬上有產(chǎn)出，也許能力儲(chǔ)備是第一位的。

從組織的角度講，大數(shù)據(jù)人才屬于稀缺人才，要么打破原有框架，不拘一格外部找人才，要么充分企業(yè)內(nèi)挖潛，讓人員能流動(dòng)起來(lái)。流動(dòng)的人才有一個(gè)特點(diǎn)，即至少有一顆騷動(dòng)的心，主動(dòng)性對(duì)于做成功一件事極為重要。

從能力的角度講，假如要向大數(shù)據(jù)轉(zhuǎn)型，則還是要對(duì)“沒(méi)有一個(gè)大數(shù)據(jù)公司，能依靠合作伙伴獲得成功”這句話有所敬畏，大數(shù)據(jù)的核心能力要掌握在自己手里。

從平臺(tái)的角度講，如果沒(méi)有大數(shù)據(jù)平臺(tái)的建立，這個(gè)項(xiàng)目能夠有效果也許是半年以后的事情，但機(jī)會(huì)稍縱即逝，沒(méi)人會(huì)等你這么久，因此此類基礎(chǔ)設(shè)施建設(shè)不能猶豫，“書(shū)到用時(shí)方恨少”。

從開(kāi)發(fā)的角度講，先設(shè)定一個(gè)小目標(biāo)，搞他個(gè)十萬(wàn)八萬(wàn)的，只要有點(diǎn)看得見(jiàn)的產(chǎn)出就行啊，快速迭代，始終是王道，失敗了也沒(méi)什么大不了，我們?nèi)钡木褪墙?jīng)驗(yàn)，多頭并行也不是不可以，只要有足夠的創(chuàng)意精英。

當(dāng)然說(shuō)易行難，以上幾點(diǎn)對(duì)于大多數(shù)公司來(lái)說(shuō)是如此不易，也不能以一個(gè)應(yīng)用的成功與否說(shuō)明任何問(wèn)題，大數(shù)據(jù)要成功，就像黑天鵝，有一定偶然性，但如果連準(zhǔn)備的勇氣都沒(méi)有，沒(méi)有一點(diǎn)實(shí)質(zhì)改革的動(dòng)作，就沒(méi)有任何成功的可能了。