大數(shù)據(jù)分析的火爆，使得越來越多的企業(yè)都開始重視并涉足甚至大力發(fā)展大數(shù)據(jù)分析部分或大數(shù)據(jù)分析崗位，而這對于數(shù)據(jù)分析師前景無疑是非常樂觀的。在未來好多年，大數(shù)據(jù)分析的應用及其發(fā)展只會越來越專業(yè)化和精細化，數(shù)據(jù)分析師前景也會更加可觀且待遇會持續(xù)上漲。一個好的企業(yè)，對于當前的互聯(lián)網(wǎng)發(fā)展來說，如果能夠擁有強大的大數(shù)據(jù)來源和專業(yè)統(tǒng)一的數(shù)據(jù)分析、數(shù)據(jù)挖掘團隊，無可否認這企業(yè)的發(fā)展一定會越來越好，越做越強。那么，如何成為一個更好的大數(shù)據(jù)分析企業(yè)呢？這不單單只是數(shù)據(jù)分析師、數(shù)據(jù)挖掘師的任務，一個企業(yè)的靈魂人物，必須要有一個統(tǒng)籌全局的管理執(zhí)行總監(jiān)，就是CEO，然后和數(shù)據(jù)分析、數(shù)據(jù)挖掘團隊緊密合作、協(xié)商溝通，才能更有效地朝大數(shù)據(jù)分析企業(yè)邁進。下面就好好來和大家講講，如何成為一個更好的大數(shù)據(jù)分析企業(yè)。



大數(shù)據(jù)的鼓吹者希望人們相信，在一行行的代碼和龐大數(shù)據(jù)庫的背后存在著有關(guān)人類行為模式的客觀、普遍的洞察，不管是消費者的支出規(guī)律、犯罪或恐怖主義行動、健康習慣，還是雇員的生產(chǎn)效率。但是許多大數(shù)據(jù)的傳道者不愿正視其不足。數(shù)字無法自己說話，而數(shù)據(jù)集——不管它們具有什么樣的規(guī)?！匀皇侨祟愒O(shè)計的產(chǎn)物。

1.什么叫大數(shù)據(jù)?

“大數(shù)據(jù)”是“數(shù)據(jù)化”趨勢下的必然產(chǎn)物!數(shù)據(jù)化最核心的理念是：“一切都被記錄，一切都被數(shù)字化”。最近2年所產(chǎn)生的數(shù)據(jù)量等同于2010年以前整個人類文明產(chǎn)生的數(shù)據(jù)量總和，更重要的是，數(shù)據(jù)來源極大豐富，形成了多源異構(gòu)的數(shù)據(jù)形態(tài)，其中非結(jié)構(gòu)化數(shù)據(jù)所占比重逐年增大。牛津大學互聯(lián)網(wǎng)研究所Mayer-Schonberger教授指出，“大數(shù)據(jù)”所代表的是當今社會所獨有的一種新型的能力——以一種前所未有的方式，通過對海量數(shù)據(jù)進行分析，獲得有巨大價值的產(chǎn)品和服務，或深刻的洞見。這種“前所未有的”巨大價值和深刻洞見，并不僅僅來自于單一數(shù)據(jù)集量上的變化，而是不同領(lǐng)域數(shù)據(jù)集之間深度的交叉關(guān)聯(lián),姑且稱之為“跨域關(guān)聯(lián)”。譬如微博上的內(nèi)容和社交關(guān)系，F(xiàn)lickr上的圖片共享，新聞資訊網(wǎng)絡(luò)上的瀏覽記錄，手機通訊關(guān)系，電子商務網(wǎng)站上的購物記錄等數(shù)據(jù)通過同一個用戶關(guān)聯(lián)起來;又如移動手機定位的移動軌跡，車載GPS的移動數(shù)據(jù)，街旁上的簽到數(shù)據(jù)，順豐物流的遞送數(shù)據(jù)，智慧城市的建筑信息檔案等通過同一個地點關(guān)聯(lián)起來?？缬蜿P(guān)聯(lián)是數(shù)據(jù)量增大后從量變到質(zhì)變的飛躍，是大數(shù)據(jù)巨大價值的基礎(chǔ)。



大數(shù)據(jù)被認為是繼信息化和互聯(lián)網(wǎng)后整個信息革命的又一次高峰。云計算和大數(shù)據(jù)共同引領(lǐng)以數(shù)據(jù)為材料，計算為能源的又一次生產(chǎn)力的大解放，甚至可以與以蒸汽機的使用和電氣的使用為代表的第一次工業(yè)革命和第二次工業(yè)革命相媲美。與提升國家競爭力及國民幸福程度密切相關(guān)的重大戰(zhàn)略都與大數(shù)據(jù)的分析和利用息息相關(guān)，包括與國家安全社會穩(wěn)定相關(guān)的尖端武器制造與性能模擬實驗，群體事件和謠言的預警和干預;與國家科技能力相關(guān)的等離子即高能粒子實驗分析，納米材料及生物基因工程;與國民經(jīng)濟繁榮相關(guān)的經(jīng)濟金融態(tài)勢感知與失穩(wěn)預測，精準營銷與智能物流倉儲;與環(huán)境問題相關(guān)的全球氣候及生態(tài)系統(tǒng)的分析，局部天氣及空氣質(zhì)量預測;與醫(yī)療衛(wèi)生相關(guān)的個性化健康監(jiān)護及醫(yī)療方案，大規(guī)模流行病趨勢預測和防控策略;與人民幸福生活相關(guān)的個性化保險理財方案，智能交通系統(tǒng)等等。數(shù)據(jù)儲備和數(shù)據(jù)分析能力將成為未來新型國家最重要的核心戰(zhàn)略能力。

大數(shù)據(jù)會給整個社會帶來從生活到思維上革命性的變化：企業(yè)和政府的管理人員在進行決策的時候，會出現(xiàn)從“經(jīng)驗即決策”到“數(shù)據(jù)輔助決策”再到“數(shù)據(jù)即決策”的變化;人們所接受的服務，將以數(shù)字化和個性化的方式呈現(xiàn)，借助3D打印技術(shù)和生物基因工程，制造業(yè)和醫(yī)療業(yè)亦將實現(xiàn)數(shù)字化和個性化的服務;以小規(guī)模實驗、定性或半定量分析為主要手段的科學分支，如社會學、心理學、管理學等，將會向大規(guī)模定量化數(shù)據(jù)分析轉(zhuǎn)型;將會出現(xiàn)數(shù)據(jù)運營商和數(shù)據(jù)市場，以數(shù)據(jù)和數(shù)據(jù)產(chǎn)品為對象，通過加工和交易數(shù)據(jù)獲取商業(yè)價值;人類將在哲學層面上重新思考諸如“物質(zhì)和信息誰更基礎(chǔ)”“生命的本質(zhì)是什么”“生命存在的最終形態(tài)是什么”等本體論問題……綜上，大數(shù)據(jù)不是數(shù)據(jù)量的簡單刻畫，也不是特定算法、技術(shù)或商業(yè)模式上的發(fā)展，而是從數(shù)據(jù)量、數(shù)據(jù)形態(tài)和數(shù)據(jù)分析處理方式，到理念和形態(tài)上重大變革的總和——大數(shù)據(jù)是基于多源異構(gòu)、跨域關(guān)聯(lián)的海量數(shù)據(jù)分析所產(chǎn)生的決策流程、商業(yè)模式、科學范式、生活方式和觀念形態(tài)上的顛覆性變化的總和。



2.大數(shù)據(jù)商業(yè)革命

傳統(tǒng)的商務智能已經(jīng)應用了數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的技術(shù)，對企業(yè)自身的數(shù)據(jù)進行存儲、清洗、索引和分析，并能夠提供包括客戶價值評價、客戶滿意度評價、服務質(zhì)量評價、營銷效果評價、市場需求評估等各種基于簡單統(tǒng)計和關(guān)聯(lián)挖掘的報表——這些統(tǒng)計結(jié)果對于企業(yè)自身評估和決策起到了重要的作用。在商務智能時代積累起來的和數(shù)據(jù)打交道的經(jīng)驗既是大數(shù)據(jù)新商業(yè)模式技術(shù)和理念的基礎(chǔ)，又有可能束縛大數(shù)據(jù)商業(yè)革命，因為有經(jīng)驗的商務智能人士會不自覺地把大數(shù)據(jù)分析庸俗化，認為只是傳統(tǒng)商務智能針對更大規(guī)模數(shù)據(jù)集的一種平凡推廣。

大數(shù)據(jù)商業(yè)模式也可以粗略地分為1.0版本，2.0版本和3.0版本。
大數(shù)據(jù)1.0是指企業(yè)自身的產(chǎn)品和服務產(chǎn)生了大量的數(shù)據(jù)，通過對這些數(shù)據(jù)進行深入的挖掘分析，改進自身業(yè)務，改進后的業(yè)務吸引更多用戶或客戶，產(chǎn)生更大量的數(shù)據(jù)，形成正向的循環(huán)。亞馬遜是一個典型的例子，他們利用以“基于商品的協(xié)同過濾”為主要代表的一系列推薦算法[2]，幫助用戶找到他們可能喜歡的商品。這種精準的個性化服務的背后，是非常復雜的算法和實時大數(shù)據(jù)處理能力[3]。亞馬遜的算法大大提高了用戶的黏度和企業(yè)的銷售額，從而產(chǎn)生了更多有價值的數(shù)據(jù)，這些數(shù)據(jù)又幫助亞馬遜把分析做得更深入，進一步提高銷售量。大數(shù)據(jù)1.0追求從數(shù)據(jù)到分析，從分析到更多更好的數(shù)據(jù)，再到更深入分析這樣的正向循環(huán)。
大數(shù)據(jù)的2.0是指企業(yè)用自身業(yè)務產(chǎn)生的數(shù)據(jù)，去解決主營業(yè)務以外的其他問題，獲得重大的價值;或者引入非企業(yè)自身業(yè)務的外部數(shù)據(jù)，來解決企業(yè)自己遇到的問題。大數(shù)據(jù)2.0強調(diào)的是數(shù)據(jù)的外部性。Google曾利用網(wǎng)頁搜索詞的記錄，來預測流感爆發(fā)后隨時間變化的新增病例數(shù)[4]。顯然，預測流感趨勢這一需求并不包含在記錄網(wǎng)頁搜索詞的初衷中。ZestFinance有一個口號，就是一切數(shù)據(jù)都是信用數(shù)據(jù)，實際上，他們大量采集用戶在社會媒體上留下的數(shù)據(jù)，從這些數(shù)據(jù)中對用戶的信用進行判斷，特別地，預測用戶拖延還貸的概率。ZestFinance通過這種分析，能夠在低于行業(yè)平均拖延還貸率的條件下，進行更快更低成本的貸款發(fā)放。顯然，用戶在社交媒體上產(chǎn)生的數(shù)據(jù)，并不是ZestFinance自身產(chǎn)生的，但是一樣可以服務于ZestFinance的業(yè)務。

大數(shù)據(jù)3.0是一個尚在探索中的商業(yè)形態(tài)。它首先要求政府和行業(yè)，對數(shù)據(jù)質(zhì)量、價值、權(quán)益、隱私、安全等產(chǎn)生充分認識，出臺量化與保障措施。在此基礎(chǔ)上，數(shù)據(jù)運營商出現(xiàn)，提供集成數(shù)據(jù)和存儲、計算的平臺。在此基礎(chǔ)上，形成了以加工粗數(shù)據(jù)和已有數(shù)據(jù)產(chǎn)品，產(chǎn)生新的數(shù)據(jù)產(chǎn)品為主要活動的數(shù)據(jù)客(Dacker)。個人、團隊和企業(yè)通過數(shù)據(jù)API接口或其他方式付費使用數(shù)據(jù)產(chǎn)品，數(shù)據(jù)客、運營商和被加工原料所有者共同分享數(shù)據(jù)產(chǎn)品的利益。數(shù)據(jù)市場也可能應運而生，數(shù)據(jù)和數(shù)據(jù)產(chǎn)品有可能象今天淘寶集市上的商品被售賣交換。于是，一種新的以數(shù)據(jù)/數(shù)據(jù)產(chǎn)品為輸入，數(shù)據(jù)/數(shù)據(jù)產(chǎn)品為輸出的新商業(yè)模式誕生，這種模式不同于2B(to business)和2C(to customer)的模式——譬如一款精確位置告知實時空氣質(zhì)量的API接口，既可能被企業(yè)和政府使用，也可能被個人使用。為了區(qū)分，我們稱這種模式為2D(to data)的商業(yè)模式[5]。新商業(yè)模式的直接后果，就是促進學術(shù)團體、企業(yè)和政府通過大量異質(zhì)數(shù)據(jù)和數(shù)據(jù)產(chǎn)品產(chǎn)生科學、社會、經(jīng)濟等方面的新價值。

3.成為大數(shù)據(jù)企業(yè)

什么樣的企業(yè)是大數(shù)據(jù)企業(yè)?恐怕沒有人能夠給出一個完美的答案。但是，直觀地，我們可能覺得Google更像是一個大數(shù)據(jù)的企業(yè)，Amazon也像是一個大數(shù)據(jù)的企業(yè)，而中國銀行似乎不太像一個大數(shù)據(jù)的企業(yè)，盡管它每天也一樣浸泡在海量的數(shù)據(jù)中。除了具有處理大量數(shù)據(jù)的能力外，之所以Google和Amazon更像大數(shù)據(jù)的企業(yè)，是因為他們有深入的數(shù)據(jù)分析工具，利用數(shù)據(jù)分析的結(jié)果直接指導決策，而且經(jīng)常推出基于數(shù)據(jù)分析的創(chuàng)新型應用。遺憾的是，并沒有一條放之四海皆準的通往大數(shù)據(jù)企業(yè)的康莊大道，更沒有點石成金之術(shù)可以讓一個企業(yè)Google化。本文僅僅從四個方面提出一些可以看得見摸得著的建議，藏在這些建議背后的大數(shù)據(jù)理念，或許更加重要。



第一，企業(yè)的一切生產(chǎn)經(jīng)營流程都需要數(shù)據(jù)化——這是企業(yè)能夠通過深入數(shù)據(jù)分析，實現(xiàn)自身優(yōu)化的基礎(chǔ)。舉個典型的例子，長虹在自己的生產(chǎn)線上，通過大量傳感器，記錄生產(chǎn)環(huán)境的溫度、濕度、粉塵等等，通過這些量化指標與產(chǎn)品質(zhì)量的關(guān)聯(lián)分析，得到影響產(chǎn)品優(yōu)品率和良品率的關(guān)鍵因素，從而通過環(huán)境因素控制，明顯提高了產(chǎn)品的優(yōu)品率。有的讀者可能會說，生產(chǎn)流程容易量化，那么拜訪一個客戶，提供一種服務，難道也能量化嗎?實際上，數(shù)據(jù)化不等于量化，更不僅僅局限于結(jié)構(gòu)化量表，就此，思創(chuàng)銀聯(lián)提供了一個很巧妙的解決方案。通過一個名為“亦群”的產(chǎn)品，思創(chuàng)銀聯(lián)的員工將每天的工作內(nèi)容通過類似于博客和論壇的系統(tǒng)，分享給所有其他員工——這種分享完全不同于OA任務流，而是一種帶有社交附加價值的主動記錄。通過評論和關(guān)注，企業(yè)形成了一種在層次管理結(jié)構(gòu)之外的扁平化社交結(jié)構(gòu)。更為重要的是，企業(yè)處理問題的相關(guān)流程、文件、討論都保留了下來，從而幫助企業(yè)管理者進行考核，也幫助企業(yè)員工通過基于關(guān)聯(lián)用戶和文本智能匹配進行搜索，快速找到對自己現(xiàn)有業(yè)務和客戶有參考價值的案例和文件。

第二，企業(yè)需要建立基于海量數(shù)據(jù)的深入分析能力。在大數(shù)據(jù)時代，數(shù)據(jù)分析能力的強弱，類似于工業(yè)時代制造工藝的先進與否。真正的大數(shù)據(jù)企業(yè)，都具有行業(yè)領(lǐng)先的數(shù)據(jù)分析能力。百分點是一個典型的以數(shù)據(jù)分析能力見長的大數(shù)據(jù)企業(yè)。它提供非常多樣的服務，但是絕大部分服務所要解決的核心問題，都是基于用戶瀏覽、收藏、購買等記錄，實時向用戶推薦感興趣的東西——這些東西可以是網(wǎng)購商品也可以是新聞資訊，可以是個性化廣告也可以是股票及理財產(chǎn)品。為了對一個用戶進行實時的商品推薦，百分點首先要根據(jù)這個用戶歷史瀏覽消費的習慣和最近幾次瀏覽的記錄，預測用戶的意圖——是有明確的購買意向，還是隨便逛逛?根據(jù)用戶的意圖，百分點自動在數(shù)十種推薦算法中進行精選，返回推薦結(jié)果候選集合。推薦的結(jié)果，還要根據(jù)商家的偏好以及用戶地理位置、價格敏感度等等信息，進行再一次的過濾……每一個簡單的推薦展示，都是在數(shù)十種算法和復雜的分析規(guī)則中通過殘酷競爭才得以脫穎而出的[6]。大數(shù)據(jù)企業(yè)，需要有意識儲備數(shù)據(jù)挖掘、機器學習方面的人才和技術(shù)，能夠高效率完成分類、聚類、預測、推薦等較復雜的數(shù)據(jù)分析工作。



第三，企業(yè)要制定戰(zhàn)略數(shù)據(jù)儲備計劃。數(shù)據(jù)就像石油，而且是放在聚寶盆中取用不竭的石油——如果它被存儲下來了。具有戰(zhàn)略眼光的企業(yè)，能夠判斷數(shù)據(jù)未來的價值，在當前看不到數(shù)據(jù)的直接用途，或者只有低價值用途的時候，愿意花成本存儲一些潛藏巨大價值的數(shù)據(jù)。雅昌是一個以復印藝術(shù)品為主要業(yè)務的企業(yè)，它敏銳地感覺到“哪些藝術(shù)家的哪些藝術(shù)品被復印了多少次……”這類數(shù)據(jù)是有價值的，于是從幾十年前光盤還很貴的時候，就花大力氣把這些數(shù)據(jù)存下來了?，F(xiàn)在雅昌的指數(shù)，是藝術(shù)品拍賣中最具影響力的指數(shù)之一，雅昌藝術(shù)網(wǎng)已經(jīng)成為了中國第一的藝術(shù)門戶網(wǎng)站。存儲和自身業(yè)務有關(guān)的數(shù)據(jù)，僅僅是企業(yè)戰(zhàn)略數(shù)據(jù)儲備計劃的第一步，更進一步地，企業(yè)還應該存儲對自身業(yè)務有幫助的外部數(shù)據(jù)，例如論壇和專業(yè)門戶網(wǎng)站的內(nèi)容可以反映產(chǎn)品的口碑，微博微信的數(shù)據(jù)可以反映潛在用戶的興趣，等等。這些數(shù)據(jù)往往對很多業(yè)務都能夠產(chǎn)生價值，如果沒有完整的存儲更新計劃，臨渴掘井的結(jié)果只能是“數(shù)到用時方恨少”。

第四，企業(yè)要以包容的心態(tài)開放數(shù)據(jù)，擁抱數(shù)據(jù)創(chuàng)新。偉大的企業(yè)懂得如何把最聰明的人集合起來，為自己服務。企業(yè)有了大量數(shù)據(jù)和一定的分析能力后，不能固步自封，而要充分借助社會的力量，盡最大可能發(fā)揮數(shù)據(jù)潛藏的價值。Netflix曾經(jīng)公開了包含50多萬用戶和17770部電影的在線評分數(shù)據(jù)，并懸賞100萬美元獎勵能夠?qū)etflix現(xiàn)有評分預測準確度提高10%的團隊[7]。類似的競賽在Kaggle數(shù)據(jù)挖掘競賽平臺上屢見不鮮。中國互聯(lián)網(wǎng)信息中心曾聯(lián)合數(shù)據(jù)堂推出了首屆中國互聯(lián)網(wǎng)數(shù)據(jù)平臺數(shù)據(jù)挖掘比賽，該比賽不局限于具體的算法，而是要求選手利用給定的若干數(shù)據(jù)集，設(shè)計創(chuàng)新型商業(yè)應用。企業(yè)通過這些數(shù)據(jù)開放計劃，學習最先進的算法和最具創(chuàng)新性的數(shù)據(jù)應用產(chǎn)品，實現(xiàn)自身數(shù)據(jù)的價值最大化。