掘金大數(shù)據(jù)：為企業(yè)植入“智商”_數(shù)據(jù)分析師

大數(shù)據(jù)無疑是未來影響各行各業(yè)發(fā)展的最受矚目的技術(shù)之一。根據(jù)IBM的一項(xiàng)研究，過去兩年生成的信息占整個(gè)人類歷史信息總量的百分之九十。換言之，大數(shù)據(jù)的體量已經(jīng)達(dá)到了傳統(tǒng)數(shù)據(jù)庫管理系統(tǒng)無法有效處理的程度。人們無論是使用手機(jī)，還是進(jìn)行網(wǎng)絡(luò)購物，都會(huì)留下自己的數(shù)字足跡。

數(shù)據(jù)信息的大爆炸，無疑將引發(fā)企業(yè)的巨大管理變革。“應(yīng)該說，大數(shù)據(jù)會(huì)讓企業(yè)更好地理解消費(fèi)者，同時(shí)讓決策變得更加有效。當(dāng)然，它帶來的挑戰(zhàn)也不容小覷?！卑Ｉ軕?zhàn)略咨詢?nèi)蚨驴偨?jīng)理馬克·斯佩爾曼在本屆達(dá)沃斯論壇上向記者表示，“如果企業(yè)忽視了這些數(shù)據(jù)，將會(huì)引發(fā)巨大的競(jìng)爭(zhēng)風(fēng)險(xiǎn)?！?/span>

那么，大數(shù)據(jù)將為商業(yè)世界帶來怎樣的本質(zhì)性的變化？

掘金大數(shù)據(jù)

眼下，各個(gè)行業(yè)都在產(chǎn)生數(shù)據(jù)，現(xiàn)代社會(huì)的數(shù)據(jù)量正持續(xù)地以前所未有的速度增加著。與此同時(shí)，數(shù)據(jù)的類型變得難以計(jì)數(shù)，包括文本、微博、傳感器數(shù)據(jù)、音頻、視頻等，各種形式的數(shù)據(jù)都出現(xiàn)了爆炸性增長。

傳統(tǒng)的數(shù)據(jù)分析，是通過提出假設(shè)然后獲得相應(yīng)數(shù)據(jù)，最后通過數(shù)據(jù)分析來驗(yàn)證假設(shè)。而大數(shù)據(jù)恰恰相反，它是從收集的海量數(shù)據(jù)中，通過算法將這些來自不同渠道、格式的數(shù)據(jù)進(jìn)行直接分析，從中尋找到數(shù)據(jù)之間的相關(guān)性。簡單而言，大數(shù)據(jù)更偏重于發(fā)現(xiàn)，以及猜測(cè)、印證的循環(huán)逼近過程。

一方面，大數(shù)據(jù)有助于人們發(fā)現(xiàn)事物的個(gè)體特性，并針對(duì)每一個(gè)個(gè)體提供差異化的解決方案；另一方面，大數(shù)據(jù)研究也能幫助人們從大量個(gè)體的差異變化中，揭示其中存在的難以察覺的規(guī)律。

“打個(gè)比方，當(dāng)一輛高鐵在行駛過程中，大數(shù)據(jù)技術(shù)是通過各個(gè)外部渠道的實(shí)時(shí)數(shù)據(jù)來分析高鐵的安全性。在分析的同時(shí)，火車仍在行駛，不會(huì)停下。”馬克·斯佩爾曼表示，“而傳統(tǒng)的分析方法，是一定要等出現(xiàn)事故后才進(jìn)行追溯分析?！?/span>

馬克同時(shí)坦言，駕馭大數(shù)據(jù)的能力并非那么容易獲得。很多時(shí)候，傳統(tǒng)的商業(yè)智能系統(tǒng)與分析軟件，在面對(duì)視頻、圖片、文字等非結(jié)構(gòu)化數(shù)據(jù)時(shí)，往往束手無策，缺少有效的分析工具和模型。

“一直以來，大數(shù)據(jù)技術(shù)的難點(diǎn)并非在數(shù)據(jù)的收集上，而是如何利用這些數(shù)據(jù)?！瘪R克稱，“企業(yè)必須去蕪存菁，將數(shù)據(jù)轉(zhuǎn)化為正確的商業(yè)決策，才能與競(jìng)爭(zhēng)對(duì)手形成差異化?！?/span>

就這一點(diǎn)來說，全球最大的拍賣網(wǎng)站eBay的做法頗為典型。譬如，一位年輕的女性早上10點(diǎn)在星巴克瀏覽eBay網(wǎng)站，eBay應(yīng)該推送給她什么樣的商品呢？事實(shí)上，eBay此前已經(jīng)研究了各種不同情形下的不同購物模式，它可以從用戶以往的瀏覽記錄里推斷她想要什么樣的商品，也可以從設(shè)定的成百上千種情景模型中計(jì)算出用戶可能的需求；或是對(duì)照另一位有著相似特點(diǎn)的女性用戶，看她當(dāng)時(shí)買過什么樣的商品，從而判斷出這位用戶潛在的需求。在綜合各種考量因素后，eBay的后臺(tái)往往在短短幾秒內(nèi)將商品頁面推送給用戶。

變革與挑戰(zhàn)

通常情況下，獲得的信息越多越有利于企業(yè)做出明智的決策。但很多時(shí)候，數(shù)據(jù)量過大、數(shù)據(jù)模型欠缺，會(huì)讓分析的結(jié)果與真實(shí)狀況大相徑庭。就eBay而言，其基于數(shù)據(jù)分析后“猜錯(cuò)”的情況非常非常多。

據(jù)專家測(cè)算，數(shù)據(jù)分析師的50%~80%的時(shí)間都花在了處理數(shù)據(jù)上。即便如此，數(shù)據(jù)搜集的偏差、誤差積累疊加、假關(guān)聯(lián)性、數(shù)據(jù)外生性等問題，紛紛“污染”著分析運(yùn)算的結(jié)果。

在此基礎(chǔ)上，全球數(shù)據(jù)目前以每兩年翻一番的速度遞增，2007年時(shí)，全球傳感器獲取的數(shù)據(jù)就超過了存儲(chǔ)總量。大數(shù)據(jù)的存儲(chǔ)成本很高，而要獲取一些新數(shù)據(jù)，就必須丟掉舊數(shù)據(jù)。這同樣不利于數(shù)據(jù)的分析與研究。

此外，來自各種傳感器、文檔、網(wǎng)頁、數(shù)據(jù)庫的數(shù)據(jù)，大多是不同的格式。而這些數(shù)據(jù)要被軟件理解和分析，必須被轉(zhuǎn)換為統(tǒng)一格式。

將各類數(shù)據(jù)進(jìn)行格式統(tǒng)一，又是一個(gè)嚴(yán)峻的挑戰(zhàn)。數(shù)據(jù)和人類語言一樣都具有模糊性，有些數(shù)據(jù)人們知道是什么意思，計(jì)算機(jī)卻不能識(shí)別。于是，很多時(shí)候，人們不得不一次又一次地重復(fù)數(shù)據(jù)轉(zhuǎn)化的工作。

相比于大數(shù)據(jù)帶來的技術(shù)挑戰(zhàn)，更大的難題來自于決策的變化。在信息有限、獲取成本高昂且沒有被數(shù)字化的時(shí)代，企業(yè)內(nèi)作重大決策的人往往都是組織的最高層，或是外部擁有專業(yè)技能和顯赫履歷的智囊團(tuán)。時(shí)至今日，高管的決策仍然更多地依賴個(gè)人經(jīng)驗(yàn)和直覺，而不是基于數(shù)據(jù)。但到了大數(shù)據(jù)時(shí)代，數(shù)據(jù)分析會(huì)直接影響組織怎樣做決策、誰來做決策，從而減弱個(gè)人的共識(shí)性。一個(gè)明顯例子是，在媒體業(yè)，《赫芬頓郵報(bào)》和Gawker網(wǎng)站上傳播的新聞通常取決于數(shù)據(jù)，而不再取決于編輯和記者的新聞敏感度。數(shù)據(jù)比有經(jīng)驗(yàn)的記者更能揭示出哪些是符合大眾口味的新聞。

不過，大多數(shù)組織都無法輕松地完成這一轉(zhuǎn)變。在9月10日舉辦的達(dá)沃斯論壇上，普華永道發(fā)布報(bào)告稱，調(diào)查顯示僅有三分之一高管們表示，他們?cè)谏弦淮沃贫ㄖ卮鬀Q策時(shí)采用了數(shù)據(jù)和分析。雖然有58%的高管們?cè)跊Q策制定上，還是依據(jù)直覺、經(jīng)驗(yàn)、建議以及在企業(yè)中的其他經(jīng)驗(yàn)，但43%的高管們承認(rèn)，那些擁有高度數(shù)據(jù)驅(qū)動(dòng)的企業(yè)，在過去兩年的決策制定獲得了很大的提升。所有高管們都表示，未來兩年將優(yōu)先考慮對(duì)高質(zhì)量數(shù)據(jù)分析的投入，以更好的制定決策。

“應(yīng)該說，大數(shù)據(jù)并不會(huì)完全取代個(gè)體做決策，即便取代，那也有很長的路要走?！瘪R克指出，“但大數(shù)據(jù)會(huì)改變?nèi)藗冏鰶Q策的內(nèi)容和方向，會(huì)對(duì)管理者的知識(shí)結(jié)構(gòu)和分析能力提出更高要求?！?/span>