大數(shù)據(jù):為企業(yè)植入“智商”_數(shù)據(jù)分析師

傳統(tǒng)的數(shù)據(jù)分析，是通過提出假設(shè)然后獲得相應(yīng)數(shù)據(jù)，最后通過數(shù)據(jù)分析來驗證假設(shè)。而大數(shù)據(jù)恰恰相反，它是從收集的海量數(shù)據(jù)中，通過算法將這些來自不同渠道、格式的數(shù)據(jù)進行直接分析，從中尋找到數(shù)據(jù)之間的相關(guān)性。簡單而言，大數(shù)據(jù)更偏重于發(fā)現(xiàn)，以及猜測、印證的循環(huán)逼近過程。
　　一方面，大數(shù)據(jù)有助于人們發(fā)現(xiàn)事物的個體特性，并針對每一個個體提供差異化的解決方案；另一方面，大數(shù)據(jù)研究也能幫助人們從大量個體的差異變化中，揭示其中存在的難以察覺的規(guī)律。
　　“打個比方，當(dāng)一輛高鐵在行駛過程中，大數(shù)據(jù)技術(shù)是通過各個外部渠道的實時數(shù)據(jù)來分析高鐵的安全性。在分析的同時，火車仍在行駛，不會停下。”馬克·斯佩爾曼表示，“而傳統(tǒng)的分析方法，是一定要等出現(xiàn)事故后才進行追溯分析。”
　　馬克同時坦言，駕馭大數(shù)據(jù)的能力并非那么容易獲得。很多時候，傳統(tǒng)的商業(yè)智能系統(tǒng)與分析軟件，在面對視頻、圖片、文字等非結(jié)構(gòu)化數(shù)據(jù)時，往往束手無策，缺少有效的分析工具和模型。
　　“一直以來，大數(shù)據(jù)技術(shù)的難點并非在數(shù)據(jù)的收集上，而是如何利用這些數(shù)據(jù)?！瘪R克稱，“企業(yè)必須去蕪存菁，將數(shù)據(jù)轉(zhuǎn)化為正確的商業(yè)決策，才能與競爭對手形成差異化。”
　　就這一點來說，全球最大的拍賣網(wǎng)站eBay的做法頗為典型。譬如，一位年輕的女性早上10點在星巴克瀏覽eBay網(wǎng)站，eBay應(yīng)該推送給她什么樣的商品呢？事實上，eBay此前已經(jīng)研究了各種不同情形下的不同購物模式，它可以從用戶以往的瀏覽記錄里推斷她想要什么樣的商品，也可以從設(shè)定的成百上千種情景模型中計算出用戶可能的需求；或是對照另一位有著相似特點的女性用戶，看她當(dāng)時買過什么樣的商品，從而判斷出這位用戶潛在的需求。在綜合各種考量因素后，eBay的后臺往往在短短幾秒內(nèi)將商品頁面推送給用戶。
　　變革與挑戰(zhàn)
　　通常情況下，獲得的信息越多越有利于企業(yè)做出明智的決策。但很多時候，數(shù)據(jù)量過大、數(shù)據(jù)模型欠缺，會讓分析的結(jié)果與真實狀況大相徑庭。就eBay而言，其基于數(shù)據(jù)分析后“猜錯”的情況非常非常多。
　　據(jù)專家測算，數(shù)據(jù)分析師的50%~80%的時間都花在了處理數(shù)據(jù)上。即便如此，數(shù)據(jù)搜集的偏差、誤差積累疊加、假關(guān)聯(lián)性、數(shù)據(jù)外生性等問題，紛紛“污染”著分析運算的結(jié)果。
　　在此基礎(chǔ)上，全球數(shù)據(jù)目前以每兩年翻一番的速度遞增，2007年時，全球傳感器獲取的數(shù)據(jù)就超過了存儲總量。大數(shù)據(jù)的存儲成本很高，而要獲取一些新數(shù)據(jù)，就必須丟掉舊數(shù)據(jù)。這同樣不利于數(shù)據(jù)的分析與研究。
　　此外，來自各種傳感器、文檔、網(wǎng)頁、數(shù)據(jù)庫的數(shù)據(jù)，大多是不同的格式。而這些數(shù)據(jù)要被軟件理解和分析，必須被轉(zhuǎn)換為統(tǒng)一格式。
　　將各類數(shù)據(jù)進行格式統(tǒng)一，又是一個嚴峻的挑戰(zhàn)。數(shù)據(jù)和人類語言一樣都具有模糊性，有些數(shù)據(jù)人們知道是什么意思，計算機卻不能識別。于是，很多時候，人們不得不一次又一次地重復(fù)數(shù)據(jù)轉(zhuǎn)化的工作。
　　相比于大數(shù)據(jù)帶來的技術(shù)挑戰(zhàn)，更大的難題來自于決策的變化。在信息有限、獲取成本高昂且沒有被數(shù)字化的時代，企業(yè)內(nèi)作重大決策的人往往都是組織的最高層，或是外部擁有專業(yè)技能和顯赫履歷的智囊團。時至今日，高管的決策仍然更多地依賴個人經(jīng)驗和直覺，而不是基于數(shù)據(jù)。但到了大數(shù)據(jù)時代，數(shù)據(jù)分析會直接影響組織怎樣做決策、誰來做決策，從而減弱個人的共識性。一個明顯例子是，在媒體業(yè)，《赫芬頓郵報》和Gawker網(wǎng)站上傳播的新聞通常取決于數(shù)據(jù)，而不再取決于編輯和記者的新聞敏感度。數(shù)據(jù)比有經(jīng)驗的記者更能揭示出哪些是符合大眾口味的新聞。
　　不過，大多數(shù)組織都無法輕松地完成這一轉(zhuǎn)變。在9月10日舉辦的達沃斯論壇上，普華永道發(fā)布報告稱，調(diào)查顯示僅有三分之一高管們表示，他們在上一次制定重大決策時采用了數(shù)據(jù)和分析。雖然有58%的高管們在決策制定上，還是依據(jù)直覺、經(jīng)驗、建議以及在企業(yè)中的其他經(jīng)驗，但43%的高管們承認，那些擁有高度數(shù)據(jù)驅(qū)動的企業(yè)，在過去兩年的決策制定獲得了很大的提升。所有高管們都表示，未來兩年將優(yōu)先考慮對高質(zhì)量數(shù)據(jù)分析的投入，以更好的制定決策。
　　“應(yīng)該說，大數(shù)據(jù)并不會完全取代個體做決策，即便取代，那也有很長的路要走?！瘪R克指出，“但大數(shù)據(jù)會改變?nèi)藗冏鰶Q策的內(nèi)容和方向，會對管理者的知識結(jié)構(gòu)和分析能力提出更高要求。”

變革與挑戰(zhàn)
　　通常情況下，獲得的信息越多越有利于企業(yè)做出明智的決策。但很多時候，數(shù)據(jù)量過大、數(shù)據(jù)模型欠缺，會讓分析的結(jié)果與真實狀況大相徑庭。就eBay而言，其基于數(shù)據(jù)分析后“猜錯”的情況非常非常多。
　　據(jù)專家測算，數(shù)據(jù)分析師的50%~80%的時間都花在了處理數(shù)據(jù)上。即便如此，數(shù)據(jù)搜集的偏差、誤差積累疊加、假關(guān)聯(lián)性、數(shù)據(jù)外生性等問題，紛紛“污染”著分析運算的結(jié)果。
　　在此基礎(chǔ)上，全球數(shù)據(jù)目前以每兩年翻一番的速度遞增，2007年時，全球傳感器獲取的數(shù)據(jù)就超過了存儲總量。大數(shù)據(jù)的存儲成本很高，而要獲取一些新數(shù)據(jù)，就必須丟掉舊數(shù)據(jù)。這同樣不利于數(shù)據(jù)的分析與研究。
　　此外，來自各種傳感器、文檔、網(wǎng)頁、數(shù)據(jù)庫的數(shù)據(jù)，大多是不同的格式。而這些數(shù)據(jù)要被軟件理解和分析，必須被轉(zhuǎn)換為統(tǒng)一格式。
　　將各類數(shù)據(jù)進行格式統(tǒng)一，又是一個嚴峻的挑戰(zhàn)。數(shù)據(jù)和人類語言一樣都具有模糊性，有些數(shù)據(jù)人們知道是什么意思，計算機卻不能識別。于是，很多時候，人們不得不一次又一次地重復(fù)數(shù)據(jù)轉(zhuǎn)化的工作。
　　相比于大數(shù)據(jù)帶來的技術(shù)挑戰(zhàn)，更大的難題來自于決策的變化。在信息有限、獲取成本高昂且沒有被數(shù)字化的時代，企業(yè)內(nèi)作重大決策的人往往都是組織的最高層，或是外部擁有專業(yè)技能和顯赫履歷的智囊團。時至今日，高管的決策仍然更多地依賴個人經(jīng)驗和直覺，而不是基于數(shù)據(jù)。但到了大數(shù)據(jù)時代，數(shù)據(jù)分析會直接影響組織怎樣做決策、誰來做決策，從而減弱個人的共識性。一個明顯例子是，在媒體業(yè)，《赫芬頓郵報》和Gawker網(wǎng)站上傳播的新聞通常取決于數(shù)據(jù)，而不再取決于編輯和記者的新聞敏感度。數(shù)據(jù)比有經(jīng)驗的記者更能揭示出哪些是符合大眾口味的新聞。
　　不過，大多數(shù)組織都無法輕松地完成這一轉(zhuǎn)變。在9月10日舉辦的達沃斯論壇上，普華永道發(fā)布報告稱，調(diào)查顯示僅有三分之一高管們表示，他們在上一次制定重大決策時采用了數(shù)據(jù)和分析。雖然有58%的高管們在決策制定上，還是依據(jù)直覺、經(jīng)驗、建議以及在企業(yè)中的其他經(jīng)驗，但43%的高管們承認，那些擁有高度數(shù)據(jù)驅(qū)動的企業(yè)，在過去兩年的決策制定獲得了很大的提升。所有高管們都表示，未來兩年將優(yōu)先考慮對高質(zhì)量數(shù)據(jù)分析的投入，以更好的制定決策。
　　“應(yīng)該說，大數(shù)據(jù)并不會完全取代個體做決策，即便取代，那也有很長的路要走?！瘪R克指出，“但大數(shù)據(jù)會改變?nèi)藗冏鰶Q策的內(nèi)容和方向，會對管理者的知識結(jié)構(gòu)和分析能力提出更高要求?！?/span>