如何駕馭大數(shù)據(jù)

  到 2018年 全球大數(shù)據(jù)方面的開支將達 1140 億美元，是 5年 前的 3 倍；到 2020年 全球大數(shù)據(jù)規(guī)模將達 44ZB（澤字節(jié)），是 2013年 的 10 倍。下一波大數(shù)據(jù)浪潮即將來襲，但是并沒有多少組織為此做好準備。如果應對措施不當，你可能就不是弄潮的那個，而是被浪尖打翻的那個。如何為駕馭大數(shù)據(jù)做好準備呢？請看 Crewspark CEO Cameron Sim 的文章。

　　1140 億美元。這是 2018年 全球組織在大數(shù)據(jù)方面的開銷，僅僅 5年 的時間就增長了 300%以上。但是這些投入有多少是值得的呢？

　　過去 10年，我們目睹了大數(shù)據(jù)管理新方法的廣泛應用，如 MapReduce、供大規(guī)模存儲使用的非模式化數(shù)據(jù)庫，以及用于存儲和處理的 Hadoop、Storm 和 Spark 等。但是大數(shù)據(jù)的使用不僅僅是特定平臺或范例的部署而已： 通常這意味著公司對數(shù)據(jù)的建構和組織進行徹底的重新設計。

　　但據(jù)調查發(fā)現(xiàn)，目前還沒有多少組織為新的數(shù)據(jù)平臺和能力做好基本準備。只有 35%的組織擁有了 “健壯的數(shù)據(jù)捕捉、管理、驗證及保存流程”，更有 67%“缺乏衡量定義明確的大數(shù)據(jù)行動成功的標準?！?那些大數(shù)據(jù)解決方案基本都是被動集成進來的。

　　但時間可不等人，根據(jù) 2014年IDC 的報告，到 2020年，全球的數(shù)據(jù)總量將達 44ZB，整整是 2013年 的 10 倍。面對著下一波的數(shù)據(jù)大爆發(fā)，那些未做好準備的公司將可能就會有背負運營和技術雙重債務的風險，并因數(shù)據(jù)落后而被淘汰出局。

　　具體而言，這些風險體現(xiàn)在以下幾個方面：

　　企業(yè)喪失透明度

　　業(yè)界將面臨大規(guī)模的技能短缺問題——很少有 IT 專業(yè)人士有經(jīng)驗管理大規(guī)模的大數(shù)據(jù)平臺。根據(jù)麥肯錫的分析，到 2018年，美國將出現(xiàn) 150 萬名有能力做出基于數(shù)據(jù)決策的經(jīng)理。為了縮短這一鴻溝，麥肯錫估計企業(yè)將需要把數(shù)據(jù)和分析預算的 50%投入到一線經(jīng)理的培訓上面。但是還沒有多少公司意識到這一點。

　　隨著數(shù)據(jù)需求的擴大，如果對信息管理缺乏深刻理解，對數(shù)據(jù)擴展性缺乏最佳實踐，那么在管理數(shù)據(jù)驅動的系統(tǒng)時就會遭遇到重大挑戰(zhàn)。而糟糕的運營透明度會導致企業(yè)很難識別出數(shù)據(jù)何時不準確和無意義，甚至連關鍵報表和指標是否正確運行都不知道。理清這些錯綜復雜并對數(shù)據(jù)提出正確的問題將成為 IT 人員的必備技能。否則就會缺乏對企業(yè)運營的可視性，無法有效做出知情決策并削弱企業(yè)的競爭優(yōu)勢。

　　人工成本飆升

　　據(jù)估計 2014年 時數(shù)據(jù)科學家 50-80%的工作時間花在了數(shù)據(jù)集清理和處理上。近期公司往往傾向把數(shù)據(jù)準備工作的自動化外包給離岸或近岸的數(shù)據(jù)專家。對 CloudFactory、MobileWorks 及 Samasource 這類微工作平臺的需求已經(jīng)爆發(fā)，據(jù)估計，到 2018年 這類業(yè)務的規(guī)模將達到 50 億美元。

　　但是外包無法規(guī)模滿足需求。鑒于未來的數(shù)據(jù)量將達到 44ZB，數(shù)據(jù)的這種快速增長會需要成千上萬具備長期可行的解決方案的離岸或近岸外包團隊。而任何可持續(xù)的解決方案都離不開顯著的自動化。

　　通信障礙

　　現(xiàn)在企業(yè)間的交互依靠的是經(jīng)過組織的數(shù)據(jù)，但與未來 20年 發(fā)生的事情相比，這種組織數(shù)據(jù)的過程將會顯得蒼白無力。未來將會出現(xiàn)新的企業(yè)數(shù)據(jù)網(wǎng)絡標準以及相應的算法和元數(shù)據(jù)。未能參與到這一全球數(shù)據(jù)市場的公司將無法利用市面上銷售的這些數(shù)據(jù)產(chǎn)品。

　　全球各個領域都在發(fā)生這種朝著大規(guī)模商業(yè)數(shù)據(jù)共享的演變。比方說，在要求第三方驗證其研究的壓力之下，像葛蘭素史克這樣的藥企最近都擬定了更廣泛共享實驗數(shù)據(jù)的計劃。奧巴馬總統(tǒng)已經(jīng)要求技術公司共享潛在黑客威脅的數(shù)據(jù)。Forrester 最近的一項研究預測，數(shù)據(jù)服務將成為 2015年 的主流產(chǎn)品。按照這種節(jié)奏，10年 后大數(shù)據(jù)的有效使用不僅會成為市場致勝的關鍵，而且還是參與市場的先決條件。

　　這些風險就像一個個大數(shù)據(jù)的定時炸彈，對你構成嚴峻挑戰(zhàn)。不過如果你采取下面的三個步驟，危險也許就可以解除。

　　1、不要走一步看一步

　　為了確保未來的分析能力，企業(yè)必須現(xiàn)在就開始投資一個能夠快速有效管理新數(shù)據(jù)集的平臺。應該考慮業(yè)務未來在數(shù)據(jù)攝入與聯(lián)合方面如何運作，如何從傳統(tǒng)的系統(tǒng)過渡到端到端的自動化的數(shù)據(jù)與分析。

　　其核心是這個平臺要能夠有目的地、小心地、透明地擴充，而不是光收集數(shù)據(jù)，但對這些數(shù)據(jù)使用卻沒有明確的目的，或者在數(shù)據(jù)的解析上不做投入。

　　2、再痛也要重建舊數(shù)據(jù)應用架構

　　許多公司過度依賴維護開銷很高的舊系統(tǒng)，導致升級或作出戰(zhàn)略變革的優(yōu)先性被貶低。甚至一些大公司也是如此，比方說三星的 SmartHub TV 是跑在云上面的，但是因為顧忌遷移成本，其所有的金融交易仍在本地處理。

　　其結果就是在許多組織里面數(shù)據(jù)形成了一個個以部門為單位的煙囪。某些數(shù)據(jù)，比方說社交媒體方面的信息，甚至還保存在公司以外，這又增加了一層復雜性。要想大數(shù)據(jù)創(chuàng)新，企業(yè)必須以提高跨部門運營透明度為焦點對舊的數(shù)據(jù)應用進行翻新。

　　3、模塊化、多顆粒度的數(shù)據(jù)管理

　　要把裸數(shù)據(jù)和洞察數(shù)據(jù)塑造成模塊化、組織得當、具備各種顆粒度的實體，這一步做得越深入，越能夠有效的利用商業(yè)洞察，同時還能在永遠變化的大數(shù)據(jù)形勢中保持敏捷的反應力。