數(shù)據(jù)分析師發(fā)展前景如何，毫無疑問是樂觀而且持續(xù)樂觀的。于個人而言，無論大局勢的數(shù)據(jù)分析師發(fā)展前景是好是壞，對于我們個人而言，關(guān)系其實不是很大，畢竟能力才是你前行的最好資本。面對如今發(fā)展得如火如荼的大數(shù)據(jù)及大數(shù)據(jù)分析，還有充斥著各種各樣的數(shù)據(jù)分析師證書，我們不禁疑惑：是我們駕馭著大數(shù)據(jù)，還是大數(shù)據(jù)駕馭著我們？對于未來，我們是更好地利用大數(shù)據(jù)為我們個人服務(wù)，還是依賴于大數(shù)據(jù)而毫無自己的主觀能動性。下面，一篇關(guān)于“未來如何更好地駕馭大數(shù)據(jù)”，告訴你，未來我們應(yīng)該如何更好地駕馭大數(shù)據(jù)，讓大數(shù)據(jù)扮演好為我們?nèi)祟惙?wù)的角色。

到2018年全球大數(shù)據(jù)方面的開支將達1140億美元，是5年前的3倍；到2020年全球大數(shù)據(jù)規(guī)模將達44ZB（澤字節(jié)），是2013年的10倍。下一波大數(shù)據(jù)浪潮即將來襲，但是并沒有多少組織為此做好準(zhǔn)備。如果應(yīng)對措施不當(dāng)，你可能就不是弄潮的那個，而是被浪尖打翻的那個。如何為駕馭大數(shù)據(jù)做好準(zhǔn)備呢？請看Crewspark CEO Cameron Sim的文章。

1140億美元。這是2018年全球組織在大數(shù)據(jù)方面的開銷，僅僅5年的時間就增長了300%以上。但是這些投入有多少是值得的呢？

過去10年，我們目睹了大數(shù)據(jù)管理新方法的廣泛應(yīng)用，如MapReduce、供大規(guī)模存儲使用的非模式化數(shù)據(jù)庫，以及用于存儲和處理的Hadoop、Storm和Spark等。但是大數(shù)據(jù)的使用不僅僅是特定平臺或范例的部署而已：理想情況下這意味著公司對數(shù)據(jù)的建構(gòu)和組織要如何進行徹底的重新設(shè)計。

但據(jù)調(diào)查發(fā)現(xiàn)，目前還沒有多少組織為新的數(shù)據(jù)平臺和能力做好基本準(zhǔn)備。只有35%的組織擁有了“健壯的數(shù)據(jù)捕捉、管理、驗證及保存流程”，更有67%“缺乏衡量定義明確的大數(shù)據(jù)行動成功的標(biāo)準(zhǔn)?！蹦切┐髷?shù)據(jù)解決方案基本都是被動集成進來的。

但時間可不等人，根據(jù)2014年IDC的報告，到2020年，全球的數(shù)據(jù)總量將達44ZB，整整是2013年的10倍。面對著下一波的數(shù)據(jù)大爆發(fā)，那些未做好準(zhǔn)備的公司將可能就會有背負運營和技術(shù)雙重債務(wù)的風(fēng)險，并因數(shù)據(jù)落后而被淘汰出局。

具體而言，這些風(fēng)險體現(xiàn)在以下幾個方面：

企業(yè)喪失透明度

業(yè)界將面臨大規(guī)模的技能短缺問題——很少有IT專業(yè)人士有經(jīng)驗管理大規(guī)模的大數(shù)據(jù)平臺。根據(jù)麥肯錫的分析，到2018年，美國將出現(xiàn)150萬名有能力做出基于數(shù)據(jù)決策的經(jīng)理。為了縮短這一鴻溝，麥肯錫估計企業(yè)將需要把數(shù)據(jù)和分析預(yù)算的50%投入到一線經(jīng)理的培訓(xùn)上面。但是還沒有多少公司意識到這一點。

隨著數(shù)據(jù)需求的擴大，如果對信息管理缺乏深刻理解，對數(shù)據(jù)擴展性缺乏最佳實踐，那么在管理數(shù)據(jù)驅(qū)動的系統(tǒng)時就會遭遇到重大挑戰(zhàn)。而糟糕的運營透明度會導(dǎo)致企業(yè)很難識別出數(shù)據(jù)何時不準(zhǔn)確和無意義，甚至連關(guān)鍵報表和指標(biāo)是否正確運行都不知道。理清這些錯綜復(fù)雜并對數(shù)據(jù)提出正確的問題將成為IT人員的必備技能。否則就會缺乏對企業(yè)運營的可視性，無法有效做出知情決策并削弱企業(yè)的競爭優(yōu)勢。

人工成本飆升

據(jù)估計2014年時數(shù)據(jù)科學(xué)家50-80%的工作時間花在了數(shù)據(jù)集清理和處理上。近期公司往往傾向把數(shù)據(jù)準(zhǔn)備工作的自動化外包給離岸或近岸的數(shù)據(jù)專家。對CloudFactory、MobileWorks及Samasource這類微工作平臺的需求已經(jīng)爆發(fā)，據(jù)估計，到2018年這類業(yè)務(wù)的規(guī)模將達到50億美元。

但是外包無法規(guī)模滿足需求。鑒于未來的數(shù)據(jù)量將達到44ZB，數(shù)據(jù)的這種快速增長會需要成千上萬具備長期可行的解決方案的離岸或近岸外包團隊。而任何可持續(xù)的解決方案都離不開顯著的自動化。

通信障礙

現(xiàn)在企業(yè)間的交互依靠的是經(jīng)過組織的數(shù)據(jù)，但與未來20年發(fā)生的事情相比，這種組織數(shù)據(jù)的過程將會顯得蒼白無力。未來將會出現(xiàn)新的企業(yè)數(shù)據(jù)網(wǎng)絡(luò)標(biāo)準(zhǔn)以及相應(yīng)的算法和元數(shù)據(jù)。未能參與到這一全球數(shù)據(jù)市場的公司將無法利用市面上銷售的這些數(shù)據(jù)產(chǎn)品。

全球各個領(lǐng)域都在發(fā)生這種朝著大規(guī)模商業(yè)數(shù)據(jù)共享的演變。比方說，在要求第三方驗證其研究的壓力之下，像葛蘭素史克這樣的藥企最近都擬定了更廣泛共享實驗數(shù)據(jù)的計劃。奧巴馬總統(tǒng)已經(jīng)要求技術(shù)公司共享潛在黑客威脅的數(shù)據(jù)。Forrester最近的一項研究預(yù)測，數(shù)據(jù)服務(wù)將成為2015年的主流產(chǎn)品。按照這種節(jié)奏，10年后大數(shù)據(jù)的有效使用不僅會成為市場致勝的關(guān)鍵，而且還是參與市場的先決條件。

這些風(fēng)險就像一個個大數(shù)據(jù)的定時炸彈，對你構(gòu)成嚴峻挑戰(zhàn)。不過如果你采取下面的三個步驟，危險也許就可以解除。

1、不要走一步看一步

為了確保未來的分析能力，企業(yè)必須現(xiàn)在就開始投資一個能夠快速有效管理新數(shù)據(jù)集的平臺。應(yīng)該考慮業(yè)務(wù)未來在數(shù)據(jù)攝入與聯(lián)合方面如何運作，如何從傳統(tǒng)的系統(tǒng)過渡到端到端的自動化的數(shù)據(jù)與分析。

其核心是這個平臺要能夠有目的地、小心地、透明地擴充，而不是光收集數(shù)據(jù)，但對這些數(shù)據(jù)使用卻沒有明確的目的，或者在數(shù)據(jù)的解析上不做投入。

2、再痛也要重建舊數(shù)據(jù)應(yīng)用架構(gòu)

許多公司過度依賴維護開銷很高的舊系統(tǒng)，導(dǎo)致升級或作出戰(zhàn)略變革的優(yōu)先性被貶低。甚至一些大公司也是如此，比方說三星的SmartHub TV是跑在云上面的，但是因為顧忌遷移成本，其所有的金融交易仍在本地處理。

其結(jié)果就是在許多組織里面數(shù)據(jù)形成了一個個以部門為單位的煙囪。某些數(shù)據(jù)，比方說社交媒體方面的信息，甚至還保存在公司以外，這又增加了一層復(fù)雜性。要想大數(shù)據(jù)創(chuàng)新，企業(yè)必須以提高跨部門運營透明度為焦點對舊的數(shù)據(jù)應(yīng)用進行翻新。

3、模塊化、多顆粒度的數(shù)據(jù)管理

要把裸數(shù)據(jù)和洞察數(shù)據(jù)塑造成模塊化、組織得當(dāng)、具備各種顆粒度的實體，這一步做得越深入，越能夠有效的利用商業(yè)洞察，同時還能在永遠變化的大數(shù)據(jù)形勢中保持敏捷的反應(yīng)力。