大數(shù)據(jù)是一種有著真正未來的趨勢_數(shù)據(jù)分析師

我們是從什么時候開始進入大數(shù)據(jù)時代的？也許是從第一臺智能手機被研發(fā)出來之日開始，也許是從Facebook、Twitter等社交網(wǎng)站誕生之日開始，也許是從大容量存儲設(shè)備的制造成本降低之日開始，也許是從非結(jié)構(gòu)化數(shù)據(jù)的有效分析模型的構(gòu)建之日開始……我們無從確認，但我們可以理一理這一系列事件的發(fā)展順序，也許我們能從中發(fā)現(xiàn)點什么。隨著科技環(huán)境的巨變，首先是個人電腦的全球普及，然后是移動智能終端的盛行，隨之而來的是社交網(wǎng)絡(luò)的爆炸式發(fā)展，還有物聯(lián)網(wǎng)在政府、企業(yè)組織的積極倡導下迅猛的發(fā)展，當然，傳感技術(shù)在其間功不可沒，數(shù)以千萬計的聯(lián)網(wǎng)傳感器節(jié)點分布在交通、汽車、工業(yè)、公用事業(yè)和零售部門。還有存儲技術(shù)的發(fā)展等，這些都讓數(shù)據(jù)的生產(chǎn)和收集的能力和速度都得到大幅的提升。然后還有非結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)的有效分析模型的構(gòu)建，相關(guān)軟硬件的支撐，讓數(shù)據(jù)的分析能力得到大幅的提升。數(shù)據(jù)多了，形式復雜了，數(shù)據(jù)的獲取正在變得越來越細致，也越來越個人化。與此相對立的，數(shù)據(jù)的傳送、分享和訪問能力也得到徹底變革。

中國有句古語“雁過尚且留聲，人生豈能無痕“，出于對利益的追逐，出于對市場的占領(lǐng)，出于對客戶的洞察，過去人們使用各種終端的難以被描述的自以為毫無意義的行為在今天被他們事無巨細地詳盡地記錄、保存了下來，而且這不是某一時刻的單一行為，而是持續(xù)性的實時行為，同時，網(wǎng)民、手機用戶在增加，終端數(shù)量、終端類型在增加，網(wǎng)站、應(yīng)用在增加，與此同時，社會上的各行各業(yè)，從電信、IT業(yè)，到金融、證券、保險、航空、酒店服務(wù)業(yè)等，地球上的各種存在，從每個人到每棵樹、每朵花乃至每粒沙子，無一例外地都在成為大數(shù)據(jù)的生成者。于是，在量和面上的雙重積累，數(shù)據(jù)從產(chǎn)生的源頭開始進入爆炸式的增長階段。

也許以上所述未必能讓你直觀地了解大數(shù)據(jù)時代的形象，以下是我在網(wǎng)上找到的一些比較直接的數(shù)字：無所不在的移動設(shè)備、RFID、無線傳感器每分每秒都在產(chǎn)生數(shù)據(jù)，數(shù)以億計用戶的互聯(lián)網(wǎng)服務(wù)時時刻刻在產(chǎn)生巨量的交互，全球資料量在十年間就增加了60倍以上，一分鐘內(nèi)Twitter上新發(fā)的信息數(shù)超過10萬，在Facebook上有超過600萬的瀏覽量，每天產(chǎn)生的數(shù)據(jù)為2.5 quintillion。信息量每年正以最少59%速度在遞增，到2020年世界上的數(shù)據(jù)存儲總額將達到35 ZB。而更關(guān)鍵的是，這些信息不再是單純的數(shù)字和文字，它包括比文字更復雜的圖片、音頻和視頻。

好吧，回到最開始的問題，要界定“我們是從什么時候開始進入大數(shù)據(jù)時代的”或許比較困難，但如果哪一天你在瀏覽網(wǎng)頁時發(fā)現(xiàn)頁面推出的個性化廣告框里的商品正是你數(shù)天前在視頻中曾經(jīng)與你朋友說起過的某樣你很喜歡的物品時，你就可以確認你已經(jīng)陷入了大數(shù)據(jù)時代。

現(xiàn)在，我們都知道“大數(shù)據(jù)”已經(jīng)來了，但是我們還存有疑問：大數(shù)據(jù)究竟只是一個時髦的概念，還是一個無可逆轉(zhuǎn)的趨勢？這么多年來我們經(jīng)歷了太多的科技熱點，而真正有著未來的只是小數(shù)，我們需要分辨出哪些是未來的趨勢，哪些是時髦的概念。這是一個謹慎的問題，事關(guān)行業(yè)的巨額投資，事關(guān)企業(yè)的成本投入，甚至事關(guān)很多人的職業(yè)選擇。關(guān)于這個問題，我想可以從以下幾個關(guān)鍵點進行判斷：第一，能否產(chǎn)生價值；第二，是否具有生命力；第三，是否不容易被替代。

關(guān)鍵點1：大數(shù)據(jù)能否產(chǎn)生價值

關(guān)于大數(shù)據(jù)的價值，之后會有單獨的篇章來論述，在此不詳細展開來談，只作“能/否”的判斷。了解客戶的需求，這對任何行業(yè)任何企業(yè)來說都是至關(guān)重要，如何了解？必經(jīng)的方法是通過數(shù)據(jù)分析?，F(xiàn)在數(shù)據(jù)越來越大，越來越復雜，增長越來越快，而競爭的壓力，創(chuàng)新的需求，業(yè)務(wù)規(guī)劃的需求對數(shù)據(jù)處理的實時性、有效性又提出了更高要求，過去傳統(tǒng)的數(shù)據(jù)分析技術(shù)已經(jīng)跟不上數(shù)據(jù)發(fā)展的步伐，在這樣的背景下，大數(shù)據(jù)技術(shù)就應(yīng)運而生了。通過大數(shù)據(jù)，人們可以對非結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)進行實時監(jiān)測和分析，從而制定相應(yīng)的產(chǎn)品和服務(wù)推廣方案，因此，我們可以判斷，大數(shù)據(jù)是能產(chǎn)生價值的。

關(guān)鍵點2：大數(shù)據(jù)是否具有生命力

是否具有生命力關(guān)鍵在于看其立足的土壤是否能保證足夠的養(yǎng)分供給或能量補充，以及是否有足夠的生長空間。對大數(shù)據(jù)而言，其立足的土壤是指投入到大數(shù)據(jù)中，為大數(shù)據(jù)的發(fā)展提供動力的眾多企業(yè)，如大數(shù)據(jù)的重要倡導者 – IBM、EMC，生成大數(shù)據(jù)的源頭 – 蘋果，生成大數(shù)據(jù)的介質(zhì) – Facebook、Twitter，大數(shù)據(jù)的匯集地 – 亞馬遜，還有Google這樣的大數(shù)據(jù)集大成者，當然大數(shù)據(jù)的“土壤”遠遠不止這些，還有包括眾多的大數(shù)據(jù)技術(shù)的開發(fā)者，大數(shù)據(jù)分析服務(wù)提供商，大數(shù)據(jù)可視化服務(wù)提供商，大數(shù)據(jù)眾包模式參與者等等，這個隊伍還在逐漸的發(fā)展壯大。隨著眾多公司的加入，源源不絕地提供給大數(shù)據(jù)發(fā)展所需的養(yǎng)分，其他行業(yè)的發(fā)展（如傳感技術(shù)，存儲技術(shù)）也給大數(shù)據(jù)提供相當給力的能量補充。

生長空間對大數(shù)據(jù)而言是指應(yīng)用大數(shù)據(jù)的企業(yè)和組織。根據(jù)IBM的調(diào)查發(fā)現(xiàn)，83%的CIO認為商業(yè)智能分析逐漸成為企業(yè)的最高戰(zhàn)略。而國際研究顧問機構(gòu)Gartner則表示，大數(shù)據(jù)將帶動2012年280億美元的全球IT支出，2013年帶動之IT支出規(guī)?？赏M一步增至340億美元。越來越多企業(yè)意識到大數(shù)據(jù)對于企業(yè)發(fā)展的重要性，也越來越多企業(yè)愿意將成本投放到大數(shù)據(jù)的應(yīng)用上，決策將日益基于數(shù)據(jù)和分析而作出，而并非基于經(jīng)驗和直覺。因此，我們可以認為大數(shù)據(jù)具有龐大的生長空間。

綜合以上兩點，我們可以得出大數(shù)據(jù)具有蓬勃的生命力的結(jié)論。

關(guān)鍵點3：大數(shù)據(jù)是否不容易被替代

考量一個事物是否會被輕易替代，關(guān)鍵在于看其是否具有同類型的競爭者，其核心競爭力是否鮮明，其與競品的邊界是清晰還是模糊。舉個例子，上網(wǎng)本之所以被市場迅速淘汰，原因在于其與同類型競爭者（筆記本電腦，平板電腦）相比核心競爭力較弱，而區(qū)分的邊界相對模糊，在功能上趨近筆記本電腦而又弱于筆電，在便捷程度，娛樂性方面趨近平板電腦而又弱于平板電腦，因此其被淘汰是在情理之中?；氐酱髷?shù)據(jù)上，大數(shù)據(jù)與數(shù)據(jù)雖然只是一字之差，但其內(nèi)涵則是相差迥異（大數(shù)據(jù)與數(shù)據(jù)的區(qū)別下篇會重點提到，在此不詳述），相互不具有替代性。而目前在處理巨量復雜數(shù)據(jù)上，尚未出現(xiàn)競爭者（由于目前大數(shù)據(jù)還是一個內(nèi)涵龐大的概念，可以預(yù)料將來必然會分裂，細化，屆時將出現(xiàn)大數(shù)據(jù)框架內(nèi)的競爭雙方）。根據(jù)Gartner的預(yù)期，目前大數(shù)據(jù)的領(lǐng)先企業(yè)到2015年底會開始把大數(shù)據(jù)的經(jīng)驗，深入應(yīng)用于其架構(gòu)和業(yè)務(wù)中，到2018年，當傳統(tǒng)解決方案亦具有新特色和功能以更靈活地因應(yīng)不同容量、種類和速度的需求，大數(shù)據(jù)解決方案的領(lǐng)先優(yōu)勢會逐漸減少。然而，大數(shù)據(jù)解決方案目前具備的技術(shù)、實行方法和工具仍會延續(xù)，因為領(lǐng)先企業(yè)已具體落實設(shè)計原則和取得必要的技術(shù)以將解決巨量復雜數(shù)據(jù)的問題視為慣常的彈性。因此，我們可以初步判斷，大數(shù)據(jù)在之后相對長的一段時間內(nèi)不容易被替代。

綜合以上三個關(guān)鍵點，我們可以判斷大數(shù)據(jù)不是一個時髦的概念，而是一個具有真正未來的趨勢。

除此之外，或許我們還需要一些佐證，以下兩個案例均可從另一個角度說明大數(shù)據(jù)是一個趨勢（案例來源于網(wǎng)絡(luò)）。

佐證1：美國政府認識到了一個國家擁有數(shù)據(jù)的規(guī)模，活性及解釋運用的能力將成為綜合國力的重要組成部分：今年3月奧巴馬宣布以2億美元投資大數(shù)據(jù)領(lǐng)域，美國政府將數(shù)據(jù)定義為“未來的新石油”，未來對數(shù)據(jù)的占有和控制甚至將成為繼陸權(quán)、海權(quán)、空權(quán)之外另一個國家核心資產(chǎn)。

佐證2：IBM較早預(yù)見到了大數(shù)據(jù)的商業(yè)機遇并果斷布局，進而成功地完成從PC廠商向商業(yè)智能服務(wù)商的轉(zhuǎn)型。縱觀IBM近5年來的大手筆收購多與大數(shù)據(jù)有關(guān)：07年IBM收購了商務(wù)智能軟件供應(yīng)商Congnos；09年IBM收購著名的統(tǒng)計分析軟件SPSS；10年IBM收購數(shù)據(jù)庫分析供應(yīng)商Netezza……這一系列布局，為IBM業(yè)績帶來了穩(wěn)定高速的增長。