大數(shù)據(jù)是一種有著真正未來的趨勢(shì)_數(shù)據(jù)分析師

我們是從什么時(shí)候開始進(jìn)入大數(shù)據(jù)時(shí)代的？也許是從第一臺(tái)智能手機(jī)被研發(fā)出來之日開始，也許是從Facebook、Twitter等社交網(wǎng)站誕生之日開始，也許是從大容量存儲(chǔ)設(shè)備的制造成本降低之日開始，也許是從非結(jié)構(gòu)化數(shù)據(jù)的有效分析模型的構(gòu)建之日開始……我們無從確認(rèn)，但我們可以理一理這一系列事件的發(fā)展順序，也許我們能從中發(fā)現(xiàn)點(diǎn)什么。隨著科技環(huán)境的巨變，首先是個(gè)人電腦的全球普及，然后是移動(dòng)智能終端的盛行，隨之而來的是社交網(wǎng)絡(luò)的爆炸式發(fā)展，還有物聯(lián)網(wǎng)在政府、企業(yè)組織的積極倡導(dǎo)下迅猛的發(fā)展，當(dāng)然，傳感技術(shù)在其間功不可沒，數(shù)以千萬計(jì)的聯(lián)網(wǎng)傳感器節(jié)點(diǎn)分布在交通、汽車、工業(yè)、公用事業(yè)和零售部門。還有存儲(chǔ)技術(shù)的發(fā)展等，這些都讓數(shù)據(jù)的生產(chǎn)和收集的能力和速度都得到大幅的提升。然后還有非結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)的有效分析模型的構(gòu)建，相關(guān)軟硬件的支撐，讓數(shù)據(jù)的分析能力得到大幅的提升。數(shù)據(jù)多了，形式復(fù)雜了，數(shù)據(jù)的獲取正在變得越來越細(xì)致，也越來越個(gè)人化。與此相對(duì)立的，數(shù)據(jù)的傳送、分享和訪問能力也得到徹底變革。

中國有句古語“雁過尚且留聲，人生豈能無痕“，出于對(duì)利益的追逐，出于對(duì)市場(chǎng)的占領(lǐng)，出于對(duì)客戶的洞察，過去人們使用各種終端的難以被描述的自以為毫無意義的行為在今天被他們事無巨細(xì)地詳盡地記錄、保存了下來，而且這不是某一時(shí)刻的單一行為，而是持續(xù)性的實(shí)時(shí)行為，同時(shí)，網(wǎng)民、手機(jī)用戶在增加，終端數(shù)量、終端類型在增加，網(wǎng)站、應(yīng)用在增加，與此同時(shí)，社會(huì)上的各行各業(yè)，從電信、IT業(yè)，到金融、證券、保險(xiǎn)、航空、酒店服務(wù)業(yè)等，地球上的各種存在，從每個(gè)人到每棵樹、每朵花乃至每粒沙子，無一例外地都在成為大數(shù)據(jù)的生成者。于是，在量和面上的雙重積累，數(shù)據(jù)從產(chǎn)生的源頭開始進(jìn)入爆炸式的增長(zhǎng)階段。

也許以上所述未必能讓你直觀地了解大數(shù)據(jù)時(shí)代的形象，以下是我在網(wǎng)上找到的一些比較直接的數(shù)字：無所不在的移動(dòng)設(shè)備、RFID、無線傳感器每分每秒都在產(chǎn)生數(shù)據(jù)，數(shù)以億計(jì)用戶的互聯(lián)網(wǎng)服務(wù)時(shí)時(shí)刻刻在產(chǎn)生巨量的交互，全球資料量在十年間就增加了60倍以上，一分鐘內(nèi)Twitter上新發(fā)的信息數(shù)超過10萬，在Facebook上有超過600萬的瀏覽量，每天產(chǎn)生的數(shù)據(jù)為2.5 quintillion。信息量每年正以最少59%速度在遞增，到2020年世界上的數(shù)據(jù)存儲(chǔ)總額將達(dá)到35 ZB。而更關(guān)鍵的是，這些信息不再是單純的數(shù)字和文字，它包括比文字更復(fù)雜的圖片、音頻和視頻。

好吧，回到最開始的問題，要界定“我們是從什么時(shí)候開始進(jìn)入大數(shù)據(jù)時(shí)代的”或許比較困難，但如果哪一天你在瀏覽網(wǎng)頁時(shí)發(fā)現(xiàn)頁面推出的個(gè)性化廣告框里的商品正是你數(shù)天前在視頻中曾經(jīng)與你朋友說起過的某樣你很喜歡的物品時(shí)，你就可以確認(rèn)你已經(jīng)陷入了大數(shù)據(jù)時(shí)代。

現(xiàn)在，我們都知道“大數(shù)據(jù)”已經(jīng)來了，但是我們還存有疑問：大數(shù)據(jù)究竟只是一個(gè)時(shí)髦的概念，還是一個(gè)無可逆轉(zhuǎn)的趨勢(shì)？這么多年來我們經(jīng)歷了太多的科技熱點(diǎn)，而真正有著未來的只是小數(shù)，我們需要分辨出哪些是未來的趨勢(shì)，哪些是時(shí)髦的概念。這是一個(gè)謹(jǐn)慎的問題，事關(guān)行業(yè)的巨額投資，事關(guān)企業(yè)的成本投入，甚至事關(guān)很多人的職業(yè)選擇。關(guān)于這個(gè)問題，我想可以從以下幾個(gè)關(guān)鍵點(diǎn)進(jìn)行判斷：第一，能否產(chǎn)生價(jià)值；第二，是否具有生命力；第三，是否不容易被替代。

關(guān)鍵點(diǎn)1：大數(shù)據(jù)能否產(chǎn)生價(jià)值

關(guān)于大數(shù)據(jù)的價(jià)值，之后會(huì)有單獨(dú)的篇章來論述，在此不詳細(xì)展開來談，只作“能/否”的判斷。了解客戶的需求，這對(duì)任何行業(yè)任何企業(yè)來說都是至關(guān)重要，如何了解？必經(jīng)的方法是通過數(shù)據(jù)分析。現(xiàn)在數(shù)據(jù)越來越大，越來越復(fù)雜，增長(zhǎng)越來越快，而競(jìng)爭(zhēng)的壓力，創(chuàng)新的需求，業(yè)務(wù)規(guī)劃的需求對(duì)數(shù)據(jù)處理的實(shí)時(shí)性、有效性又提出了更高要求，過去傳統(tǒng)的數(shù)據(jù)分析技術(shù)已經(jīng)跟不上數(shù)據(jù)發(fā)展的步伐，在這樣的背景下，大數(shù)據(jù)技術(shù)就應(yīng)運(yùn)而生了。通過大數(shù)據(jù)，人們可以對(duì)非結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行實(shí)時(shí)監(jiān)測(cè)和分析，從而制定相應(yīng)的產(chǎn)品和服務(wù)推廣方案，因此，我們可以判斷，大數(shù)據(jù)是能產(chǎn)生價(jià)值的。

關(guān)鍵點(diǎn)2：大數(shù)據(jù)是否具有生命力

是否具有生命力關(guān)鍵在于看其立足的土壤是否能保證足夠的養(yǎng)分供給或能量補(bǔ)充，以及是否有足夠的生長(zhǎng)空間。對(duì)大數(shù)據(jù)而言，其立足的土壤是指投入到大數(shù)據(jù)中，為大數(shù)據(jù)的發(fā)展提供動(dòng)力的眾多企業(yè)，如大數(shù)據(jù)的重要倡導(dǎo)者 – IBM、EMC，生成大數(shù)據(jù)的源頭 – 蘋果，生成大數(shù)據(jù)的介質(zhì) – Facebook、Twitter，大數(shù)據(jù)的匯集地 – 亞馬遜，還有Google這樣的大數(shù)據(jù)集大成者，當(dāng)然大數(shù)據(jù)的“土壤”遠(yuǎn)遠(yuǎn)不止這些，還有包括眾多的大數(shù)據(jù)技術(shù)的開發(fā)者，大數(shù)據(jù)分析服務(wù)提供商，大數(shù)據(jù)可視化服務(wù)提供商，大數(shù)據(jù)眾包模式參與者等等，這個(gè)隊(duì)伍還在逐漸的發(fā)展壯大。隨著眾多公司的加入，源源不絕地提供給大數(shù)據(jù)發(fā)展所需的養(yǎng)分，其他行業(yè)的發(fā)展（如傳感技術(shù)，存儲(chǔ)技術(shù)）也給大數(shù)據(jù)提供相當(dāng)給力的能量補(bǔ)充。

生長(zhǎng)空間對(duì)大數(shù)據(jù)而言是指應(yīng)用大數(shù)據(jù)的企業(yè)和組織。根據(jù)IBM的調(diào)查發(fā)現(xiàn)，83%的CIO認(rèn)為商業(yè)智能分析逐漸成為企業(yè)的最高戰(zhàn)略。而國際研究顧問機(jī)構(gòu)Gartner則表示，大數(shù)據(jù)將帶動(dòng)2012年280億美元的全球IT支出，2013年帶動(dòng)之IT支出規(guī)?？赏M(jìn)一步增至340億美元。越來越多企業(yè)意識(shí)到大數(shù)據(jù)對(duì)于企業(yè)發(fā)展的重要性，也越來越多企業(yè)愿意將成本投放到大數(shù)據(jù)的應(yīng)用上，決策將日益基于數(shù)據(jù)和分析而作出，而并非基于經(jīng)驗(yàn)和直覺。因此，我們可以認(rèn)為大數(shù)據(jù)具有龐大的生長(zhǎng)空間。

綜合以上兩點(diǎn)，我們可以得出大數(shù)據(jù)具有蓬勃的生命力的結(jié)論。

關(guān)鍵點(diǎn)3：大數(shù)據(jù)是否不容易被替代

考量一個(gè)事物是否會(huì)被輕易替代，關(guān)鍵在于看其是否具有同類型的競(jìng)爭(zhēng)者，其核心競(jìng)爭(zhēng)力是否鮮明，其與競(jìng)品的邊界是清晰還是模糊。舉個(gè)例子，上網(wǎng)本之所以被市場(chǎng)迅速淘汰，原因在于其與同類型競(jìng)爭(zhēng)者（筆記本電腦，平板電腦）相比核心競(jìng)爭(zhēng)力較弱，而區(qū)分的邊界相對(duì)模糊，在功能上趨近筆記本電腦而又弱于筆電，在便捷程度，娛樂性方面趨近平板電腦而又弱于平板電腦，因此其被淘汰是在情理之中。回到大數(shù)據(jù)上，大數(shù)據(jù)與數(shù)據(jù)雖然只是一字之差，但其內(nèi)涵則是相差迥異（大數(shù)據(jù)與數(shù)據(jù)的區(qū)別下篇會(huì)重點(diǎn)提到，在此不詳述），相互不具有替代性。而目前在處理巨量復(fù)雜數(shù)據(jù)上，尚未出現(xiàn)競(jìng)爭(zhēng)者（由于目前大數(shù)據(jù)還是一個(gè)內(nèi)涵龐大的概念，可以預(yù)料將來必然會(huì)分裂，細(xì)化，屆時(shí)將出現(xiàn)大數(shù)據(jù)框架內(nèi)的競(jìng)爭(zhēng)雙方）。根據(jù)Gartner的預(yù)期，目前大數(shù)據(jù)的領(lǐng)先企業(yè)到2015年底會(huì)開始把大數(shù)據(jù)的經(jīng)驗(yàn)，深入應(yīng)用于其架構(gòu)和業(yè)務(wù)中，到2018年，當(dāng)傳統(tǒng)解決方案亦具有新特色和功能以更靈活地因應(yīng)不同容量、種類和速度的需求，大數(shù)據(jù)解決方案的領(lǐng)先優(yōu)勢(shì)會(huì)逐漸減少。然而，大數(shù)據(jù)解決方案目前具備的技術(shù)、實(shí)行方法和工具仍會(huì)延續(xù)，因?yàn)轭I(lǐng)先企業(yè)已具體落實(shí)設(shè)計(jì)原則和取得必要的技術(shù)以將解決巨量復(fù)雜數(shù)據(jù)的問題視為慣常的彈性。因此，我們可以初步判斷，大數(shù)據(jù)在之后相對(duì)長(zhǎng)的一段時(shí)間內(nèi)不容易被替代。

綜合以上三個(gè)關(guān)鍵點(diǎn)，我們可以判斷大數(shù)據(jù)不是一個(gè)時(shí)髦的概念，而是一個(gè)具有真正未來的趨勢(shì)。

除此之外，或許我們還需要一些佐證，以下兩個(gè)案例均可從另一個(gè)角度說明大數(shù)據(jù)是一個(gè)趨勢(shì)（案例來源于網(wǎng)絡(luò)）。

佐證1：美國政府認(rèn)識(shí)到了一個(gè)國家擁有數(shù)據(jù)的規(guī)模，活性及解釋運(yùn)用的能力將成為綜合國力的重要組成部分：今年3月奧巴馬宣布以2億美元投資大數(shù)據(jù)領(lǐng)域，美國政府將數(shù)據(jù)定義為“未來的新石油”，未來對(duì)數(shù)據(jù)的占有和控制甚至將成為繼陸權(quán)、海權(quán)、空權(quán)之外另一個(gè)國家核心資產(chǎn)。

佐證2：IBM較早預(yù)見到了大數(shù)據(jù)的商業(yè)機(jī)遇并果斷布局，進(jìn)而成功地完成從PC廠商向商業(yè)智能服務(wù)商的轉(zhuǎn)型。縱觀IBM近5年來的大手筆收購多與大數(shù)據(jù)有關(guān)：07年IBM收購了商務(wù)智能軟件供應(yīng)商Congnos；09年IBM收購著名的統(tǒng)計(jì)分析軟件SPSS；10年IBM收購數(shù)據(jù)庫分析供應(yīng)商N(yùn)etezza……這一系列布局，為IBM業(yè)績(jī)帶來了穩(wěn)定高速的增長(zhǎng)。