大數(shù)據(jù)帶來了什么？

S君發(fā)現(xiàn)最近在百貨刷卡的時候，手機馬上會收到一條短信告訴她現(xiàn)在已經(jīng)具備了9元看電影的權(quán)益，到附近的影院就可以體驗，也可以到附近的星巴克享受9元積分來換一杯咖啡。這就是大數(shù)據(jù)帶給我們生活的便利。
這個例子是用戶行為分析的典型應(yīng)用，該場景現(xiàn)有的IT技術(shù)（傳統(tǒng)的關(guān)系數(shù)據(jù)庫）不能進行很好的展現(xiàn)，這需要一個更智慧、更寬廣且能夠處理混合數(shù)據(jù)的平臺支撐。

僅僅幾年時間里，大數(shù)據(jù)技術(shù)就從之前的炒作階段逐漸發(fā)展成為新數(shù)字時代中的核心技術(shù)之一。2014年，企業(yè)內(nèi)部的大數(shù)據(jù)計劃慢慢地從測試階段走向研發(fā)和生產(chǎn)。
2015年，企業(yè)的大數(shù)據(jù)技術(shù)將會進一步推進，并向前發(fā)展，并且會產(chǎn)生更多的用戶案例，尤其是實時用戶案例。

2015年，企業(yè)和相關(guān)的組織機構(gòu)將進行大數(shù)據(jù)的部署工作，并推進到實際的應(yīng)用中。這主要是由目前業(yè)界所發(fā)生的一個重大轉(zhuǎn)變所推動的結(jié)果，即當(dāng)前這個行業(yè)里的領(lǐng)導(dǎo)者，以及即將成為這個行業(yè)里新的領(lǐng)導(dǎo)者都已經(jīng)將新的大數(shù)據(jù)平臺同他們的“運行”數(shù)據(jù)分析進行了整合，以便對其業(yè)務(wù)產(chǎn)生一定的影響?！?/span>

2015年主宰大數(shù)據(jù)技術(shù)的發(fā)展趨勢

1.數(shù)據(jù)的靈活性成為焦點

隨著傳統(tǒng)數(shù)據(jù)庫（database）和數(shù)據(jù)倉庫（data warehouse）的運行越來越緩慢，并很難滿足企業(yè)業(yè)務(wù)的發(fā)展需要，數(shù)據(jù)的靈活性就成為了推動大數(shù)據(jù)技術(shù)發(fā)展的一個重要推動力。2015年，隨著企業(yè)逐漸從簡單地收集和管理數(shù)據(jù)過渡到真正使用這些數(shù)據(jù)，數(shù)據(jù)靈活性將越來越重要。

傳統(tǒng)數(shù)據(jù)庫和數(shù)據(jù)倉庫運行成本很高，因此DBA（數(shù)據(jù)庫管理員）資源需要對數(shù)據(jù)進行扁平化和結(jié)構(gòu)化處理。高DBA的預(yù)付成本阻礙了對新數(shù)據(jù)資源的接入，同時這種嚴(yán)格的架構(gòu)短時間內(nèi)很難改變，其最終的結(jié)果導(dǎo)致傳統(tǒng)數(shù)據(jù)庫變得不夠靈活，不能滿足當(dāng)前大多數(shù)企業(yè)或組織機構(gòu)的需求。”

早期的大數(shù)據(jù)項目專注于對目標(biāo)數(shù)據(jù)資源的存儲，而對于有多少數(shù)據(jù)被管理則并不是非常在意，對此企業(yè)在今后需要將其注意力轉(zhuǎn)移到測評數(shù)據(jù)的靈活性上。如何處理或分析數(shù)據(jù)，以便對運營產(chǎn)生一定的影響?當(dāng)用戶偏好，或市場情況、競爭趨勢，以及運營狀態(tài)發(fā)生變化時，企業(yè)該如何調(diào)整和應(yīng)對?這些問題都將引領(lǐng)2015年大數(shù)據(jù)項目的投資和發(fā)展范圍。

2.企業(yè)逐漸從數(shù)據(jù)湖轉(zhuǎn)向數(shù)據(jù)處理平臺發(fā)展

某種情況來說，2014年的大數(shù)據(jù)領(lǐng)域?qū)嶋H上就是一種“數(shù)據(jù)湖（data lake）”的狀態(tài)，一種基于對象的數(shù)據(jù)存儲方式將收集來的數(shù)據(jù)以其最原生的格式（結(jié)構(gòu)化的、非結(jié)構(gòu)化的或半結(jié)構(gòu)化的）存儲下來留作日后使用?！?a href='/map/shujuhu/' style='color:#000;font-size:inherit;'>數(shù)據(jù)湖”具有很高的價值定位，它代表了一種可擴展的基礎(chǔ)架構(gòu)，非常經(jīng)濟且超級靈活。

隨著多計算和執(zhí)行能力的加強，將推動企業(yè)從大量收集數(shù)據(jù)轉(zhuǎn)變?yōu)檫m當(dāng)?shù)靥幚頂?shù)據(jù)，2015年“數(shù)據(jù)湖”將會繼續(xù)演進。這不僅會帶來更大的效率，同時也產(chǎn)生了單點管理和單點安全。

2015年，隨著企業(yè)數(shù)據(jù)的分批處理到實時處理的變化，以及企業(yè)整合Hadoop和數(shù)據(jù)庫到其大規(guī)模處理平臺上，“數(shù)據(jù)湖”會得到進一步的發(fā)展。換句話說，這一趨勢并不是指“數(shù)據(jù)湖”里大規(guī)模用來支持更大的查詢和報告的數(shù)據(jù)存儲，而是對數(shù)據(jù)的持續(xù)訪問和處理，同時企業(yè)將會更多地關(guān)注實時數(shù)據(jù)，并采取主動措施。

3. Hadoop將成為企業(yè)的關(guān)鍵應(yīng)用組件

Hadoop在普及的過程中，大數(shù)據(jù)也不會再繼續(xù)止步于云服務(wù)，而是部署于企業(yè)的云平臺中和云服務(wù)有效的結(jié)合，并且發(fā)揮更重要的力量和作用。2015年，Hadoop的適用場景將超越批處理和海量數(shù)據(jù)存儲，在數(shù)據(jù)挖掘、深度學(xué)習(xí)和用戶服務(wù)等領(lǐng)域發(fā)力，在這一進程中將成為企業(yè)數(shù)據(jù)架構(gòu)中通用的核心組件，這意味著數(shù)據(jù)分析、決策支持將繼續(xù)成為大數(shù)據(jù)的首要用例和重要應(yīng)用。

企業(yè)可以用大數(shù)據(jù)來做什么呢？

比如某銀行，將客戶使用信用卡加油與吃飯的信息關(guān)聯(lián)起來進行分析，通過數(shù)據(jù)的挖掘，卡中心發(fā)現(xiàn)，在周末18：00之前加油的客戶，有60%會去吃飯；再結(jié)合LBS信息，分析客戶就餐區(qū)域，發(fā)現(xiàn)其中70%有去中心城區(qū)吃飯的習(xí)慣。于是信用卡中心與中心城區(qū)的某烤肉店合作，在每個周末17：30的時候，向駛出加油站的客戶，打出這樣的手機廣告：”物超所值，美味、環(huán)境優(yōu)雅，價格適中，朋友聚會的理想場所，持銀行卡可享五折優(yōu)惠！”

這種服務(wù)就讓卡的用戶感覺到非常貼心，走進了用戶的心里，覺得這個卡是真的懂他！

這是一個典型的企業(yè)大數(shù)據(jù)應(yīng)用，在2015年，還會有更多的大數(shù)據(jù)企業(yè)級應(yīng)用和新的商業(yè)模式出現(xiàn)。

4.Hadoop加強支持實時應(yīng)用和得到企業(yè)級強化

未來1年建立在Hadoop平臺上的交互式應(yīng)用程序?qū)⒊时l(fā)式增長，其中包括Web應(yīng)用、移動應(yīng)用和社交應(yīng)用，人們可以與之進行實時的交互。

2015將加強支持實時的大數(shù)據(jù)應(yīng)用，企業(yè)將不會局限于處理分析歷史數(shù)據(jù)，而是將有能力處理、決策5分鐘，甚至是實時的數(shù)據(jù)；企業(yè)將擁有交互式應(yīng)用程序，以便實時的制定決策。

同時，Hadoop已經(jīng)是個了不起的平臺，但是仍然有許多工作要做。在2015年，將看到Hadoop向安全、運營管理、資源管理及多站點響應(yīng)方向發(fā)展；將看到所有的企業(yè)級需求，將是未來主要的焦點。

5.新的技術(shù)堆棧

2015年，隨著企業(yè)架構(gòu)師對Hadoop技術(shù)堆棧不斷深入地了解，他們也慢慢地發(fā)揮著重要的作用，即對大數(shù)據(jù)應(yīng)用的需求進行了更好地的定義和更加復(fù)雜的陳述，其中的一些因素包含了高可用性和業(yè)務(wù)連續(xù)性。

隨著企業(yè)在數(shù)據(jù)中心中迅速地從試驗階段走向?qū)嶋H部署階段，企業(yè)架構(gòu)師開始走到前臺來，并在大數(shù)據(jù)部署的道路上發(fā)揮著重要作用。IT領(lǐng)導(dǎo)者選擇基礎(chǔ)架構(gòu)方面也發(fā)揮著至關(guān)重要的作用，所選擇的基礎(chǔ)架構(gòu)需要滿足SLA的要求，并具備高可靠性、業(yè)務(wù)連續(xù)性，同時滿足重要的業(yè)務(wù)需求。在2014年，Hadoop生態(tài)系統(tǒng)一直蓬勃發(fā)展，并產(chǎn)生大量的應(yīng)用、工具和組件。預(yù)計2015年，該市場將關(guān)注跨平臺之間的差異性，同時企業(yè)的基礎(chǔ)架構(gòu)中也將整合Hadoop到數(shù)據(jù)中心中去，并產(chǎn)生一定的商業(yè)價值。

6.Hadoop供應(yīng)商整合 新商業(yè)模式出現(xiàn)

2013年，英特爾發(fā)布了其Hadoop的分發(fā)版，這在業(yè)界引起了不小的轟動。英特爾表示在這個分發(fā)版中，他們采用了一種全新的方法，可以直接將Hadoop整合到芯片中。但是僅僅一年之后，英特爾就放棄這一分發(fā)版，并迅速被Hadoop分發(fā)版供應(yīng)商Cloudera替代。

那時候，英特爾表示，用戶都在關(guān)注Hadoop市場將如何發(fā)展、發(fā)展成什么樣。而Hadoop產(chǎn)品的供應(yīng)商也是多種多樣、魚龍混雜。隨著失敗的企業(yè)不再繼續(xù)發(fā)展和推出其Hadoop分發(fā)版，轉(zhuǎn)而關(guān)注其他領(lǐng)域，在2015年Hadoop供應(yīng)商整合將會成為一種趨勢，持續(xù)進行。

開源軟件（OSS）的使用到目前為止已經(jīng)有20年的時間了，而且它給整個市場也帶來了巨大價值。技術(shù)的發(fā)展成熟需要幾個階段。技術(shù)的生命周期是以創(chuàng)新和開發(fā)高度差異化產(chǎn)品為開始，再以產(chǎn)品最終走向商業(yè)化為結(jié)束。被譽為“關(guān)系數(shù)據(jù)庫之父”的Edgar Frank Codd在1969年提出了“關(guān)系數(shù)據(jù)庫”的概念，1986年，甲骨文借助這一創(chuàng)新概念的發(fā)展成功上市。同時，這一創(chuàng)新概念也促進了1995年第一個MySQL發(fā)放版的商業(yè)化進程。所以，從歷史的角度來看，數(shù)據(jù)庫平臺技術(shù)從最初的創(chuàng)新到最后的商業(yè)化，經(jīng)歷了26年的時間走向成熟。

目前，Hadoop還處于技術(shù)成熟周期的早期階段，從谷歌發(fā)布富有影響力的MapReduce白皮書至今僅僅過去了10年的時間。自最初的概念提出發(fā)展到現(xiàn)在的10年里，Hadoop得到了全球范圍內(nèi)的部署和使用，并大大的超過了其他數(shù)據(jù)平臺。目前，Hadoop還是處于創(chuàng)新階段，所以供應(yīng)商采取“Red Hat for Hadoop”策略的這種現(xiàn)象在市場也仍然存在，其中最明顯的是英特爾，其次是EMC Pivotal。

2015年業(yè)界將會看到一個新的、更加微妙的OSS模式的演進，這一新模式的演進和發(fā)展將社區(qū)發(fā)展與深度創(chuàng)新結(jié)合到了一起。開源社區(qū)是創(chuàng)建標(biāo)準(zhǔn)和達成共識的一個重要區(qū)域，而競爭則是促進Hadoop從最初的分析處理器向全功能數(shù)據(jù)平臺發(fā)展、演變的加速器。
未來的大數(shù)據(jù)是什么樣的？

物聯(lián)網(wǎng)？以云平臺、大數(shù)據(jù)技術(shù)為主支撐的智能家居？還是超級人工智能？

想想這樣一個場景：當(dāng)你疲憊了一天，回到家里，點點手機窗簾就自動關(guān)上，再點點手機燈就亮了，在回來的路上憑借一個大數(shù)據(jù)的服務(wù)應(yīng)用已經(jīng)把飯做好，吃完飯后洗澡水也已經(jīng)放好…….手機操控著家中的一切，恐怕這是很多人夢寐以求的未來智能家居吧。

毋庸置疑，大數(shù)據(jù)帶給我們的是越來越多的便利。數(shù)據(jù)挖掘、深度學(xué)習(xí)憑借著大數(shù)據(jù)技術(shù)和后臺云平臺的支持也會帶給我們越來越好的服務(wù)。在2015年，還會有更多的大數(shù)據(jù)服務(wù)和新的解決方案出現(xiàn)。

7. R將取代傳統(tǒng)SAS解決方案

在2013年，cloudera公司發(fā)布了hadoop平臺的R接口，大大促進了在haddop生態(tài)系統(tǒng)里的R應(yīng)用。隨著R語言越來越廣泛的被使用以及其在機器學(xué)習(xí)、數(shù)據(jù)挖掘等領(lǐng)域的出色表現(xiàn)，基于R編程語言的分析將被選為數(shù)據(jù)科學(xué)家的“御用”模式，這種分析在2015年將成為主流，并且替代傳統(tǒng)的SAS及SPSS模式。市場顯示，超過200萬用戶和300萬的分析師都在尋找更好的解決方案，R恰逢其時。

8. 服務(wù)大數(shù)據(jù)成為主流

隨著大數(shù)據(jù)工具和服務(wù)的發(fā)展，2015年，IT行業(yè)將逐漸緩解發(fā)展瓶頸的局面，許多商業(yè)用戶和數(shù)據(jù)科學(xué)家將會借助相關(guān)工具和服務(wù)訪問大量數(shù)據(jù)。

2015年，自助服務(wù)大數(shù)據(jù)將成為IT行業(yè)的一種趨勢，它允許商業(yè)用戶可以通過自助服務(wù)接觸大數(shù)據(jù)。自助服務(wù)還可以幫助開發(fā)者、數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析師直接進行數(shù)據(jù)探索和處理工作。

在此之前，IT行業(yè)要求建立一種集中的數(shù)據(jù)結(jié)構(gòu)，但是這非常消耗時間和成本。針對某些用戶案例，Hadoop可以幫助企業(yè)適應(yīng)structure-on-read這種結(jié)構(gòu)模式。一些先進的組織機構(gòu)將會通過數(shù)據(jù)綁定的運行模式而非集中的結(jié)構(gòu)來滿足持續(xù)的需求。這種自助服務(wù)模式將促進企業(yè)更好地利用新的數(shù)據(jù)資源，同時又能夠抓住新的市場機遇，應(yīng)對問題和挑戰(zhàn)。

綜上所述，未來幾年，在基于云的大數(shù)據(jù)分析解決方案上的開支，增速是現(xiàn)有解決方案投資的3倍，混合型部署將成為一項要求?？梢暬瘮?shù)據(jù)發(fā)現(xiàn)工具是其他業(yè)務(wù)智能市場板塊增速的2.5倍，預(yù)計將來，這方面的投資將會讓終端用戶自主服務(wù)成為所有企業(yè)的要求。2

015年，統(tǒng)一數(shù)據(jù)平臺架構(gòu)將成為大數(shù)據(jù)分析戰(zhàn)略的基礎(chǔ)，平臺集成了高級分析和預(yù)測分析的應(yīng)用，包括機器學(xué)習(xí)，將在2015年有所加速，比不具備這些功能的應(yīng)用增長速度高出65%。

另外，預(yù)計70%的大型企業(yè)機構(gòu)會購買了外部數(shù)據(jù)，到2019年這個比例將達到100%。越來越多的企業(yè)機構(gòu)將通過出售數(shù)據(jù)或者提供有價值的附加內(nèi)容實現(xiàn)數(shù)據(jù)的貨幣化。同時，到2015年，對事件流持續(xù)分析的技術(shù)普及將有所加速，它可運用于物聯(lián)網(wǎng)分析，預(yù)計其5年復(fù)合年增長率為30%；決策管理平臺的復(fù)合年增長率將達到60%。

到2015年，富媒體分析至少會翻三番，作為大數(shù)據(jù)分析技術(shù)投資的關(guān)鍵推動因素。未來，半數(shù)的消費者在日常生活中都會用到基于認(rèn)知計算的服務(wù)。