2015年5個(gè)大數(shù)據(jù)技術(shù)預(yù)測(cè)_數(shù)據(jù)分析師培訓(xùn)

大數(shù)據(jù)技術(shù)快速進(jìn)化，各種跡象顯示2015年仍將持續(xù)。MapR的聯(lián)合創(chuàng)始人兼CEO John Schroeder預(yù)測(cè)，在2015年里，五大發(fā)展將會(huì)主導(dǎo)大數(shù)據(jù)技術(shù)。

　　在短短幾年里，大數(shù)據(jù)技術(shù)從炒作的概念變?yōu)樾聰?shù)字時(shí)代的核心破壞者。2014年，公司里越來越多的大數(shù)據(jù)舉措從測(cè)試步入生產(chǎn)。2015年，大數(shù)據(jù)將在企業(yè)里進(jìn)一步推進(jìn)，使用更多的用例(特別是實(shí)時(shí)用例)，Hadoop分布式專家MapR的聯(lián)合創(chuàng)始人兼CEO John Schroeder說。

　　Schroeder說：“今年，機(jī)構(gòu)將覆蓋之前的初次批量實(shí)現(xiàn)，進(jìn)行大數(shù)據(jù)實(shí)時(shí)部署。現(xiàn)有的行業(yè)領(lǐng)導(dǎo)者和那些后起之秀已經(jīng)付出了巨大努力，它們通過將新的大數(shù)據(jù)平臺(tái)合并到‘動(dòng)態(tài)’數(shù)據(jù)分析中來影響業(yè)務(wù)，這些實(shí)現(xiàn)將驅(qū)動(dòng)行業(yè)的發(fā)展。”

　　Schroeder說五大發(fā)展將會(huì)主導(dǎo)2015。

　　1.數(shù)據(jù)敏捷性成為焦點(diǎn)

　　對(duì)于許多需求來說，遺留的數(shù)據(jù)庫和數(shù)據(jù)倉庫的處理過程過于緩慢和僵化，因此數(shù)據(jù)敏捷性是大數(shù)據(jù)技術(shù)發(fā)展的驅(qū)動(dòng)力之一。在2015年，Schroeder認(rèn)為，隨著機(jī)構(gòu)將他們的注意力從捕獲和管理數(shù)據(jù)轉(zhuǎn)換到使用它們，數(shù)據(jù)敏捷性將會(huì)更加集中。

　　他說：“遺留的數(shù)據(jù)庫和數(shù)據(jù)倉庫如此昂貴，以至于需要DBA對(duì)數(shù)據(jù)進(jìn)行全面綜合和結(jié)構(gòu)化。前期的DBA成本推遲了對(duì)新數(shù)據(jù)源的訪問，而隨著時(shí)間的推移，這剛性的結(jié)構(gòu)也很難改變。最終的結(jié)果就是，遺留數(shù)據(jù)庫不夠敏捷，不能滿足今天多數(shù)組織的需要?！?/span>

　　他補(bǔ)充說：“最初的數(shù)據(jù)項(xiàng)目集中在目標(biāo)數(shù)據(jù)源的存儲(chǔ)。機(jī)構(gòu)將會(huì)把自己的注意力轉(zhuǎn)移到數(shù)據(jù)敏捷性上，而不是關(guān)心正在管理著多少數(shù)據(jù)。執(zhí)行和分析數(shù)據(jù)的能力又是如何影響操作的?當(dāng)用戶偏好、市場條件、競爭行為和操作狀態(tài)發(fā)生變化時(shí)，如何才能快速適應(yīng)和響應(yīng)?這些問題將會(huì)在2015年指引大數(shù)據(jù)的投資和規(guī)模?！?/span>

　　2.機(jī)構(gòu)從數(shù)據(jù)湖泊轉(zhuǎn)移到數(shù)據(jù)處理平臺(tái)

　　從某種程度上來說，2014年是數(shù)據(jù)湖泊(或者數(shù)據(jù)中心)的一年?；趯?duì)象的存儲(chǔ)倉庫以其原生格式(無論是結(jié)構(gòu)化的、非機(jī)構(gòu)化的或半結(jié)構(gòu)化的)保存著原始數(shù)據(jù)，直到可以使用。數(shù)據(jù)湖泊有著強(qiáng)烈的價(jià)值主張，它們代表著一個(gè)可伸縮的基礎(chǔ)結(jié)構(gòu)，這樣的結(jié)構(gòu)經(jīng)濟(jì)(降低了成本)又敏捷。

　　Schroeder認(rèn)為，隨著處理數(shù)據(jù)的多計(jì)算和執(zhí)行引擎就位，數(shù)據(jù)湖泊將會(huì)在2015年繼續(xù)發(fā)展。它不僅會(huì)更有效，它還會(huì)創(chuàng)建一個(gè)單點(diǎn)管理和一個(gè)單點(diǎn)安全。

　　“在2015年，隨著機(jī)構(gòu)從批處理轉(zhuǎn)移到實(shí)時(shí)處理，將Hadoop、數(shù)據(jù)庫和基于文件的引擎集成到他們的大規(guī)模處理平臺(tái)，數(shù)據(jù)湖泊將會(huì)有所發(fā)展”，他說。 “換句話說，它并不是關(guān)于數(shù)據(jù)湖泊中支持大量查詢和報(bào)告的大規(guī)模存儲(chǔ)。2015年的大趨勢(shì)是，圍繞事件和數(shù)據(jù)的實(shí)時(shí)持續(xù)訪問和處理，以此來獲取穩(wěn)定的狀態(tài)和及時(shí)采取行動(dòng)?！?/span>

　　3.自助服務(wù)大數(shù)據(jù)成為主流

　　大數(shù)據(jù)工具和服務(wù)的進(jìn)步意味著，在2015年，商業(yè)用戶和數(shù)據(jù)科學(xué)家訪問數(shù)據(jù)的瓶頸將逐漸緩解，Schroeder說。

　　2015年，IT將會(huì)擁抱自助服務(wù)大數(shù)據(jù)，允許商業(yè)用戶使用大數(shù)據(jù)自助服務(wù)，他說?！白灾?wù)授權(quán)開發(fā)者、數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析師直接控制對(duì)數(shù)據(jù)的探索。”

　　“之前，需要IT技術(shù)來建立集中的數(shù)據(jù)結(jié)構(gòu)”，他補(bǔ)充道?！斑@是一種耗時(shí)和昂貴的做法。對(duì)于一些用例，Hadoop已經(jīng)使得企業(yè)適應(yīng)了‘結(jié)構(gòu)準(zhǔn)備好’。高級(jí)一點(diǎn)的機(jī)構(gòu)將會(huì)轉(zhuǎn)移到執(zhí)行上的數(shù)據(jù)綁定，遠(yuǎn)離中心結(jié)構(gòu)，以此來滿足持續(xù)的需求。自助服務(wù)加快機(jī)構(gòu)利用新數(shù)據(jù)源以及回應(yīng)機(jī)會(huì)和威脅。”

　　4.Hadoop供應(yīng)商整合：新商業(yè)模式的發(fā)展

　　早在2013年，因特爾引入了它自己的Hadoop版本，聲稱這個(gè)版本將會(huì)與原版有所不同，它采用一種增強(qiáng)的方法，將Hadoop直接置入到因特爾的機(jī)器中。但是一年后，因特爾放棄了它自己的版本，然后重磅推出Hadoop發(fā)行版供應(yīng)商Cloudera。

　　當(dāng)時(shí)，因特爾注意到，客戶們都在觀望Hadoop市場如何打開。Hadoop的選擇實(shí)在是太多了。Schroeder相信，Hadoop供應(yīng)商的整合在2015年將會(huì)繼續(xù)，而失敗者將會(huì)停止它們的發(fā)行版，將注意力轉(zhuǎn)移到其它地方。

　　“現(xiàn)在，我們已經(jīng)貢獻(xiàn)開源代碼20年了，它為市場提供了巨大的價(jià)值”，Schroeder說?！凹夹g(shù)處于成熟階段。技術(shù)生命周期始于創(chuàng)新和高度差異化產(chǎn)品的創(chuàng)造，止于產(chǎn)品最終商業(yè)化。[Edgar F.] Codd于1969年使用創(chuàng)新而建立了關(guān)系數(shù)據(jù)庫概念，1986年也導(dǎo)致了Oracle IPO，而起始于1995年的第一個(gè)MySQL版本。所以歷史上，數(shù)據(jù)庫平臺(tái)技術(shù)成熟之前，為了看到商業(yè)化，它花了26年時(shí)間的創(chuàng)新?！?/span>

　　“在技術(shù)成熟周期中，Hadoop是比較早的，自Google發(fā)布萌芽的MapReduce白皮書起，僅僅只有十年的時(shí)間”，他補(bǔ)充道。“在初級(jí)概念發(fā)布僅10年后，Hadoop在全球被采用，超越以往任何其它數(shù)據(jù)平臺(tái)。Hadoop正在創(chuàng)新階段，所以供應(yīng)商誤采用‘Red Hat for Hadoop’策略已經(jīng)在市場上出現(xiàn)了，尤其是因特爾和最近的EMC?！?/span>

　　Schroeder相信，2015將會(huì)見到一個(gè)嶄新的、更微妙的開源軟件的發(fā)展，它們會(huì)結(jié)合深度創(chuàng)新和社區(qū)開發(fā)。

　　“開源社區(qū)對(duì)于建立標(biāo)準(zhǔn)和共識(shí)是至關(guān)重要的”，他說?！案偁幨谴呋瘎?，它將Hadoop從最初的批分析處理器轉(zhuǎn)換成一個(gè)全功能數(shù)據(jù)平臺(tái)?！?/span>

　　5.企業(yè)架構(gòu)師不再炒作大數(shù)據(jù)

　　2015年將會(huì)看到，企業(yè)架構(gòu)師會(huì)成為焦點(diǎn)，因他們對(duì)Hadoop技術(shù)的深入理解，得到定義更好和更成熟的大數(shù)據(jù)應(yīng)用需求說明，包括像高可用性和業(yè)務(wù)連續(xù)性等元素。

　　“在數(shù)據(jù)中心中，隨著機(jī)構(gòu)快速從試驗(yàn)轉(zhuǎn)移到實(shí)際應(yīng)用，企業(yè)架構(gòu)師將前臺(tái)和中心轉(zhuǎn)移到實(shí)際應(yīng)用”，Schroeder說?！癐T領(lǐng)導(dǎo)在決定適應(yīng)SLA的基礎(chǔ)架構(gòu)、提供高可用性、業(yè)務(wù)連續(xù)性和適應(yīng)關(guān)鍵業(yè)務(wù)需求上就很重要了。在2014年，圍繞Hadoop蓬勃發(fā)展的生態(tài)系統(tǒng)，擁有大量的應(yīng)用、工具和組件。在 2015年，市場將集中在將Hadoop集成到數(shù)據(jù)中心，并交付業(yè)務(wù)結(jié)果所需的跨平臺(tái)差異和架構(gòu)上?！?/span>