2015年5個大數(shù)據(jù)技術(shù)預(yù)測_數(shù)據(jù)分析師培訓(xùn)

大數(shù)據(jù)技術(shù)快速進(jìn)化，各種跡象顯示2015年仍將持續(xù)。MapR的聯(lián)合創(chuàng)始人兼CEO John Schroeder預(yù)測，在2015年里，五大發(fā)展將會主導(dǎo)大數(shù)據(jù)技術(shù)。

　　在短短幾年里，大數(shù)據(jù)技術(shù)從炒作的概念變?yōu)樾聰?shù)字時代的核心破壞者。2014年，公司里越來越多的大數(shù)據(jù)舉措從測試步入生產(chǎn)。2015年，大數(shù)據(jù)將在企業(yè)里進(jìn)一步推進(jìn)，使用更多的用例(特別是實時用例)，Hadoop分布式專家MapR的聯(lián)合創(chuàng)始人兼CEO John Schroeder說。

　　Schroeder說：“今年，機(jī)構(gòu)將覆蓋之前的初次批量實現(xiàn)，進(jìn)行大數(shù)據(jù)實時部署?，F(xiàn)有的行業(yè)領(lǐng)導(dǎo)者和那些后起之秀已經(jīng)付出了巨大努力，它們通過將新的大數(shù)據(jù)平臺合并到‘動態(tài)’數(shù)據(jù)分析中來影響業(yè)務(wù)，這些實現(xiàn)將驅(qū)動行業(yè)的發(fā)展?！?/span>

　　Schroeder說五大發(fā)展將會主導(dǎo)2015。

　　1.數(shù)據(jù)敏捷性成為焦點

　　對于許多需求來說，遺留的數(shù)據(jù)庫和數(shù)據(jù)倉庫的處理過程過于緩慢和僵化，因此數(shù)據(jù)敏捷性是大數(shù)據(jù)技術(shù)發(fā)展的驅(qū)動力之一。在2015年，Schroeder認(rèn)為，隨著機(jī)構(gòu)將他們的注意力從捕獲和管理數(shù)據(jù)轉(zhuǎn)換到使用它們，數(shù)據(jù)敏捷性將會更加集中。

　　他說：“遺留的數(shù)據(jù)庫和數(shù)據(jù)倉庫如此昂貴，以至于需要DBA對數(shù)據(jù)進(jìn)行全面綜合和結(jié)構(gòu)化。前期的DBA成本推遲了對新數(shù)據(jù)源的訪問，而隨著時間的推移，這剛性的結(jié)構(gòu)也很難改變。最終的結(jié)果就是，遺留數(shù)據(jù)庫不夠敏捷，不能滿足今天多數(shù)組織的需要?！?/span>

　　他補(bǔ)充說：“最初的數(shù)據(jù)項目集中在目標(biāo)數(shù)據(jù)源的存儲。機(jī)構(gòu)將會把自己的注意力轉(zhuǎn)移到數(shù)據(jù)敏捷性上，而不是關(guān)心正在管理著多少數(shù)據(jù)。執(zhí)行和分析數(shù)據(jù)的能力又是如何影響操作的?當(dāng)用戶偏好、市場條件、競爭行為和操作狀態(tài)發(fā)生變化時，如何才能快速適應(yīng)和響應(yīng)?這些問題將會在2015年指引大數(shù)據(jù)的投資和規(guī)模?！?/span>

　　2.機(jī)構(gòu)從數(shù)據(jù)湖泊轉(zhuǎn)移到數(shù)據(jù)處理平臺

　　從某種程度上來說，2014年是數(shù)據(jù)湖泊(或者數(shù)據(jù)中心)的一年?；趯ο蟮拇鎯}庫以其原生格式(無論是結(jié)構(gòu)化的、非機(jī)構(gòu)化的或半結(jié)構(gòu)化的)保存著原始數(shù)據(jù)，直到可以使用。數(shù)據(jù)湖泊有著強(qiáng)烈的價值主張，它們代表著一個可伸縮的基礎(chǔ)結(jié)構(gòu)，這樣的結(jié)構(gòu)經(jīng)濟(jì)(降低了成本)又敏捷。

　　Schroeder認(rèn)為，隨著處理數(shù)據(jù)的多計算和執(zhí)行引擎就位，數(shù)據(jù)湖泊將會在2015年繼續(xù)發(fā)展。它不僅會更有效，它還會創(chuàng)建一個單點管理和一個單點安全。

　　“在2015年，隨著機(jī)構(gòu)從批處理轉(zhuǎn)移到實時處理，將Hadoop、數(shù)據(jù)庫和基于文件的引擎集成到他們的大規(guī)模處理平臺，數(shù)據(jù)湖泊將會有所發(fā)展”，他說。 “換句話說，它并不是關(guān)于數(shù)據(jù)湖泊中支持大量查詢和報告的大規(guī)模存儲。2015年的大趨勢是，圍繞事件和數(shù)據(jù)的實時持續(xù)訪問和處理，以此來獲取穩(wěn)定的狀態(tài)和及時采取行動?！?/span>

　　3.自助服務(wù)大數(shù)據(jù)成為主流

　　大數(shù)據(jù)工具和服務(wù)的進(jìn)步意味著，在2015年，商業(yè)用戶和數(shù)據(jù)科學(xué)家訪問數(shù)據(jù)的瓶頸將逐漸緩解，Schroeder說。

　　2015年，IT將會擁抱自助服務(wù)大數(shù)據(jù)，允許商業(yè)用戶使用大數(shù)據(jù)自助服務(wù)，他說。“自助服務(wù)授權(quán)開發(fā)者、數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析師直接控制對數(shù)據(jù)的探索?！?/span>

　　“之前，需要IT技術(shù)來建立集中的數(shù)據(jù)結(jié)構(gòu)”，他補(bǔ)充道?！斑@是一種耗時和昂貴的做法。對于一些用例，Hadoop已經(jīng)使得企業(yè)適應(yīng)了‘結(jié)構(gòu)準(zhǔn)備好’。高級一點的機(jī)構(gòu)將會轉(zhuǎn)移到執(zhí)行上的數(shù)據(jù)綁定，遠(yuǎn)離中心結(jié)構(gòu)，以此來滿足持續(xù)的需求。自助服務(wù)加快機(jī)構(gòu)利用新數(shù)據(jù)源以及回應(yīng)機(jī)會和威脅?！?/span>

　　4.Hadoop供應(yīng)商整合：新商業(yè)模式的發(fā)展

　　早在2013年，因特爾引入了它自己的Hadoop版本，聲稱這個版本將會與原版有所不同，它采用一種增強(qiáng)的方法，將Hadoop直接置入到因特爾的機(jī)器中。但是一年后，因特爾放棄了它自己的版本，然后重磅推出Hadoop發(fā)行版供應(yīng)商Cloudera。

　　當(dāng)時，因特爾注意到，客戶們都在觀望Hadoop市場如何打開。Hadoop的選擇實在是太多了。Schroeder相信，Hadoop供應(yīng)商的整合在2015年將會繼續(xù)，而失敗者將會停止它們的發(fā)行版，將注意力轉(zhuǎn)移到其它地方。

　　“現(xiàn)在，我們已經(jīng)貢獻(xiàn)開源代碼20年了，它為市場提供了巨大的價值”，Schroeder說。“技術(shù)處于成熟階段。技術(shù)生命周期始于創(chuàng)新和高度差異化產(chǎn)品的創(chuàng)造，止于產(chǎn)品最終商業(yè)化。[Edgar F.] Codd于1969年使用創(chuàng)新而建立了關(guān)系數(shù)據(jù)庫概念，1986年也導(dǎo)致了Oracle IPO，而起始于1995年的第一個MySQL版本。所以歷史上，數(shù)據(jù)庫平臺技術(shù)成熟之前，為了看到商業(yè)化，它花了26年時間的創(chuàng)新?！?/span>

　　“在技術(shù)成熟周期中，Hadoop是比較早的，自Google發(fā)布萌芽的MapReduce白皮書起，僅僅只有十年的時間”，他補(bǔ)充道。“在初級概念發(fā)布僅10年后，Hadoop在全球被采用，超越以往任何其它數(shù)據(jù)平臺。Hadoop正在創(chuàng)新階段，所以供應(yīng)商誤采用‘Red Hat for Hadoop’策略已經(jīng)在市場上出現(xiàn)了，尤其是因特爾和最近的EMC?！?/span>

　　Schroeder相信，2015將會見到一個嶄新的、更微妙的開源軟件的發(fā)展，它們會結(jié)合深度創(chuàng)新和社區(qū)開發(fā)。

　　“開源社區(qū)對于建立標(biāo)準(zhǔn)和共識是至關(guān)重要的”，他說?！案偁幨谴呋瘎?，它將Hadoop從最初的批分析處理器轉(zhuǎn)換成一個全功能數(shù)據(jù)平臺?！?/span>

　　5.企業(yè)架構(gòu)師不再炒作大數(shù)據(jù)

　　2015年將會看到，企業(yè)架構(gòu)師會成為焦點，因他們對Hadoop技術(shù)的深入理解，得到定義更好和更成熟的大數(shù)據(jù)應(yīng)用需求說明，包括像高可用性和業(yè)務(wù)連續(xù)性等元素。

　　“在數(shù)據(jù)中心中，隨著機(jī)構(gòu)快速從試驗轉(zhuǎn)移到實際應(yīng)用，企業(yè)架構(gòu)師將前臺和中心轉(zhuǎn)移到實際應(yīng)用”，Schroeder說。“IT領(lǐng)導(dǎo)在決定適應(yīng)SLA的基礎(chǔ)架構(gòu)、提供高可用性、業(yè)務(wù)連續(xù)性和適應(yīng)關(guān)鍵業(yè)務(wù)需求上就很重要了。在2014年，圍繞Hadoop蓬勃發(fā)展的生態(tài)系統(tǒng)，擁有大量的應(yīng)用、工具和組件。在 2015年，市場將集中在將Hadoop集成到數(shù)據(jù)中心，并交付業(yè)務(wù)結(jié)果所需的跨平臺差異和架構(gòu)上?！?/span>