2015年主宰大數(shù)據(jù)技術(shù)的五大發(fā)展趨勢_數(shù)據(jù)分析師

大數(shù)據(jù)技術(shù)自出現(xiàn)以來以一種異?；馃岬乃俣劝l(fā)展著，且種種跡象表明這種發(fā)展趨勢在2015年將會繼續(xù)持續(xù)下去。MapR聯(lián)合創(chuàng)始人兼首席執(zhí)行官John Schroeder預(yù)測，2015年將有五大發(fā)展趨勢主導(dǎo)大數(shù)據(jù)技術(shù)，MapR是致力于Hadoop分發(fā)版的專業(yè)公司。
 
僅僅幾年時間里，大數(shù)據(jù)技術(shù)就從之前的炒作階段逐漸發(fā)展成為新數(shù)字時代中的核心技術(shù)之一。2014年，企業(yè)內(nèi)部的大數(shù)據(jù)計劃慢慢地從測試階段走向研發(fā)和生產(chǎn)。Schroeder表示，2015年，企業(yè)的大數(shù)據(jù)技術(shù)將會進一步推進，并向前發(fā)展，甚至?xí)a(chǎn)生更多的用戶案例，尤其是實時用戶案例。
 
Schroeder說：“明年，企業(yè)和相關(guān)的組織機構(gòu)將進行大數(shù)據(jù)的部署工作，并推進到實際的應(yīng)用中。這主要是由目前業(yè)界所發(fā)生的一個重大轉(zhuǎn)變所推動的結(jié)果，即當前這個行業(yè)里的領(lǐng)導(dǎo)者，以及即將成為這個行業(yè)里新的領(lǐng)導(dǎo)者都已經(jīng)將新的大數(shù)據(jù)平臺同他們的“運行”數(shù)據(jù)分析進行了整合，以便對其業(yè)務(wù)產(chǎn)生一定的影響?！?/span>
 
2015年主宰大數(shù)據(jù)技術(shù)的五大發(fā)展趨勢如下：
 
1、數(shù)據(jù)的靈活性成為焦點
 
隨著傳統(tǒng)數(shù)據(jù)庫(database)和數(shù)據(jù)倉庫(data warehouse)的運行越來越緩慢，并很難滿足企業(yè)業(yè)務(wù)的發(fā)展需要，數(shù)據(jù)的靈活性就成為了推動大數(shù)據(jù)技術(shù)發(fā)展的一個重要推動力。Schroeder指出，2015年，隨著企業(yè)逐漸從簡單地收集和管理數(shù)據(jù)過渡到真正使用這些數(shù)據(jù)，數(shù)據(jù)靈活性將越來越重要。
 
Schroeder說：“傳統(tǒng)數(shù)據(jù)庫和數(shù)據(jù)倉庫運行成本很高，因此DBA(數(shù)據(jù)庫管理員)資源需要對數(shù)據(jù)進行扁平化和結(jié)構(gòu)化處理。高DBA的預(yù)付成本阻礙了對新數(shù)據(jù)資源的接入，同時這種嚴格的架構(gòu)短時間內(nèi)很難改變，其最終的結(jié)果導(dǎo)致傳統(tǒng)數(shù)據(jù)庫變得不夠靈活，不能滿足當前大多數(shù)企業(yè)或組織機構(gòu)的需求?！?/span>
 
早期的大數(shù)據(jù)項目專注于對目標數(shù)據(jù)資源的存儲，而對于有多少數(shù)據(jù)被管理則并不是非常在意，對此企業(yè)在今后需要將其注意力轉(zhuǎn)移到測評數(shù)據(jù)的靈活性上。如何處理或分析數(shù)據(jù)，以便對運營產(chǎn)生一定的影響?當用戶偏好，或市場情況、競爭趨勢，以及運營狀態(tài)發(fā)生變化時，企業(yè)該如何調(diào)整和應(yīng)對?這些問題都將引領(lǐng)2015 年大數(shù)據(jù)項目的投資和發(fā)展范圍。
 
2、企業(yè)逐漸從數(shù)據(jù)湖轉(zhuǎn)向數(shù)據(jù)處理平臺發(fā)展
 
某種情況來說，2014年的大數(shù)據(jù)領(lǐng)域?qū)嶋H上就是一種“數(shù)據(jù)湖(data lake)”的狀態(tài)，一種基于對象的數(shù)據(jù)存儲方式將收集來的數(shù)據(jù)以其最原生的格式(結(jié)構(gòu)化的、非結(jié)構(gòu)化的或半結(jié)構(gòu)化的)存儲下來留作日后使用。“數(shù)據(jù)湖” 具有很高的價值定位，它代表了一種可擴展的基礎(chǔ)架構(gòu)，非常經(jīng)濟且超級靈活。
 
Schroeder表示，隨著多計算和執(zhí)行能力的加強，將推動企業(yè)從大量收集數(shù)據(jù)轉(zhuǎn)變?yōu)檫m當?shù)靥幚頂?shù)據(jù)，2015年“數(shù)據(jù)湖”將會繼續(xù)演進。這不僅會帶來更大的效率，同時也產(chǎn)生了單點管理和單點安全。
 
明年，隨著企業(yè)數(shù)據(jù)的分批處理到實時處理的變化，以及企業(yè)整合Hadoop和數(shù)據(jù)庫到其大規(guī)模處理平臺上，“數(shù)據(jù)湖”會得到進一步的發(fā)展。換句話說，這一趨勢并不是指“數(shù)據(jù)湖”里大規(guī)模用來支持更大的查詢和報告的數(shù)據(jù)存儲，而是對數(shù)據(jù)的持續(xù)訪問和處理，同時企業(yè)將會更多地關(guān)注實時數(shù)據(jù)，并采取主動措施。
 
3、自助服務(wù)大數(shù)據(jù)成為主流
 
Schroeder指出，隨著大數(shù)據(jù)工具和服務(wù)的發(fā)展，2015年，IT行業(yè)將逐漸緩解發(fā)展瓶頸的局面，許多商業(yè)用戶和數(shù)據(jù)科學(xué)家將會借助相關(guān)工具和服務(wù)訪問大量數(shù)據(jù)。
 
2015年，自助服務(wù)大數(shù)據(jù)將成為IT行業(yè)的一種趨勢，它允許商業(yè)用戶可以通過自助服務(wù)接觸大數(shù)據(jù)。自助服務(wù)還可以幫助開發(fā)者、數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析師直接進行數(shù)據(jù)探索和處理工作。
 
在此之前，IT行業(yè)要求建立一種集中的數(shù)據(jù)結(jié)構(gòu)，但是這非常消耗時間和成本。針對某些用戶案例，Hadoop可以幫助企業(yè)適應(yīng)structure-on- read這種結(jié)構(gòu)模式。一些先進的組織機構(gòu)將會通過數(shù)據(jù)綁定的運行模式而非集中的結(jié)構(gòu)來滿足持續(xù)的需求。這種自助服務(wù)模式將促進企業(yè)更好地利用新的數(shù)據(jù)資源，同時又能夠抓住新的市場機遇，應(yīng)對問題和挑戰(zhàn)。
 
4、Hadoop供應(yīng)商整合 新商業(yè)模式出現(xiàn)
 
2013年，英特爾發(fā)布了其Hadoop的分發(fā)版，這在業(yè)界引起了不小的轟動。英特爾表示，在這個分發(fā)版中，他們采用了一種全新的方法，可以直接將Hadoop整合到芯片中。但是僅僅一年之后，英特爾就放棄這一分發(fā)版，并迅速被Hadoop分發(fā)版供應(yīng)商Cloudera替代。
 
那時候，英特爾表示，用戶都在關(guān)注Hadoop市場將如何發(fā)展、發(fā)展成什么樣。而Hadoop產(chǎn)品的供應(yīng)商也是多種多樣、魚龍混雜。Schroeder相信，隨著失敗的企業(yè)不再繼續(xù)發(fā)展和推出其Hadoop分發(fā)版，轉(zhuǎn)而關(guān)注其他領(lǐng)域，在2015年Hadoop供應(yīng)商整合將會成為一種趨勢(+微信關(guān)注網(wǎng)絡(luò)世界)，持續(xù)進行。
 
Schroeder說：“開源軟件(OSS)的使用到目前為止已經(jīng)有20年的時間了，而且它給整個市場也帶來了巨大價值?！奔夹g(shù)的發(fā)展成熟需要幾個階段。技術(shù)的生命周期是以創(chuàng)新和開發(fā)高度差異化產(chǎn)品為開始，再以產(chǎn)品最終走向商業(yè)化為結(jié)束。被譽為“關(guān)系數(shù)據(jù)庫之父”的Edgar Frank Codd在1969年提出了“關(guān)系數(shù)據(jù)庫”的概念，1986年，甲骨文借助這一創(chuàng)新概念的發(fā)展成功上市。同時，這一創(chuàng)新概念也促進了1995年第一個 MySQL發(fā)放版的商業(yè)化進程。所以，從歷史的角度來看，數(shù)據(jù)庫平臺技術(shù)從最初的創(chuàng)新到最后的商業(yè)化，經(jīng)歷了26年的時間走向成熟。
 
Schroeder表示：“目前，Hadoop還處于技術(shù)成熟周期的早期階段，從谷歌發(fā)布富有影響力的MapReduce白皮書至今僅僅過去了10年的時間。自最初的概念提出發(fā)展到現(xiàn)在的10年里，Hadoop得到了全球范圍內(nèi)的部署和使用，并大大的超過了其他數(shù)據(jù)平臺?！蹦壳?，Hadoop還是處于創(chuàng)新階段，所以供應(yīng)商錯誤地采取“Red Hat for Hadoop”策略的這種現(xiàn)象在市場也仍然存在，其中最明顯的是英特爾，其次是EMC Pivotal。
 
Schroeder認為，2015年業(yè)界將會看到一個新的、更加微妙的OSS模式的演進，這一新模式的演進和發(fā)展將社區(qū)發(fā)展與深度創(chuàng)新結(jié)合到了一起。開源社區(qū)是創(chuàng)建標準和達成共識的一個重要區(qū)域，而競爭則是促進Hadoop從最初的分析處理器向全功能數(shù)據(jù)平臺發(fā)展、演變的加速器。
 
5、企業(yè)架構(gòu)師不再炒作大數(shù)據(jù)
 
2015年，隨著企業(yè)架構(gòu)師對Hadoop技術(shù)堆棧不斷深入地了解，他們也慢慢地發(fā)揮著重要的作用，即對大數(shù)據(jù)應(yīng)用的需求進行了更好地的定義和更加復(fù)雜的陳述，其中的一些因素包含了高可用性和業(yè)務(wù)連續(xù)性。
 
Schroeder說：“隨著企業(yè)在數(shù)據(jù)中心中迅速地從試驗階段走向?qū)嶋H部署階段，企業(yè)架構(gòu)師開始走到前臺來，并在大數(shù)據(jù)部署的道路上發(fā)揮著重要作用?！盜T領(lǐng)導(dǎo)者選擇基礎(chǔ)架構(gòu)方面也發(fā)揮著至關(guān)重要的作用，所選擇的基礎(chǔ)架構(gòu)需要滿足SLA的要求，并具備高可靠性、業(yè)務(wù)連續(xù)性，同時滿足重要的業(yè)務(wù)需求。在2014年，Hadoop生態(tài)系統(tǒng)一直蓬勃發(fā)展，并產(chǎn)生大量的應(yīng)用、工具和組件。預(yù)計2015年，該市場將關(guān)注跨平臺之間的差異性，同時企業(yè)的基礎(chǔ)架構(gòu)中也將整合Hadoop到數(shù)據(jù)中心中去，并產(chǎn)生一定的商業(yè)價值。