大數(shù)據(jù)的五大進(jìn)化趨勢(shì)

僅僅數(shù)年時(shí)間，大數(shù)據(jù)就從大型互聯(lián)網(wǎng)公司高管嘴里的專業(yè)術(shù)語，演變成了決定我們未來數(shù)字生活方式的重大技術(shù)命題。無論是消費(fèi)者，傳統(tǒng)企業(yè)還是互聯(lián)網(wǎng)創(chuàng)業(yè)公司，對(duì)大數(shù)據(jù)趨勢(shì)的洞察和把握都是改變命運(yùn)的重要思考。為了方便大家理解大數(shù)據(jù)將如何改變我們生產(chǎn)和消費(fèi)數(shù)據(jù)的方式，GigaOM作者Derrick Harris在下面羅列了大數(shù)據(jù)的五大發(fā)展趨勢(shì)，也歡迎讀者留言評(píng)論，說出你們眼中的大數(shù)據(jù)趨勢(shì)。

一、數(shù)據(jù)科學(xué)的普及化

在數(shù)據(jù)科學(xué)領(lǐng)域，最重大的變化來自數(shù)據(jù)科學(xué)家人才庫(kù)的壯大。新的在線教育平臺(tái)（如Coursera和Udacity）向?qū)W生傳授各種數(shù)據(jù)科學(xué)知識(shí)，從基礎(chǔ)統(tǒng)計(jì)到自然語言處理和機(jī)器學(xué)習(xí)。此外，Oxdata這樣的產(chǎn)品還致力于讓R這樣的經(jīng)典統(tǒng)計(jì)分析工具更加易用和強(qiáng)大。而Quid則讓機(jī)器學(xué)習(xí)和人工智能與優(yōu)美的用戶界面無縫結(jié)合。Kaggle這樣的平臺(tái)則為預(yù)測(cè)型分析提供了一個(gè)眾包解決方案。

一個(gè)總的趨勢(shì)是，最終任何一個(gè)有點(diǎn)想象力的，懂點(diǎn)基本的計(jì)算機(jī)科學(xué)知識(shí)，但是商業(yè)嗅覺敏銳的人將能夠更好地利用他們手頭的數(shù)據(jù)。大數(shù)據(jù)分析將不再高高在上，Datahero、INnfogram和Statwing這樣的公司都在試圖讓門外漢也能從事數(shù)據(jù)分析，給出漂亮的數(shù)據(jù)分析結(jié)果。

二、Hadoop的MapReduce時(shí)代終結(jié)

Hadoop作為單一的MapReduce運(yùn)行平臺(tái)的日子已經(jīng)一去不復(fù)返了。進(jìn)化開始于Apache hadoop的2.0版本，新增的YARN功能讓Hadoop支持新的處理框架，例如Cloudera的商業(yè)發(fā)行版目前包括一個(gè)SQL查詢引擎，以及一些圍繞mapReduce的互動(dòng)分析方法。要想讓數(shù)據(jù)分析師訪問Hadoop數(shù)據(jù)，Hadoop還必須支持更多的功能。

用Platfora進(jìn)行基于Hadoop的BI分析

總之，MapReduce對(duì)于Hadoop來說越來越不重要了。Hadoop社區(qū)目前最關(guān)心的事情是如何讓Hadoop平臺(tái)的分布處理支持實(shí)時(shí)分析，更好的服務(wù)于下一代數(shù)據(jù)分析應(yīng)用（例如商業(yè)智能的實(shí)時(shí)互動(dòng)分析）。如果Hadoop在這方面進(jìn)展緩慢，將很快被Storm和Druid這樣的技術(shù)取而代之。

基于Hadoop分布式文件系統(tǒng)HDFS之上的HBase NoSQL數(shù)據(jù)庫(kù)就是一個(gè)很好的例子，證明擺脫MapReduce的框架制約后，Hadoop還有很大的價(jià)值拓展?jié)摿?。目前Facebook和eBay等互聯(lián)網(wǎng)公司已經(jīng)開始使用HBase來跑交易應(yīng)用，而Drawn to Scale和Splice Machine等創(chuàng)業(yè)公司則使用HBase作為交易SQL數(shù)據(jù)庫(kù)的基礎(chǔ)。而一些新的產(chǎn)品或項(xiàng)目，如Graph database Giraph使用HDFS文件系統(tǒng)是因?yàn)槠淇蓴U(kuò)展性、相對(duì)成熟，而且有一個(gè)不斷成長(zhǎng)的生態(tài)環(huán)境。

更多人使用大數(shù)據(jù)應(yīng)用

大數(shù)據(jù)的價(jià)值在于應(yīng)用和普及，而不僅僅是數(shù)據(jù)科學(xué)家手里的高深工具。未來越來越多的人都都將能夠使用大數(shù)據(jù)應(yīng)用，例如開發(fā)者。創(chuàng)業(yè)公司Continuuity、Infochimps甚至Precog（大數(shù)據(jù)BI引擎）都在開發(fā)面向開發(fā)者的大數(shù)據(jù)工具，使開發(fā)者能更容易地將應(yīng)用與大數(shù)據(jù)后端對(duì)接，這方面的工作大大簡(jiǎn)化，有時(shí)候開發(fā)者只需要在程序中植入一個(gè)腳本或者一段代碼。

大數(shù)據(jù)應(yīng)用普及的另外一個(gè)趨勢(shì)是產(chǎn)品化，針對(duì)特定應(yīng)用場(chǎng)景開發(fā)出開箱即用的大數(shù)據(jù)產(chǎn)品，例如分析用戶行為、網(wǎng)絡(luò)安全、人工智能、客戶服務(wù)等的大數(shù)據(jù)應(yīng)用。最早采用大數(shù)據(jù)技術(shù)的公司如Google、Facebook等需要自行開發(fā)相關(guān)大數(shù)據(jù)應(yīng)用，但是對(duì)于更多的企業(yè)來說，現(xiàn)成的產(chǎn)品才是引爆大數(shù)據(jù)商業(yè)價(jià)值的關(guān)鍵。其實(shí)今天很多移動(dòng)或互聯(lián)網(wǎng)應(yīng)用中都已經(jīng)有了大數(shù)據(jù)的影子，從用戶購(gòu)買決策到好友匹配等。

機(jī)器學(xué)習(xí)無處不在

過去幾年，機(jī)器學(xué)習(xí)（Machine Learning）逐漸流行開來，容易讓人誤以為機(jī)器學(xué)習(xí)并不難。機(jī)器學(xué)習(xí)的流行原因很簡(jiǎn)單，在一個(gè)消費(fèi)者（以及廣告主）需要更多個(gè)性化，而計(jì)算機(jī)系統(tǒng)正被四面八方飛速增長(zhǎng)的數(shù)據(jù)包圍的年代，編寫能夠透視數(shù)據(jù)的模型總是一件誘人的事情。

以下是我們梳理的，依賴機(jī)器學(xué)習(xí)的一些應(yīng)用（網(wǎng)站）：Prismatic, Summly, Trifacta, CloudFlare, Twitter, Google, Facebook, Bidgely, Healthrageous, Predilytics, BloomReach, DataPop, Gravity.

用Prismatic分析個(gè)人興趣圖譜

現(xiàn)在，很難想象一家新成立的科技公司，完全不考慮用機(jī)器學(xué)習(xí)模型讓他們的產(chǎn)品或者服務(wù)更加智能。甚至微軟公司都將機(jī)器學(xué)習(xí)視為一個(gè)新的業(yè)務(wù)和收入增長(zhǎng)點(diǎn)而投入巨資。

移動(dòng)數(shù)據(jù)將成為人工智能（AI）的引擎

在天網(wǎng)發(fā)動(dòng)機(jī)器推翻人類統(tǒng)治之前，我們手里的移動(dòng)電話已經(jīng)比我們自己更了解我們的下一步舉動(dòng)。Google的Project Glass增強(qiáng)現(xiàn)實(shí)眼鏡已經(jīng)出爐，類似的移動(dòng)應(yīng)用將捕獲和產(chǎn)生大量個(gè)人數(shù)據(jù)。而機(jī)器學(xué)習(xí)、語音識(shí)別等技術(shù)，則能幫我們充分利用這些數(shù)據(jù)。

如今，移動(dòng)應(yīng)用知道我們?nèi)ツ?，我們的朋友是誰，我們的日程是什么，我們?cè)诰W(wǎng)絡(luò)上搜索什么。新一代應(yīng)用如Siri、Saga和Google Now都試圖扮演智能個(gè)人助理的角色，我們的電話知道我們?cè)谡f什么，了解我們常去哪家餐館吃飯，知道我們何時(shí)回家，工作或郊游。這些應(yīng)用的開發(fā)者聲稱這些應(yīng)用能為用戶選擇最佳赴約路線，城里某處有家從未光顧過的餐館有我們最喜歡的菜。

一場(chǎng)大規(guī)模競(jìng)賽已經(jīng)啟動(dòng)，開發(fā)者比拼誰的應(yīng)用最智能，整合的數(shù)據(jù)最全面，以及如何在四寸大的屏幕上交付最美妙的用戶體驗(yàn)。