大數(shù)據(jù)分析，八大趨勢(shì)你看清了嗎

“現(xiàn)實(shí)的情況是，這些工具都剛剛興起，他們構(gòu)筑的平臺(tái)還不足以讓企業(yè)依賴。但是，大數(shù)據(jù)和分析學(xué)等學(xué)科發(fā)展十分迅速，因此企業(yè)必須努力跟上，否則就有被甩掉的危險(xiǎn)?！彼€說(shuō)：“過(guò)去，新興技術(shù)往往需要十年左右的時(shí)間才能夠成熟，但是現(xiàn)在大大不同了，人們幾個(gè)月甚至幾周時(shí)間就能想出解決方案。”那么，有哪些新興技術(shù)是我們應(yīng)該關(guān)注，或者說(shuō)科研人員正在重點(diǎn)研究的呢?近日采訪了一些IT精英、咨詢師和行業(yè)分析專家，來(lái)看看他們列出的幾大趨勢(shì)吧

　　1.云端大數(shù)據(jù)分析

　　Hadoop是一組有一定框架結(jié)構(gòu)的工具，用來(lái)處理大型數(shù)據(jù)組。它原本用于機(jī)器群，但現(xiàn)在情況有所變化。Forrester Research一位分析師Brian Hopkins表示，現(xiàn)在有越來(lái)越多的技術(shù)可以運(yùn)用到云端數(shù)據(jù)處理上來(lái)了。比如亞馬遜的BI數(shù)據(jù)庫(kù)、Google的BigQuery數(shù)據(jù)分析服務(wù)，IBM的Bluemix云平臺(tái)和亞馬遜的Kinesis數(shù)據(jù)處理服務(wù)等。這位分析師還說(shuō)，未來(lái)的大數(shù)據(jù)將是內(nèi)部數(shù)據(jù)部署與云端數(shù)據(jù)的結(jié)合體。

　　SmarterRemarketer是SaaS零售分析、市場(chǎng)細(xì)分和營(yíng)銷服務(wù)的供應(yīng)商，它最近將自己室內(nèi)的Hadoop和MongoDB數(shù)據(jù)庫(kù)基礎(chǔ)設(shè)施轉(zhuǎn)移到了一個(gè)基于云技術(shù)的數(shù)據(jù)庫(kù)。這家位于印第安納波利斯的公司收集線上和實(shí)體銷售數(shù)據(jù)、顧客信息和實(shí)時(shí)行為數(shù)據(jù)，之后進(jìn)行分析，從而幫助零售商做出針對(duì)消費(fèi)者的決策，有些決策甚至是實(shí)時(shí)的。

　　Abbott表示，這樣可以節(jié)省成本，這是因?yàn)樗鼘?duì)于結(jié)構(gòu)數(shù)據(jù)擁有強(qiáng)大的匯總報(bào)告功能，而且它頗具規(guī)模，使用起來(lái)相對(duì)容易。用這些虛擬設(shè)備總是要比那些實(shí)體設(shè)備便宜一些。

　　相比之下，位于加州山景城的Intuit在走向云分析的過(guò)程中就要謹(jǐn)慎多了，因?yàn)樗枰粋€(gè)安全、穩(wěn)定、可控的環(huán)境。目前為止，這家金融軟件公司的數(shù)據(jù)都還在自家的數(shù)據(jù)庫(kù)——IntuitAnalyticsCloud里面。Loconzolo表示：“建立一個(gè)幾家公司公用的、能跨越虛擬、現(xiàn)實(shí)兩個(gè)世界的、具有高度穩(wěn)定性的云端，目前這個(gè)問(wèn)題還沒(méi)有得到解決?！比欢?，可以說(shuō)，對(duì)于像Intuit這種銷售云端產(chǎn)品的公司來(lái)說(shuō)，向云端技術(shù)進(jìn)軍是必然的。Loconzolo還說(shuō)道，未來(lái)我們會(huì)發(fā)展到一個(gè)階段，那時(shí)把數(shù)據(jù)放在私有云端將是浪費(fèi)的。

　　2.Hadoop：一個(gè)新的企業(yè)數(shù)據(jù)運(yùn)行系統(tǒng)

　　Hopkins表示，像MapReduce這樣的分布式分析框架，正在逐漸演化成分布式資源管理器，這些資源管理器正逐步將Hadoop變?yōu)槎嘤猛緮?shù)據(jù)運(yùn)行系統(tǒng)?！坝辛诉@些系統(tǒng)，你就可以進(jìn)行多種多樣的操作和分析?！?/span>

　　這對(duì)企業(yè)來(lái)說(shuō)意味著什么呢?SQL、MapReduce、in-memory、流水式處理、圖表分析還有其它工作都能在Hadoop上進(jìn)行，越來(lái)越多的企業(yè)會(huì)把Hadoop當(dāng)做企業(yè)數(shù)據(jù)中心。Hopkins還說(shuō)：“在Hadoop上能進(jìn)行各種各樣的數(shù)據(jù)處理工作，這樣的話，Hadoop會(huì)慢慢變成一個(gè)多用途的數(shù)據(jù)處理系統(tǒng)。”

　　Intuit已經(jīng)開(kāi)始在Hadoop建立自己的數(shù)據(jù)基地了。Loconzolo說(shuō)：“我們的策略是利用Hadoop分布式文件系統(tǒng)，因?yàn)樗蚆apReduce與Hadoop等聯(lián)系十分密切，這樣的話，人與產(chǎn)品之間的各種互動(dòng)就可以實(shí)現(xiàn)了。

　　3.大數(shù)據(jù)湖泊

　　美國(guó)普華永道首席技術(shù)專家ChrisCurran說(shuō)，傳統(tǒng)數(shù)據(jù)庫(kù)理論認(rèn)為，人們應(yīng)該先設(shè)計(jì)數(shù)據(jù)集，然后再將數(shù)據(jù)輸入進(jìn)去。而“數(shù)據(jù)湖泊“，也被稱作“企業(yè)數(shù)據(jù)湖泊”或者“企業(yè)數(shù)據(jù)中心”，顛覆了這個(gè)理念?！艾F(xiàn)在，我們先收集數(shù)據(jù)，然后把它們都存入Hadoop倉(cāng)庫(kù)里，我們不必事先設(shè)計(jì)數(shù)據(jù)模型了。”這個(gè)數(shù)據(jù)湖泊不僅為人們提供了分析數(shù)據(jù)的工具，而且很明確地告訴你，這里有什么樣的數(shù)據(jù)。Curran還表示，運(yùn)用Hadoop的過(guò)程中人們就可以增加對(duì)數(shù)據(jù)的認(rèn)識(shí)。這是一個(gè)遞增的、有機(jī)的大規(guī)模數(shù)據(jù)庫(kù)。當(dāng)然，這樣一來(lái)，對(duì)使用者的技術(shù)要求相應(yīng)地會(huì)比較高。

　　Loconzolo表示，Intuit擁有自己的數(shù)據(jù)湖泊，這個(gè)數(shù)據(jù)湖里既有用戶點(diǎn)擊量的數(shù)據(jù)，也有企業(yè)和第三方的數(shù)據(jù)，所有這些都是Intuit分析云端的一部分，但關(guān)鍵是要讓圍繞這個(gè)數(shù)據(jù)湖的工具能夠?yàn)槿藗冇行Ю闷饋?lái)。Loconzolo還說(shuō)，對(duì)于在Hadoop建立數(shù)據(jù)湖，一個(gè)需要考慮的問(wèn)題是，這個(gè)平臺(tái)并沒(méi)有完完全全的為企業(yè)的需求設(shè)置周全?！拔覀冞€需要傳統(tǒng)企業(yè)數(shù)據(jù)庫(kù)已經(jīng)有了幾十年的一些功能，比如監(jiān)控訪問(wèn)控制、加密、安全性以及能夠從源頭到去向地追蹤數(shù)據(jù)等等。