2015年大數(shù)據(jù)分析的三大發(fā)展趨勢(shì)_數(shù)據(jù)分析師考試

Intuit數(shù)據(jù)工程副主管Loconzolo和SmarterRemarketer首席數(shù)據(jù)科學(xué)家DeanAbbott二人一致認(rèn)為,大數(shù)據(jù)與分析學(xué)前沿是個(gè)活動(dòng)目標(biāo)，這一領(lǐng)域包含了儲(chǔ)存原始數(shù)據(jù)的數(shù)據(jù)湖和云計(jì)算。盡管這些技術(shù)并未成熟，但等待也并非上策。

Loconzolo表示：“現(xiàn)實(shí)的情況是，這些工具都剛剛興起，他們構(gòu)筑的平臺(tái)還不足以讓企業(yè)依賴。但是，大數(shù)據(jù)和分析學(xué)等學(xué)科發(fā)展十分迅速，因此企業(yè)必須努力跟上，否則就有被甩掉的危險(xiǎn)?！彼€說(shuō)：“過(guò)去，新興技術(shù)往往需要十年左右的時(shí)間才能夠成熟，但是現(xiàn)在大大不同了，人們幾個(gè)月甚至幾周時(shí)間就能想出解決方案?！蹦敲?，有哪些新興技術(shù)是我們應(yīng)該關(guān)注，或者說(shuō)科研人員正在重點(diǎn)研究的呢?讓一些IT精英、咨詢師和行業(yè)分析專家，來(lái)看看他們列出的三大趨勢(shì)吧。

大數(shù)據(jù)湖泊

美國(guó)普華永道首席技術(shù)專家ChrisCurran說(shuō)，傳統(tǒng)數(shù)據(jù)庫(kù)理論認(rèn)為，人們應(yīng)該先設(shè)計(jì)數(shù)據(jù)集，然后再將數(shù)據(jù)輸入進(jìn)去。而“數(shù)據(jù)湖泊“，也被稱作“企業(yè)數(shù)據(jù)湖泊”或者“企業(yè)數(shù)據(jù)中心”，顛覆了這個(gè)理念?！艾F(xiàn)在，我們先收集數(shù)據(jù)，然后把它們都存入Hadoop倉(cāng)庫(kù)里，我們不必事先設(shè)計(jì)數(shù)據(jù)模型了?！边@個(gè)數(shù)據(jù)湖泊不僅為人們提供了分析數(shù)據(jù)的工具，而且很明確地告訴你，這里有什么樣的數(shù)據(jù)。Curran還表示，運(yùn)用Hadoop的過(guò)程中人們就可以增加對(duì)數(shù)據(jù)的認(rèn)識(shí)。這是一個(gè)遞增的、有機(jī)的大規(guī)模數(shù)據(jù)庫(kù)。當(dāng)然，這樣一來(lái)，對(duì)使用者的技術(shù)要求相應(yīng)地會(huì)比較高。

Loconzolo表示，Intuit擁有自己的數(shù)據(jù)湖泊，這個(gè)數(shù)據(jù)湖里既有用戶點(diǎn)擊量的數(shù)據(jù)，也有企業(yè)和第三方的數(shù)據(jù)，所有這些都是Intuit分析云端的一部分，但關(guān)鍵是要讓圍繞這個(gè)數(shù)據(jù)湖的工具能夠?yàn)槿藗冇行Ю闷饋?lái)。Loconzolo還說(shuō)，對(duì)于在Hadoop建立數(shù)據(jù)湖，一個(gè)需要考慮的問(wèn)題是，這個(gè)平臺(tái)并沒(méi)有完完全全的為企業(yè)的需求設(shè)置周全?！拔覀冞€需要傳統(tǒng)企業(yè)數(shù)據(jù)庫(kù)已經(jīng)有了幾十年的一些功能，比如監(jiān)控訪問(wèn)控制、加密、安全性以及能夠從源頭到去向地追蹤數(shù)據(jù)等等。

深度學(xué)習(xí)

Hopkins認(rèn)為，作為一種基于神經(jīng)網(wǎng)絡(luò)的機(jī)械學(xué)習(xí)技術(shù)，雖然還在發(fā)展過(guò)程中，但在解決問(wèn)題方面卻已經(jīng)表現(xiàn)出巨大的潛力。“深度學(xué)習(xí)……能夠讓計(jì)算機(jī)在大量非結(jié)構(gòu)化和二進(jìn)制的數(shù)據(jù)中識(shí)別出有用信息，而且它能夠在不需要特殊模型和程序指令的前提下就剔除那些不必要的關(guān)系?！?/span>

舉個(gè)例子說(shuō)明：一個(gè)深度學(xué)習(xí)的算法通過(guò)維基百科了解到加利福尼亞和德克薩斯是美國(guó)的兩個(gè)州?！拔覀儾辉谛枰ㄟ^(guò)模式化讓程序去理解州和國(guó)家的概念，這就是原來(lái)的機(jī)械學(xué)習(xí)和新興深度學(xué)習(xí)的區(qū)別之一?！?/span>

Hopkins還說(shuō)道：“大數(shù)據(jù)運(yùn)用先進(jìn)的分析技術(shù)，例如深度分析，來(lái)處理各種各樣的非結(jié)構(gòu)文本，這些處理問(wèn)題的思路和方式，我們也是現(xiàn)在才開(kāi)始理解?！北热?，深度學(xué)習(xí)可以用來(lái)識(shí)別各種各樣不同的數(shù)據(jù)，比如形狀、顏色和錄像中的物體，甚至是圖片中的貓—谷歌建立的神經(jīng)網(wǎng)絡(luò)就做到了這一點(diǎn)?！斑@項(xiàng)技術(shù)所昭示的認(rèn)知理念、先進(jìn)的分析，將是未來(lái)的一個(gè)趨勢(shì)?！?/span>

內(nèi)存中分析

Beyer表示，利用內(nèi)存中數(shù)據(jù)庫(kù)來(lái)提升分析處理速度，這種方式已經(jīng)越來(lái)越廣泛，而且只要運(yùn)用得當(dāng)，益處也很多。事實(shí)上，很多企業(yè)現(xiàn)在已經(jīng)在利用HTAP(hybridtransaction/analyticalprocessing)了，這種處理方式能在同一個(gè)內(nèi)存數(shù)據(jù)庫(kù)中進(jìn)行轉(zhuǎn)換和分析處理。但Beyer同時(shí)也表示，對(duì)于HTAP的宣傳有些過(guò)頭了，很多公司也過(guò)度利用這項(xiàng)技術(shù)。對(duì)于那些使用者需要每天多次以同樣的方式看同樣數(shù)據(jù)的系統(tǒng)來(lái)說(shuō)，這樣的數(shù)據(jù)沒(méi)有太大變化，這時(shí)用內(nèi)存中分析就是一種浪費(fèi)了。

雖然有了HTAP的幫助，人們分析速度更快了，但是，所有的轉(zhuǎn)換都必須儲(chǔ)存在同一個(gè)數(shù)據(jù)庫(kù)里。Beyer認(rèn)為，這樣的特點(diǎn)就產(chǎn)生了一個(gè)問(wèn)題，分析師們目前的工作主要是把不同地方的數(shù)據(jù)匯總輸入到同一個(gè)數(shù)據(jù)庫(kù)當(dāng)中去?！叭绻阆胱鋈魏畏治龆歼\(yùn)用HTAP，所有的數(shù)據(jù)就得存在同一個(gè)地方。要把多樣化的數(shù)據(jù)進(jìn)行整合。”

然而，引入內(nèi)存數(shù)據(jù)庫(kù)的同時(shí)也意味著，還有另一個(gè)產(chǎn)品等著我們?nèi)ス芾?、維護(hù)、整合與權(quán)衡。

對(duì)于Intuit而言，他們已經(jīng)在使用Spark了，所以對(duì)引進(jìn)內(nèi)存數(shù)據(jù)庫(kù)的愿望并沒(méi)有那么強(qiáng)烈。Loconzolo說(shuō)：“如果我們用Spark就能處理70%的問(wèn)題，而用內(nèi)存數(shù)據(jù)庫(kù)可以解決100%，那么我們還會(huì)選擇前者。所以我們現(xiàn)在也在權(quán)衡，要不要馬上停用內(nèi)部的內(nèi)存數(shù)據(jù)系統(tǒng)。