八大趨勢(shì)看透大數(shù)據(jù)分析的未來(lái)_數(shù)據(jù)分析師考試

Intuit公司負(fù)責(zé)數(shù)據(jù)工程的副總裁Bill Loconzolo已兩腳踏入了數(shù)據(jù)湖。而Smarter Remarketer的首席數(shù)據(jù)科學(xué)家Dean Abbott也徑直走進(jìn)了云中。當(dāng)我們說(shuō)到大數(shù)據(jù)[注]和分析的前沿時(shí)，它既包括數(shù)據(jù)湖(以原生格式存儲(chǔ)海量數(shù)據(jù))，當(dāng)然也包括云計(jì)算[注]。盡管這些技術(shù)選項(xiàng)距離成熟還很遠(yuǎn)，但我們肯定不能選擇一味的等待和觀望。 現(xiàn)實(shí)情況雖然是，各種大數(shù)據(jù)工具在不斷涌現(xiàn)，但Hadoop平臺(tái)的前途尚未達(dá)到讓企業(yè)能夠依賴的程度，Loconzolo說(shuō)。然而大數(shù)據(jù)和分析技術(shù)演變得如此之快，企業(yè)必須做出抉擇，要么涉足其中，要么就得冒落后的風(fēng)險(xiǎn)。

在過(guò)去，新興技術(shù)可能需要幾年時(shí)間才能成熟。而現(xiàn)在，解決方案的迭代和升級(jí)只需要幾個(gè)月，甚至幾周時(shí)間，那么，在你的觀察名單或者實(shí)驗(yàn)室里，最重要的新興技術(shù)和趨勢(shì)是什么呢?當(dāng)我們用這樣的問(wèn)題去問(wèn)很多IT高管、咨詢師和行業(yè)分析師時(shí)，得到了如下的答案。 1、云中的大數(shù)據(jù)分析 Hadoop框架和一組工具可用于處理非常大的數(shù)據(jù)集，它最初是為了物理機(jī)集群而設(shè)計(jì)的。

但現(xiàn)在情況有了變化。Forrest分析師Brian Hopkins說(shuō)：“如今已有很多技術(shù)可用于處理云中的數(shù)據(jù)?！睂?shí)例包括亞馬遜Redshift所托管的BI數(shù)據(jù)倉(cāng)庫(kù)、谷歌BigQuery數(shù)據(jù)分析服務(wù)、IBM Bluemix云平臺(tái)，以及亞馬遜Kinesis數(shù)據(jù)處理服務(wù)等。大數(shù)據(jù)的未來(lái)狀態(tài)將是企業(yè)端和云端的某種混合態(tài)。 從事零售業(yè)分析與營(yíng)銷服務(wù)的SaaS[注]廠商Smarter Remarketer最近已從其內(nèi)部的Hadoop和MongoDB數(shù)據(jù)庫(kù)基礎(chǔ)架構(gòu)轉(zhuǎn)移到了亞馬遜Redshift云數(shù)據(jù)倉(cāng)庫(kù)上。

該公司主要收集線上和線下的零售銷售數(shù)據(jù)、消費(fèi)者統(tǒng)計(jì)數(shù)據(jù)及實(shí)時(shí)行為數(shù)據(jù)，然后對(duì)其作分析，幫助零售商創(chuàng)建有針對(duì)性的消息發(fā)送，以便吸引顧客的響應(yīng)(某些情況下可能是實(shí)時(shí)的響應(yīng))。 Abbortt稱，Redshift對(duì)于Smarter Remarketer的數(shù)據(jù)需求來(lái)說(shuō)，更具成本效益，特別是其針對(duì)結(jié)構(gòu)化數(shù)據(jù)的范圍廣泛的報(bào)表功能。作為一種托管服務(wù)，Redshift既可擴(kuò)展，使用起來(lái)也相對(duì)簡(jiǎn)單。

它在虛擬機(jī)上的擴(kuò)展成本要比購(gòu)買由我們自己管理的物理機(jī)便宜不少。 Intuit也開(kāi)始謹(jǐn)慎地在向云分析轉(zhuǎn)移，因?yàn)樗枰粋€(gè)安全、穩(wěn)定和可審計(jì)的環(huán)境。這家財(cái)務(wù)軟件公司一方面計(jì)劃在自己私有的Intuit分析云中保留一切資源，另一方面，又在與亞馬遜和Cloudera合作，計(jì)劃構(gòu)建一個(gè)公私混合的、高度可用而且安全的分析云，Loconzolo說(shuō)。對(duì)于像Intuit這樣銷售在云中運(yùn)行的產(chǎn)品廠商來(lái)說(shuō)，向云的遷移是不可避免的。一旦在企業(yè)端分析數(shù)據(jù)的成本高到無(wú)法承受時(shí)，就只能把所有的數(shù)據(jù)遷到云中去。

 2、Hadoop：新的企業(yè)數(shù)據(jù)操作系統(tǒng) Hopkins認(rèn)為，各種分布式分析框架，如MapReduce，正在演變?yōu)榉植际劫Y源管理器，它們會(huì)逐漸地將Hadoop轉(zhuǎn)變?yōu)橐环N通用的數(shù)據(jù)操作系統(tǒng)。有了Hadoop這樣的分布式文件存儲(chǔ)系統(tǒng)，你就能執(zhí)行很多不同的數(shù)據(jù)操控和分析任務(wù)。

 這種變化對(duì)企業(yè)來(lái)說(shuō)意義何在呢?和SQL一樣，MapReduce、內(nèi)存計(jì)算、流處理、圖形分析和其他類型的工作負(fù)載都能夠以適當(dāng)?shù)男阅茉?a href='/map/hadoop/' style='color:#000;font-size:inherit;'>Hadoop上運(yùn)行，越來(lái)越多的企業(yè)會(huì)把Hadoop當(dāng)作企業(yè)數(shù)據(jù)集中庫(kù)來(lái)使用。這樣的能力，即針對(duì)Hadoop上的數(shù)據(jù)執(zhí)行多種不同類型查詢和操控的能力，將使其成為一種低成本的通用平臺(tái)，企業(yè)想要分析的任何數(shù)據(jù)都可以放在其上進(jìn)行分析。Hopkins說(shuō)。 Intuit已經(jīng)開(kāi)始在構(gòu)建自己的Hadoop基礎(chǔ)。“我們的戰(zhàn)略是利用MapReduce和Hadoop，構(gòu)造Hadoop分布式文件系統(tǒng)，長(zhǎng)期目標(biāo)是讓人和產(chǎn)品之間所有類型的互動(dòng)得以產(chǎn)生，”Loconzolo說(shuō)。 

3、大數(shù)據(jù)湖 傳統(tǒng)的數(shù)據(jù)庫(kù)理論會(huì)告訴你，在進(jìn)入任何數(shù)據(jù)之前，首先得設(shè)計(jì)好數(shù)據(jù)集。而數(shù)據(jù)湖，也稱企業(yè)數(shù)據(jù)湖或企業(yè)數(shù)據(jù)集中庫(kù)，可能會(huì)徹底改變傳統(tǒng)模式，普華永道美國(guó)咨詢業(yè)務(wù)負(fù)責(zé)人兼首席技術(shù)專家Chris Curran說(shuō)。也就是說(shuō)，我們會(huì)將各種數(shù)據(jù)資源傾倒進(jìn)一個(gè)大的Hadoop倉(cāng)庫(kù)中去，而不會(huì)事先設(shè)計(jì)什幺數(shù)據(jù)模型。

相反地，我們會(huì)提供各種工具，再配上對(duì)數(shù)據(jù)湖中現(xiàn)存數(shù)據(jù)的頂層定義，供人們?nèi)シ治鰯?shù)據(jù)。這樣，人們就可隨著對(duì)數(shù)據(jù)湖的逐步深入而構(gòu)建起自己的數(shù)據(jù)視圖。這正是構(gòu)建一個(gè)大規(guī)模數(shù)據(jù)庫(kù)的增量化的、有機(jī)的模型。

不過(guò)，這種方法也存在不足，那就是對(duì)數(shù)據(jù)分析人員的技術(shù)要求較高。 Loconzolo說(shuō)，作為Intuit分析云的一個(gè)組成部分，Intuit也有一個(gè)數(shù)據(jù)湖，包括用戶的點(diǎn)擊流數(shù)據(jù)、企業(yè)數(shù)據(jù)和第三方數(shù)據(jù)，但重點(diǎn)是圍繞數(shù)據(jù)湖對(duì)工具進(jìn)行所謂的“民主化”，讓商業(yè)人士都能有效地使用它。Loconzolo說(shuō)，在Hadoop里構(gòu)建一個(gè)數(shù)據(jù)湖，他的一個(gè)擔(dān)心是Hadoop平臺(tái)并未真正實(shí)現(xiàn)企業(yè)就緒。我們希望它具備數(shù)十年來(lái)傳統(tǒng)企業(yè)數(shù)據(jù)庫(kù)所具備的所有功能――監(jiān)控訪問(wèn)控制、數(shù)據(jù)加密、保護(hù)數(shù)據(jù)，并可跟蹤數(shù)據(jù)從源到目標(biāo)的傳遞路徑。