大數(shù)據(jù)分析的八大趨勢(shì)_數(shù)據(jù)分析師

Intuit數(shù)據(jù)工程副主管Loconzolo雙腳都已經(jīng)邁進(jìn)數(shù)據(jù)湖里了。Smarter Remarketer首席數(shù)據(jù)科學(xué)家DeanAbbott也為云技術(shù)的發(fā)展指出了捷徑。他們二人一致認(rèn)為, 大數(shù)據(jù)與分析學(xué)前沿是個(gè)活動(dòng)目標(biāo)，這一領(lǐng)域包含了儲(chǔ)存原始數(shù)據(jù)的數(shù)據(jù)湖和云計(jì)算。盡管這些技術(shù)并未成熟，但等待也并非上策。

Loconzolo表示：“現(xiàn)實(shí)的情況是，這些工具都剛剛興起，他們構(gòu)筑的平臺(tái)還不足以讓企業(yè)依賴。但是，大數(shù)據(jù)和分析學(xué)等學(xué)科發(fā)展十分迅速，因此企業(yè)必須努力跟上，否則就有被甩掉的危險(xiǎn)?！彼€說(shuō)：“過(guò)去，新興技術(shù)往往需要十年左右的時(shí)間才能夠成熟，但是現(xiàn)在大大不同了，人們幾個(gè)月甚至幾周時(shí)間就能想出解決方案?！蹦敲?，有哪些新興技術(shù)是我們應(yīng)該關(guān)注，或者說(shuō)科研人員正在重點(diǎn)研究的呢？《電腦世界》采訪了一些IT精英、咨詢師和行業(yè)分析專家，來(lái)看看他們列出的幾大趨勢(shì)吧。

1.云端大數(shù)據(jù)分析

Hadoop是一組有一定框架結(jié)構(gòu)的工具，用來(lái)處理大型數(shù)據(jù)組。它原本用于機(jī)器群，但現(xiàn)在情況有所變化。Forrester Research一位分析師BrianHopkins表示，現(xiàn)在有越來(lái)越多的技術(shù)可以運(yùn)用到云端數(shù)據(jù)處理上來(lái)了。比如亞馬遜的BI數(shù)據(jù)庫(kù)、Google的 BigQuery數(shù)據(jù)分析服務(wù),、IBM’sBluemix 云平臺(tái)和亞馬遜的Kinesis數(shù)據(jù)處理服務(wù)。這位分析師還說(shuō)，未來(lái)的大數(shù)據(jù)將是內(nèi)部數(shù)據(jù)部署與云端數(shù)據(jù)的結(jié)合體。

Smarter Remarketer是SaaS零售分析、市場(chǎng)細(xì)分和營(yíng)銷服務(wù)的供應(yīng)商，它最近將自己室內(nèi)的Hadoop和MongoDB數(shù)據(jù)庫(kù)基礎(chǔ)設(shè)施轉(zhuǎn)移到了一個(gè)基于云技術(shù)的數(shù)據(jù)庫(kù)—Amazon Redshift. 這家位于印第安納波利斯的公司收集線上和實(shí)體銷售數(shù)據(jù)、顧客信息和實(shí)時(shí)行為數(shù)據(jù)，之后進(jìn)行分析，從而幫助零售商做出針對(duì)消費(fèi)者的決策，有些決策甚至是實(shí)時(shí)的。

Abbott表示，Redshift可以節(jié)省這家公司的成本，這是因?yàn)樗鼘?duì)于結(jié)構(gòu)數(shù)據(jù)擁有強(qiáng)大的匯總報(bào)告功能，而且它頗具規(guī)模，使用起來(lái)相對(duì)容易。用這些虛擬設(shè)備總是要比那些實(shí)體設(shè)備便宜一些。

相比之下，位于加州山景城的Intuit在走向云分析的過(guò)程中就要謹(jǐn)慎多了，因?yàn)樗枰粋€(gè)安全、穩(wěn)定、可控的環(huán)境。目前為止，這家金融軟件公司的數(shù)據(jù)都還在自家的數(shù)據(jù)庫(kù)—Intuit Analytics Cloud里面。Loconzolo表示：“目前我們正跟亞馬遜還有Cloudera合作，建立一個(gè)我們幾家公司公用的能跨越虛擬、現(xiàn)實(shí)兩個(gè)世界的、具有高度穩(wěn)定性的云端，但是現(xiàn)在這個(gè)問(wèn)題還沒(méi)有得到解決。”然而，可以說(shuō)，對(duì)于像Intuit這種銷售云端產(chǎn)品的公司來(lái)說(shuō)，向云端技術(shù)進(jìn)軍是必然的。Loconzolo還說(shuō)道，未來(lái)我們會(huì)發(fā)展到一個(gè)階段，那時(shí)把數(shù)據(jù)放在私有云端將是浪費(fèi)的。

2. Hadoop：一個(gè)新的企業(yè)數(shù)據(jù)運(yùn)行系統(tǒng)

Hopkins表示，向MapReduce這樣的分布式分析框架，正在逐漸演化成分布式資源管理器，這些資源管理器正逐步將Hadoop變?yōu)槎嘤猛緮?shù)據(jù)運(yùn)行系統(tǒng)?！坝辛诉@些系統(tǒng)，你就可以進(jìn)行多種多樣的操作和分析?！?/span>

這對(duì)企業(yè)來(lái)說(shuō)意味著什么呢？SQL、MapReduce、in-memory、流水式處理、圖表分析還有其它工作都能在Hadoop上進(jìn)行，越來(lái)越多的企業(yè)會(huì)把Hadoop當(dāng)做企業(yè)數(shù)據(jù)中心。Hopkins還說(shuō)：“在Hadoop上能進(jìn)行各種各樣的數(shù)據(jù)處理工作，這樣的話，Hadoop會(huì)慢慢變成一個(gè)多用途的數(shù)據(jù)處理系統(tǒng)?！?/span>

Intuit已經(jīng)開始在Hadoop建立自己的數(shù)據(jù)基地了。Loconzolo說(shuō)：“我們的策略是利用Hadoop分布式文件系統(tǒng)，因?yàn)樗蚆apReduce與Hadoop等聯(lián)系十分密切，這樣的話，人與產(chǎn)品之間的各種互動(dòng)就可以實(shí)現(xiàn)了。

3.大數(shù)據(jù)湖泊

美國(guó)普華永道首席技術(shù)專家Chris Curran說(shuō)，傳統(tǒng)數(shù)據(jù)庫(kù)理論認(rèn)為，人們應(yīng)該先設(shè)計(jì)數(shù)據(jù)集，然后再將數(shù)據(jù)輸入進(jìn)去。而“數(shù)據(jù)湖泊“，也被稱作“企業(yè)數(shù)據(jù)湖泊”或者“企業(yè)數(shù)據(jù)中心”，顛覆了這個(gè)理念。“現(xiàn)在，我們先收集數(shù)據(jù)，然后把它們都存入Hadoop倉(cāng)庫(kù)里，我們不必事先設(shè)計(jì)數(shù)據(jù)模型了?！边@個(gè)數(shù)據(jù)湖泊不僅為人們提供了分析數(shù)據(jù)的工具，而且很明確地告訴你，這里有什么樣的數(shù)據(jù)。Curran還表示，運(yùn)用Hadoop的過(guò)程中人們就可以增加對(duì)數(shù)據(jù)的認(rèn)識(shí)。這是一個(gè)遞增的、有機(jī)的大規(guī)模數(shù)據(jù)庫(kù)。當(dāng)然，這樣一來(lái)，對(duì)使用者的技術(shù)要求相應(yīng)地會(huì)比較高。

Loconzolo表示，Intuit擁有自己的數(shù)據(jù)湖泊，這個(gè)數(shù)據(jù)湖里既有用戶點(diǎn)擊量的數(shù)據(jù)，也有企業(yè)和第三方的數(shù)據(jù)，所有這些都是Intuit分析云端的一部分，但關(guān)鍵是要讓圍繞這個(gè)數(shù)據(jù)湖的工具能夠?yàn)槿藗冇行Ю闷饋?lái)。Loconzolo還說(shuō)，對(duì)于在Hadoop建立數(shù)據(jù)湖，一個(gè)需要考慮的問(wèn)題是，這個(gè)平臺(tái)并沒(méi)有完完全全的為企業(yè)的需求設(shè)置周全。“我們還需要傳統(tǒng)企業(yè)數(shù)據(jù)庫(kù)已經(jīng)有了幾十年的一些功能，比如監(jiān)控訪問(wèn)控制、加密、安全性以及能夠從源頭到去向地追蹤數(shù)據(jù)等等。

4.更多預(yù)測(cè)分析

Hopkins表示，有了大數(shù)據(jù)，分析師們不僅有了更多的數(shù)據(jù)可以利用，也擁有了更強(qiáng)大的處理打量不同屬性數(shù)據(jù)的能力。

他說(shuō)：“傳統(tǒng)的機(jī)器學(xué)習(xí)利用的數(shù)據(jù)分析是建立在一個(gè)大數(shù)據(jù)集中的一個(gè)樣本基礎(chǔ)上的，而現(xiàn)在，我們擁有了處理了大量數(shù)字記錄的能力，甚至于每條數(shù)據(jù)有多種不同屬性，我們都應(yīng)對(duì)自如。”

大數(shù)據(jù)與計(jì)算功能的結(jié)合也讓分析師們能夠挖掘人們一天中的行為數(shù)據(jù)，好比他們?cè)L問(wèn)的網(wǎng)站或者是去過(guò)的地方。Hopkins把這些數(shù)據(jù)稱作“稀少數(shù)據(jù)（sparsedata）”，因?yàn)橐氲玫竭@些你感興趣的數(shù)據(jù)，必須過(guò)濾掉一大堆無(wú)關(guān)的數(shù)據(jù)?！耙胗脗鹘y(tǒng)機(jī)器算法對(duì)抗這種數(shù)據(jù)，從計(jì)算角度來(lái)講幾乎不可能。因?yàn)橛?jì)算能力是一個(gè)十分重要的問(wèn)題，特別是現(xiàn)在傳統(tǒng)算法的速度和記憶儲(chǔ)存能力退化很快。而現(xiàn)在你可以很容易知道哪些數(shù)據(jù)是最容易分析的，不得不說(shuō)，賽場(chǎng)易主了。”

Loconzolo表示：“我們最感興趣的地方是，怎樣在同一個(gè)Hadoop內(nèi)核中既能作實(shí)時(shí)分析，又能做預(yù)測(cè)模型。這里最大的問(wèn)題在于速度。Hadoop花費(fèi)的時(shí)間要比現(xiàn)有技術(shù)長(zhǎng)20倍，所以Intuit也在嘗試另一個(gè)大規(guī)模數(shù)據(jù)處理器Apache Spark及其配套的 Spark SQL查詢工具。Loconzolo說(shuō)：“Spark具有快速查詢、制表服務(wù)和分組功能。它能在把數(shù)據(jù)保留在Hadoop內(nèi)部的前提下，還將數(shù)據(jù)處理得十分出色?！?/span>

5.Hadoop的結(jié)構(gòu)化查詢語(yǔ)言（SQR, StructuredQuery Language）：更快，更好

Gartner一位分析師表示，如果你是個(gè)不錯(cuò)的編碼員或者數(shù)學(xué)家，你可以把數(shù)據(jù)丟進(jìn)Hadoop，想做什么分析就做什么分析，這是好處，但同時(shí)這也是個(gè)問(wèn)題?！氨M管任何程序語(yǔ)言都行得通，但我需要有人把這些數(shù)據(jù)用我熟悉的形式或者語(yǔ)言輸入進(jìn)去，這也是為什么我們需要Hadoop的結(jié)構(gòu)化查詢語(yǔ)言。支持與SQR類似的查詢語(yǔ)言的工具，讓那些懂得SQR的企業(yè)使用者們能把類似的技術(shù)運(yùn)用在數(shù)據(jù)上。Hopkins認(rèn)為，Hadoop的SQR打開了企業(yè)通往Hadoop的大門，因?yàn)橛辛薙QR，企業(yè)不需要在那些能使用Java, JavaScript 和Python高端數(shù)據(jù)和商業(yè)分析師上投資了，而這些投資在以前可是少不了的一筆開銷。

這些工具也并非最近才出現(xiàn)的了。Apache Hive曾經(jīng)為用戶提供了一種適用于Hadoop、類似于SQR的查詢語(yǔ)言，但是競(jìng)爭(zhēng)對(duì)手Cloudera、PivotalSoftware、IBM還有其他銷售商提供的產(chǎn)品不僅性能更好，速度也更快。這項(xiàng)技術(shù)也適合“迭代分析（iterative analytics）”，也就是說(shuō)，分析師先問(wèn)一個(gè)問(wèn)題，得到回答之后再問(wèn)下一個(gè)問(wèn)題。而這種工作放在過(guò)去可是需要建立一個(gè)數(shù)據(jù)庫(kù)的。Hopkins說(shuō)：“Hadoop的SQR并不是為了取代數(shù)據(jù)庫(kù)，最起碼短期不會(huì)，但對(duì)于某些分析來(lái)說(shuō)，它讓我們知道，除了那些高成本的軟件和應(yīng)用之外，還有別的選擇。”

6.不僅僅是SQR(NoSQL，NotOnly SQR)—更快，更好

Curran表示,現(xiàn)在我們除了基于SQR的傳統(tǒng)的數(shù)據(jù)庫(kù)之外，還有NoSQL，這個(gè)數(shù)據(jù)庫(kù)能用于特定目的的分析，當(dāng)下十分熱門，而且估計(jì)會(huì)越來(lái)越受歡迎。他粗略估計(jì)目前大概有15-20個(gè)類似的開放資源NoSQL，每一個(gè)都獨(dú)具特色。比如ArangoDB，這是一款具備圖標(biāo)分析功能的產(chǎn)品，能更快、更直接地分析顧客與銷售人員之間的關(guān)系網(wǎng)。

Curran還說(shuō)，開放資源的NoSQL數(shù)據(jù)庫(kù)已經(jīng)存在一段時(shí)間了，但是他們依然勢(shì)頭不減，因?yàn)槿藗冃枰鼈兯龅姆治觥Ｒ晃辉谀硞€(gè)新興市場(chǎng)的普華永道客戶把傳感器按在了店面柜臺(tái)上，這樣就能監(jiān)控到那里到底有什么產(chǎn)品，顧客會(huì)擺弄這些產(chǎn)品多長(zhǎng)時(shí)間以及人們會(huì)在柜臺(tái)前站多久?！皞鞲衅鲿?huì)產(chǎn)生大量類似指數(shù)增長(zhǎng)的數(shù)據(jù)，NoSQL將是未來(lái)的一個(gè)發(fā)展方向，因?yàn)樗梢葬槍?duì)特定目的進(jìn)行數(shù)據(jù)分析，性能好，而且很輕巧?！?/span>

7.深度學(xué)習(xí)

Hopkins認(rèn)為，作為一種基于神經(jīng)網(wǎng)絡(luò)的機(jī)械學(xué)習(xí)技術(shù)，雖然還在發(fā)展過(guò)程中，但在解決問(wèn)題方面卻已經(jīng)表現(xiàn)出巨大的潛力?！?a href='/map/shenduxuexi/' style='color:#000;font-size:inherit;'>深度學(xué)習(xí)……能夠讓計(jì)算機(jī)在大量非結(jié)構(gòu)化和二進(jìn)制的數(shù)據(jù)中識(shí)別出有用信息，而且它能夠在不需要特殊模型和程序指令的前提下就剔除那些不必要的關(guān)系?！?/span>

舉個(gè)例子說(shuō)明：一個(gè)深度學(xué)習(xí)的算法通過(guò)維基百科了解到加利福尼亞和德克薩斯是美國(guó)的兩個(gè)州。“我們不在需要通過(guò)模式化讓程序去理解州和國(guó)家的概念，這就是原來(lái)的機(jī)械學(xué)習(xí)和新興深度學(xué)習(xí)的區(qū)別之一?！?/span>

Hopkins還說(shuō)道：“大數(shù)據(jù)運(yùn)用先進(jìn)的分析技術(shù)，例如深度分析，來(lái)處理各種各樣的非結(jié)構(gòu)文本，這些處理問(wèn)題的思路和方式，我們也是現(xiàn)在才開始理解?！北热?，深度學(xué)習(xí)可以用來(lái)識(shí)別各種各樣不同的數(shù)據(jù)，比如形狀、顏色和錄像中的物體，甚至是圖片中的貓—谷歌建立的神經(jīng)網(wǎng)絡(luò)就做到了這一點(diǎn)?！斑@項(xiàng)技術(shù)所昭示的認(rèn)知理念、先進(jìn)的分析，將是未來(lái)的一個(gè)趨勢(shì)?！?/span>

8.內(nèi)存中分析

Beyer表示，利用內(nèi)存中數(shù)據(jù)庫(kù)來(lái)提升分析處理速度，這種方式已經(jīng)越來(lái)越廣泛，而且只要運(yùn)用得當(dāng)，益處也很多。事實(shí)上，很多企業(yè)現(xiàn)在已經(jīng)在利用HTAP（hybridtransaction/analytical processing）了，這種處理方式能在同一個(gè)內(nèi)存數(shù)據(jù)庫(kù)中進(jìn)行轉(zhuǎn)換和分析處理。但Beyer同時(shí)也表示，對(duì)于HTAP的宣傳有些過(guò)頭了，很多公司也過(guò)度利用這項(xiàng)技術(shù)。對(duì)于那些使用者需要每天多次以同樣的方式看同樣數(shù)據(jù)的系統(tǒng)來(lái)說(shuō)，這樣的數(shù)據(jù)沒(méi)有太大變化，這時(shí)用內(nèi)存中分析就是一種浪費(fèi)了。

雖然有了HTAP的幫助，人們分析速度更快了，但是，所有的轉(zhuǎn)換都必須儲(chǔ)存在同一個(gè)數(shù)據(jù)庫(kù)里。Beyer認(rèn)為，這樣的特點(diǎn)就產(chǎn)生了一個(gè)問(wèn)題，分析師們目前的工作主要是把不同地方的數(shù)據(jù)匯總輸入到同一個(gè)數(shù)據(jù)庫(kù)當(dāng)中去。“如果你想做任何分析都運(yùn)用HTAP，所有的數(shù)據(jù)就得存在同一個(gè)地方。要把多樣化的數(shù)據(jù)進(jìn)行整合?！?/span>

然而，引入內(nèi)存數(shù)據(jù)庫(kù)的同時(shí)也意味著，還有另一個(gè)產(chǎn)品等著我們?nèi)ス芾怼⒕S護(hù)、整合與權(quán)衡。

對(duì)于Intuit而言，他們已經(jīng)在使用Spark了，所以對(duì)引進(jìn)內(nèi)存數(shù)據(jù)庫(kù)的愿望并沒(méi)有那么強(qiáng)烈。Loconzolo說(shuō)：“如果我們用Spark就能處理70%的問(wèn)題，而用內(nèi)存數(shù)據(jù)庫(kù)可以解決100%，那么我們還會(huì)選擇前者。所以我們現(xiàn)在也在權(quán)衡，要不要馬上停用內(nèi)部的內(nèi)存數(shù)據(jù)系統(tǒng)?！?/span>

大步向前邁

在大數(shù)據(jù)和分析領(lǐng)域有這么多的新興趨勢(shì)，IT組織應(yīng)該創(chuàng)造條件，讓分析師和數(shù)據(jù)專家們大顯身手。Curran認(rèn)為：“我們需要評(píng)估、整合一些技術(shù)，從而把它們運(yùn)用到商業(yè)領(lǐng)域中去?！?/span>

Beyer則認(rèn)為：“IT管理者和執(zhí)行者們不能把技術(shù)不成熟作為停止試驗(yàn)的借口。”最初只有一部分專業(yè)分析師和數(shù)據(jù)專家需要試驗(yàn)，然后這些比較高級(jí)的使用者和IT行業(yè)應(yīng)該共同決定是否要把這些新的資源介紹給行業(yè)其他人。IT界也沒(méi)必要控制那些鼓足干勁的分析師們，相反，Beyer認(rèn)為應(yīng)該與他們加強(qiáng)合作。