谷歌Dremel讓大數(shù)據(jù)變小_數(shù)據(jù)分析師

邁克·奧爾森，Hadoop運(yùn)動(dòng)背后的首腦之一。

北京時(shí)間8月16日消息，《連線》雜志近日刊載文章稱(chēng)，開(kāi)源云計(jì)算軟件平臺(tái)Hadoop已經(jīng)在整個(gè)網(wǎng)絡(luò)中得到了廣泛的運(yùn)用，無(wú)論是在數(shù)據(jù)分析領(lǐng)域還是在其他各種數(shù)據(jù)運(yùn)算任務(wù)中都是如此；但是，谷歌(微博)已經(jīng)開(kāi)發(fā)出了更新的技術(shù)Dremel，這是一種用來(lái)分析信息的方法，它可以在數(shù)以千計(jì)的服務(wù)器上運(yùn)行，能以極快的速度處理網(wǎng)絡(luò)規(guī)模的海量數(shù)據(jù)，從而讓“大數(shù)據(jù)”看起來(lái)變小。

以下是這篇文章的全文：

邁克·奧爾森（Mike Olson）運(yùn)營(yíng)著一家專(zhuān)業(yè)致力于全球最熱門(mén)軟件的公司，他是硅谷創(chuàng)業(yè)公司Cloudera的首席執(zhí)行官，這家公司在開(kāi)源云計(jì)算軟件平臺(tái)Hadoop上經(jīng)營(yíng)自身業(yè)務(wù)，這個(gè)平臺(tái)以將谷歌變成網(wǎng)絡(luò)上最具主導(dǎo)性的力量的技術(shù)為基礎(chǔ)。

據(jù)預(yù)計(jì)，Hadoop將在2016年以前幫助創(chuàng)造一個(gè)8.13億美元的軟件市場(chǎng)。但甚至就連奧爾森都說(shuō)，這已經(jīng)是舊新聞了。

Hadoop來(lái)自于谷歌在2003年底和2004年發(fā)布的兩份研究報(bào)告，其中一份描述了谷歌文件系統(tǒng)（Google File System），這是在數(shù)以千計(jì)的低價(jià)電腦服務(wù)器上存儲(chǔ)海量數(shù)據(jù)的一種方式；另一份則詳細(xì)描述了MapReduce，這種技術(shù)能將所有那些服務(wù)器內(nèi)部的處理能力整合起來(lái)，對(duì)所有數(shù)據(jù)進(jìn)行運(yùn)算，使其變成某種有用的東西。在8年以后，Hadoop在整個(gè)網(wǎng)絡(luò)中得到了廣泛的運(yùn)用，無(wú)論是在數(shù)據(jù)分析領(lǐng)域還是在其他各種數(shù)據(jù)運(yùn)算任務(wù)中都是如此。但是，谷歌卻已更進(jìn)一步，開(kāi)發(fā)出了更新的技術(shù)。

在2009年，這個(gè)網(wǎng)絡(luò)巨頭開(kāi)始用新技術(shù)取代GFS和MapReduce。奧爾森會(huì)告訴你說(shuō)，這些技術(shù)是整個(gè)世界正在走向的去處?！叭绻阆胍牢磥?lái)大規(guī)模的、高性能的數(shù)據(jù)處理基礎(chǔ)設(shè)施是什么樣子的，我的建議是你可以去看看谷歌現(xiàn)在將會(huì)發(fā)布的研究報(bào)告。”奧爾森在最近與《連線》雜志進(jìn)行小組討論時(shí)說(shuō)道。

自Hadoop崛起以來(lái)，谷歌已經(jīng)發(fā)布了三份特別有趣的研究報(bào)告，內(nèi)容有關(guān)為其龐大的網(wǎng)絡(luò)業(yè)務(wù)提供支撐的基礎(chǔ)設(shè)施。其中一份文件詳細(xì)描述了Caffeine，這個(gè)軟件平臺(tái)為谷歌的網(wǎng)絡(luò)搜索引擎構(gòu)建了指引；另一份則展示了Pregel，這是一個(gè)旨在映射大量在線信息之間關(guān)系的“圖表數(shù)據(jù)庫(kù)”。但最有趣的論文則描述了一種名為Dremel的工具。

“如果你曾事先告訴我Dremel聲稱(chēng)其將可做些什么，那么我不會(huì)相信你能開(kāi)發(fā)出這種工具?！奔永Ｄ醽喆髮W(xué)伯克利分校的計(jì)算機(jī)科學(xué)教授阿曼多·福克斯（Armando Fox）說(shuō)道，他專(zhuān)業(yè)致力于研究這種數(shù)據(jù)中心規(guī)模的軟件平臺(tái)。

Dremel是一種用來(lái)分析信息的方法，它可以在數(shù)以千計(jì)的服務(wù)器上運(yùn)行，允許你“請(qǐng)求查詢”海量數(shù)據(jù)，如網(wǎng)絡(luò)文件的集合或是數(shù)字圖書(shū)館等，甚至是描述成百上千萬(wàn)條垃圾游戲信息的數(shù)據(jù)。這類(lèi)似于分析一個(gè)使用SQ語(yǔ)言L的傳統(tǒng)數(shù)據(jù)庫(kù)，這種語(yǔ)言在過(guò)去數(shù)十年時(shí)間里廣泛應(yīng)用于整個(gè)軟件世界。舉例來(lái)說(shuō)，如果你擁有一個(gè)數(shù)字圖書(shū)的集合，那么就可以運(yùn)行一個(gè)專(zhuān)設(shè)的查詢請(qǐng)求，然后就可獲得所有作者的名單——或是圖書(shū)內(nèi)容覆蓋某個(gè)特定主題的作者名單。

“你擁有一種類(lèi)似于SQL的語(yǔ)言，能讓制定專(zhuān)設(shè)的查詢請(qǐng)求變得非常簡(jiǎn)單——而且，你不需要做任何編程工作，只需將查詢請(qǐng)求輸入到命令行里即可?！必?fù)責(zé)管理谷歌基礎(chǔ)設(shè)施的Urs Holzle說(shuō)道。

區(qū)別在于，Dremel能以極快的速度處理網(wǎng)絡(luò)規(guī)模的海量數(shù)據(jù)。據(jù)谷歌的研究報(bào)告顯示，你能以拍字節(jié)（petabyte，PB，1PB等于1024TB）的數(shù)量級(jí)來(lái)進(jìn)行查詢，而且只需幾秒鐘時(shí)間就能完成。

Hadoop已經(jīng)提供了在龐大的數(shù)據(jù)集合中運(yùn)行SQL查詢請(qǐng)求的工具，Pig和Hive等姊妹項(xiàng)目也是為此而構(gòu)建的，但使用Hadoop會(huì)有遲延時(shí)間。這是一個(gè)“批量處理”平臺(tái)，你可以交給它一個(gè)任務(wù)，然后它需要花費(fèi)幾分鐘時(shí)間——或者是幾個(gè)小時(shí)——來(lái)運(yùn)行這個(gè)任務(wù)，然后可以得到查詢結(jié)果。而與此相比，Dremel則是專(zhuān)門(mén)為瞬時(shí)查詢而設(shè)計(jì)的。

“Dremel能執(zhí)行許多查詢請(qǐng)求，而同樣的數(shù)據(jù)如果由MapReduce來(lái)處理，則通常會(huì)需要向后者給出一系列的任務(wù)，而且前者的執(zhí)行時(shí)間僅相當(dāng)于后者很小的一部分。”谷歌的Dremel報(bào)告指出。Holzle稱(chēng)，Dremel能在大約3秒鐘時(shí)間里運(yùn)行1PB的數(shù)據(jù)查詢請(qǐng)求。

阿曼多·福克斯稱(chēng)，這種處理能力是史無(wú)前例的。Hadoop是“大數(shù)據(jù)”運(yùn)動(dòng)的中心，這場(chǎng)運(yùn)動(dòng)旨在構(gòu)建能夠分析海量信息的工具。但就今天的大數(shù)據(jù)工具而言，它們經(jīng)常都會(huì)存在一種缺點(diǎn)。與傳統(tǒng)的數(shù)據(jù)分析或是“商務(wù)智能”工具相比，大數(shù)據(jù)工具的信息分析速度和精確度有所不及。但福克斯指出，如果使用Dremel，那么就能獲得很好的速度和精確度。

“他們成功地大規(guī)模的數(shù)據(jù)分析與真正深挖數(shù)據(jù)的能力結(jié)合到了一起，而且他們做到這一點(diǎn)的方式是我以前從未想到過(guò)有可能做到的?！彼f(shuō)道。“數(shù)據(jù)的規(guī)模以及挖掘數(shù)據(jù)的速度確實(shí)令人感到印象深刻。人們以前也曾做過(guò)大數(shù)據(jù)系統(tǒng)，但在Dremel以前，沒(méi)人真的能做出一個(gè)如此龐大和如此迅速的系統(tǒng)。”他進(jìn)一步指出：“在通常情況下，你只能同時(shí)運(yùn)行一個(gè)任務(wù)或是另一個(gè)任務(wù)；在一個(gè)任務(wù)方面做得越多，就越是不得不放棄另一個(gè)。但通過(guò)Dremel，你能同時(shí)進(jìn)行兩個(gè)任務(wù)?！?/span>

據(jù)谷歌的研究報(bào)告顯示，這個(gè)平臺(tái)自2006年開(kāi)始就已經(jīng)在谷歌內(nèi)部使用，有“數(shù)千名”谷歌員工使用這個(gè)系統(tǒng)來(lái)對(duì)所有信息進(jìn)行分析，從軟件崩潰報(bào)告到谷歌的各種服務(wù)，再到谷歌數(shù)據(jù)中心內(nèi)部的磁盤(pán)表現(xiàn)都可進(jìn)行分析。有些時(shí)候，這種工具會(huì)在數(shù)十個(gè)服務(wù)器上使用，而有些時(shí)候則多達(dá)數(shù)千個(gè)。

雖然Hadoop已經(jīng)取得了無(wú)可置疑的成功，但奧爾森則指出，構(gòu)建這個(gè)平臺(tái)的公司和開(kāi)發(fā)者慢了一拍。同樣的事情也發(fā)生在Dremel身上。谷歌在2010年就發(fā)布了有關(guān)Dremel的報(bào)告，但距離這個(gè)平臺(tái)能被第三方開(kāi)發(fā)者模仿仍有很長(zhǎng)一段路要走。以色列的一個(gè)團(tuán)隊(duì)正在構(gòu)建一個(gè)被稱(chēng)為OpenDremel的克隆版平臺(tái)，但其中一位名叫大衛(wèi)·格魯茲曼（David Gruzman）的開(kāi)發(fā)者告訴我們，在經(jīng)過(guò)漫長(zhǎng)的時(shí)間以后，這個(gè)平臺(tái)的編碼進(jìn)程還只是處在開(kāi)端階段。

華盛頓大學(xué)的粒子物理學(xué)副教授、創(chuàng)業(yè)公司Cloudant的首席科學(xué)家邁克·米勒（Mike Miller）感到吃驚，原因是我們并未看到某些大型的風(fēng)險(xiǎn)投資公司為一家致力于“逆向工程”Dremel的創(chuàng)業(yè)公司提供融資。在過(guò)去多年時(shí)間里，Cloudant曾處理過(guò)與谷歌所面臨的數(shù)據(jù)問(wèn)題相同的許多問(wèn)題。

今天你可以使用Dremel——即使你并非谷歌的工程師。谷歌現(xiàn)在提供一種被其稱(chēng)為BigQuer的Dremel網(wǎng)路服務(wù)。你可以通過(guò)一個(gè)在線API（應(yīng)用程序接口）來(lái)使用這個(gè)平臺(tái)?；旧蟻?lái)說(shuō)，你可以把你的數(shù)據(jù)上傳到谷歌，然后谷歌會(huì)允許你在它的內(nèi)部基礎(chǔ)設(shè)施中運(yùn)行查詢請(qǐng)求。谷歌所提供的云服務(wù)數(shù)量正在增長(zhǎng)，而這種服務(wù)也是其中一部分。在最早的時(shí)候，谷歌允許你使用一種名為Google App Engine的服務(wù)來(lái)在其基礎(chǔ)設(shè)施中托管所有應(yīng)用；而時(shí)至今日，谷歌則提供其他多種能在同樣的基礎(chǔ)設(shè)施上運(yùn)行的設(shè)施，包括BigQuery和Google Compute Engine等，能讓用戶瞬時(shí)接入虛擬服務(wù)器。

世界的其他部分可能落后于谷歌，而谷歌則正將自己帶給世界的其他部分。 CDA數(shù)據(jù)分析師培訓(xùn)官網(wǎng)