大數(shù)據(jù)技術(shù)對于數(shù)據(jù)挖掘的未來究竟意味著什么(1)

我們都聽說過如下的預(yù)測：到2020年，全球以電子形式存儲的數(shù)據(jù)量將達(dá)到35ZB，是2009年全球存儲量的40倍。而在2010年底，根據(jù)IDC的統(tǒng)計(jì)，全球數(shù)據(jù)量已經(jīng)達(dá)到了120萬PB，或1.2ZB。如果將這些數(shù)據(jù)都刻錄在DVD上，那么光把這些DVD盤片堆疊起來就可以從地球壘到月球一個來回(單程約24萬英里)。

　　對于動不動就憂天的杞人來說，如此龐大的數(shù)字可能是不詳?shù)模A(yù)示著世界末日的來臨。而對于樂觀主義者來說，這些數(shù)字卻是一座信息金礦，隨著技術(shù)的進(jìn)步，其中所蘊(yùn)含的財富會越來越容易被挖掘出來。

　　進(jìn)入“大數(shù)據(jù)”時代，出現(xiàn)了不少新興的數(shù)據(jù)挖掘技術(shù)，使得對數(shù)據(jù)財富的儲存、處理和分析變得比以往任何時候都更便宜、更快速了。只要有了超級計(jì)算環(huán)境，那么大數(shù)據(jù)技術(shù)就能被眾多的企業(yè)所用，從而改變很多行業(yè)經(jīng)營業(yè)務(wù)的的方式。

　　我們對大數(shù)據(jù)技術(shù)的定義是：利用一些非傳統(tǒng)的數(shù)據(jù)篩選工具(包括但不限于Hadoop)對大量的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)集合進(jìn)行挖掘，以便提供有用的數(shù)據(jù)洞察。

　　大數(shù)據(jù)技術(shù)的概念和“云計(jì)算”一樣，也存在著很多的炒作和大量的不確定性。為此，我們咨詢了多位分析師和研究大數(shù)據(jù)的專家，讓他們解釋大數(shù)據(jù)技術(shù)是什么和不是什么，以及大數(shù)據(jù)技術(shù)對于數(shù)據(jù)挖掘的未來究竟意味著什么等諸多問題。

　　大數(shù)據(jù)技術(shù)的發(fā)展背景

　　對大企業(yè)而言，大數(shù)據(jù)的興起部分是因?yàn)橛?jì)算能力可用更低的成本獲得，且各類系統(tǒng)如今已能夠執(zhí)行多任務(wù)處理。其次，內(nèi)存的成本也在直線下降，企業(yè)可以在內(nèi)存中處理比以往更多的數(shù)據(jù)。還有就是把計(jì)算機(jī)聚合成服務(wù)器集群越來越簡單。IDC的數(shù)據(jù)庫管理分析師Carl Olofson認(rèn)為，這三大因素的結(jié)合便催生了大數(shù)據(jù)。

　　“我們不但能夠把這些事情做好，而且能夠以更低廉的成本去做這些事情，”他說?！斑^去有些大型超級計(jì)算機(jī)就曾涉足過繁重的多處理系統(tǒng)，一起構(gòu)建成緊密聚合的集群，但由于都是專門設(shè)計(jì)的硬件，所以其成本動輒數(shù)十萬甚至數(shù)百萬美元。而現(xiàn)在，我們利用普通的商品化硬件也能獲得同樣的計(jì)算能力。這便幫助我們能夠更快、更便宜地處理更多的數(shù)據(jù)。”

　　當(dāng)然，并非所有擁有龐大數(shù)據(jù)倉庫的企業(yè)都可以說他們正在使用大數(shù)據(jù)技術(shù)。IDC認(rèn)為，某項(xiàng)技術(shù)要想成為大數(shù)據(jù)技術(shù)，首先必須是成本可承受的，其次是必須滿足IBM所描述的三個“V”判據(jù)中的兩個：多樣性(variety)、體量(volume)和速度(velocity)。

　　多樣性是指，數(shù)據(jù)應(yīng)包含結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)。體量是指聚合在一起供分析的數(shù)據(jù)量必須是非常龐大的。而速度則是指數(shù)據(jù)處理的速度必須很快。Olofson說，大數(shù)據(jù)“并非總是說有數(shù)百個TB才算得上。根據(jù)實(shí)際使用情況，有時候數(shù)百個GB的數(shù)據(jù)也可稱為大數(shù)據(jù)，這主要要看它的第三個維度，也就是速度或者時間維度。假如我能在1秒之內(nèi)分析處理300GB的數(shù)據(jù)，而通常情況下卻需要花費(fèi)1個小時的話，那么這種巨大變化所帶來的結(jié)果就會增加極大的價值。所謂大數(shù)據(jù)技術(shù)，就是至少實(shí)現(xiàn)這三個判據(jù)中的兩個的可承受得起的一種應(yīng)用。”

　　與開源之關(guān)系

　　“很多人都認(rèn)為，Hadoop和大數(shù)據(jù)是同義詞。但這是個錯誤，”O(jiān)lofson解釋說。例如Teradata、MySQL和一些“聰明的集群技術(shù)”的實(shí)施案例都沒有使用Hadoop，但也被認(rèn)為是大數(shù)據(jù)的實(shí)施案例。

　　作為大數(shù)據(jù)的一種應(yīng)用環(huán)境，Hadoop之所以能夠引起人們的注意，是因?yàn)樗腔贛apReduce環(huán)境的，這是超算圈里很常用的一種簡化環(huán)境，主要是由谷歌所創(chuàng)建的一個項(xiàng)目。Hadoop是和各種Apache項(xiàng)目密切相關(guān)的混合實(shí)施環(huán)境，其中包含了在MapReduce環(huán)境下所創(chuàng)建的HBase數(shù)據(jù)庫。

　　軟件開發(fā)人員一般會用一切利用到Hadoop以及相似的高級技術(shù)的手段來響應(yīng)——而這些技術(shù)很多都是在開源社區(qū)里開發(fā)的?！八麄儎?chuàng)建了一個令人眼花繚亂、變化多端的東西，即所謂的NoSQL數(shù)據(jù)庫，該數(shù)據(jù)庫的鍵值多數(shù)都已利用了各種技術(shù)在處理能力、多樣化，或者數(shù)據(jù)庫規(guī)模上做了優(yōu)化的，”O(jiān)lofson說。

　　開源技術(shù)一般是沒有商業(yè)支持的，“所以這些東西還必須讓其進(jìn)化一段時間，逐漸剔除各種缺陷，而這一般需要數(shù)年的時間。這就是說，羽毛未豐的大數(shù)據(jù)技術(shù)目前還無法在普通市場上普及?！迸c此同時，IDC預(yù)計(jì)至少有三家商業(yè)廠商會在年底之前對Hadoop提供某種類型的支持服務(wù)。還有其他一些廠商，如Datameer等，也會提供帶有Hadoop組件的分析工具，允許企業(yè)開發(fā)他們自己的應(yīng)用。例如Cloudera和Tableau等已經(jīng)在其產(chǎn)品中用到了Hadoop。

　　升級關(guān)系型數(shù)據(jù)庫

　　行業(yè)觀察家們一般都贊成在升級關(guān)系數(shù)據(jù)庫管理系統(tǒng)(RDBMS)時也要考慮大數(shù)據(jù)技術(shù)。Olofson說，“大數(shù)據(jù)技術(shù)適用于速度更快、規(guī)模更大、成本更低廉的場合。”比如Teradata就把它的系統(tǒng)做得成本更低廉、具備可擴(kuò)展性和集群環(huán)境。

　　然而還有些人則不這么認(rèn)為。Gartner的數(shù)據(jù)管理分析師Marcus Collins說，“通常在使用RDBMS時，都要用到BI工具，但這種處理流程并非真的大數(shù)據(jù)。這種流程由來已久?！?/span>