談時代下的大數(shù)據(jù)分析與挖掘系統(tǒng) 

任何比較關注業(yè)界新聞的人，都會知道最近一兩年IT行業(yè)的幾個關鍵字：移動端、LBS、SNS和大數(shù)據(jù)。前邊三個，大家應該是很熟悉的，因為身邊早已充斥著相關的應用。唯獨最后一個大數(shù)據(jù)，在大部分人眼中卻是非常陌生的，除了知道如數(shù)據(jù)挖掘、智能推薦等幾個看似非常高深的詞匯之外，卻是不知其里的。

首先，筆者需要告訴大家，數(shù)據(jù)有什么價值。很多人可能認為，數(shù)據(jù)只是一堆數(shù)字，是沒什么價值的。其實這些人很可能早已可能享受到數(shù)據(jù)的紅利。例如早在2006年中旬上線的百度指數(shù)( index.baidu.com )，其實就是一個基于大數(shù)據(jù)的數(shù)據(jù)產(chǎn)品的雛形，但是還不能說是完整的大數(shù)據(jù)產(chǎn)品。百度指數(shù)是用以反映關鍵詞在過去30天內(nèi)的網(wǎng)絡曝光率及用戶關注度，它能形象地反映該關鍵詞的每天的變化趨勢，以及顯示這些搜索的地區(qū)分布和簡單的人群屬性。百度指數(shù)的數(shù)據(jù)被大量的用作針對百度甚至其它一些搜索引擎的SEO的參照，也經(jīng)常被一些研究公司、學者引用作為一些研究報告的參考數(shù)據(jù)。

在百度指數(shù)之后，阿里巴巴集團亦推出了淘寶指數(shù)，相對于百度指數(shù)，淘寶指數(shù)( http://shu.taobao.com )是一個更加完備的數(shù)據(jù)產(chǎn)品，用戶可以在淘寶指數(shù)中搜索任何一個關鍵詞，得到這個關鍵詞在淘寶(天貓)上的搜索/成交趨勢、人群信息(如性別、年齡、星座、地區(qū)、愛好)等等，還可以查詢從這個關鍵詞出發(fā)的淘寶上的相關商品、商品屬性、品牌等的銷售情況，以及對任意人群信息組合(例如25-30歲北京女性)下的相關交易信息。淘寶指數(shù)目前亦是免費開放，只要使用淘寶帳號登錄即可，通過淘寶指數(shù)，我們可以很輕松的發(fā)現(xiàn)很多很有趣的事情：

例如通過查看“周大福鉆石”的搜索和成交信息， 我們可以很清楚的看到，從2011-08-01到2012-11-30，487天來搜索周大福鉆石的人群中有68%的女性和32%的男性，但是在購買周大福鉆石的人群中，卻是100%的男性。再例如對比“加多寶”和“王老吉”，我們很容易就會看到，從今年四月中旬加多寶出現(xiàn)之后，王老吉的搜索量明顯下降，加多寶則直線上升，在9月12日前后，兩者的曲線發(fā)生了歷史性的交匯。

淘寶指數(shù)的開發(fā)團隊(注：暨集團-cdo-數(shù)據(jù)平臺與產(chǎn)品部)從2010年開始還推出了針對淘寶(天貓)商家的收費數(shù)據(jù)產(chǎn)品數(shù)據(jù)魔方，基于淘寶上品牌、屬性等提供更加詳細的多維度的數(shù)據(jù)組合查詢。同時新浪微博還推出了新浪微指數(shù)，優(yōu)酷推出了優(yōu)酷指數(shù)，這些直接呈現(xiàn)數(shù)據(jù)，以數(shù)據(jù)的統(tǒng)計、挖掘、匯總、分析為主題的產(chǎn)品，是大數(shù)據(jù)時代的第一種產(chǎn)物。

大數(shù)據(jù)時代中還有一類產(chǎn)物便是基于大數(shù)據(jù)分析和挖掘的能力，針對用戶進行個性化的信息推送的產(chǎn)品，目前美國亞馬遜、阿里巴巴集團旗下的淘寶網(wǎng)等電子商務網(wǎng)站中，這種產(chǎn)品均在越來越廣泛的得到應用，并取得了很好的轉(zhuǎn)化效果，比傳統(tǒng)的導購模式表現(xiàn)出了更高的轉(zhuǎn)化率(可以理解為看這些頁面的人中實際購買這些頁面呈現(xiàn)的商品的人的比例)。另外在網(wǎng)站的后臺，基于大數(shù)據(jù)的BI(商業(yè)智能)分析更是早已為網(wǎng)站的運營人員和規(guī)劃人員提供了寶貴的信息支持。目前國內(nèi)外也有很多數(shù)據(jù)公司通過構(gòu)建大數(shù)據(jù)分析系統(tǒng)來服務各類企業(yè)的BI部門。

看到這里，有些人可能覺得，所謂的數(shù)據(jù)產(chǎn)品僅僅是對數(shù)據(jù)進行一些統(tǒng)計分析，然后呈現(xiàn)出來，沒什么了不起的。這么說從某種意義上來講所言非虛，但是，筆者希望本文的讀者在任何時候都記住一句話：看起來簡單的事情，實質(zhì)上往往都是不簡單的。

先說說什么叫做大數(shù)據(jù)：從公認的定義上看，大數(shù)據(jù)從數(shù)據(jù)量上看，至少也要達到PB級別(1PB=1024TB=1048576GB)。目前從公開的資料中我們了解到，阿里巴巴集團目前的數(shù)據(jù)系統(tǒng)之一“云梯”中總存儲容量50PB，實際使用容量超過了40PB。百度搜索引擎抓取的數(shù)據(jù)綜合，大概是10-50個PB，這個范圍很大，因為這個情況是每隔一小時時間就會發(fā)生很大變化。另外其的UGC，也就是用戶產(chǎn)生的內(nèi)容，例如百度貼吧，百度知道，百度文庫中的內(nèi)容，這些內(nèi)容是廣大互聯(lián)網(wǎng)網(wǎng)民自己產(chǎn)生，自己上傳，大家一起分享的數(shù)據(jù)，這部分數(shù)據(jù)目前達到1PB。

處理這么多數(shù)據(jù)，顯然，單獨的計算機，哪怕是大型機，都很可能是力有不逮的。那么，我們就要借助所謂的云計算技術了。在介紹這部分內(nèi)容的同時，筆者亦會介紹三個概念：離線計算、實時計算和流數(shù)據(jù)計算。

離線計算指的是，在用戶查詢計算產(chǎn)生的數(shù)據(jù)之前，計算就已經(jīng)完成了，用戶僅僅是查詢計算的最終結(jié)果。例如細心的你可能會發(fā)現(xiàn)，百度指數(shù)和淘寶指數(shù)中的大部分數(shù)據(jù)都是每天更新一次的，這個便是因為，這些數(shù)據(jù)一般都是在每日凌晨時通過離線計算產(chǎn)生的。離線計算由于計算早在用戶查詢之前就完成了，所以對計算所消耗的時間長度不做要求。目前廣泛運用于離線計算的是開源Hadoop系統(tǒng)，在阿里巴巴集團中，其數(shù)據(jù)系統(tǒng)之一：云梯系統(tǒng)，便是架構(gòu)在Hadoop上的。這個集群目前擁有超過3200個節(jié)點，清一色基于英特爾處理器的x86服務器，日均作業(yè)數(shù)高達15萬。相關數(shù)據(jù)產(chǎn)品在每天凌晨開始處理超過1.5PB的數(shù)據(jù)量，會在幾個小時內(nèi)處理完畢，每秒鐘處理的數(shù)據(jù)量都可能是以GB為單位的。同時阿里集團還有另外一套規(guī)模略小，但是是基于自主知識產(chǎn)權開發(fā)的系統(tǒng)飛天(ODPS)上的數(shù)據(jù)處理系統(tǒng)，也擁有上千個節(jié)點。至于百度公司，根據(jù)其2011年公布的情況，其所有的Hadoop集群的節(jié)點總和應該超過了1萬個，但是節(jié)點分布在多個不同的集群中。

離線計算產(chǎn)出的結(jié)果數(shù)據(jù)都是固定的組合的，例如我們可以計算出“王老吉”一詞在北京地區(qū)由男性在百度上搜索的搜索量。然后數(shù)據(jù)產(chǎn)品的前端系統(tǒng)查詢時直接查詢?nèi)〕鲞@樣的數(shù)據(jù)即可。但是這里有一個問題，如果前端用戶需要多維度組合查詢的話，例如查詢?nèi)我庑詣e(男、女)*任意年齡(假設五個年齡段)*任意城市(340多個城市)*任意愛好(假設有10種愛好)的人群的搜索量，那么，如果需要把這些組合全部通過離線計算算出，便有2*5*340*10=34000中組合，那么一個詞一天的結(jié)果數(shù)據(jù)便有34000個，這樣組合計算的效率和結(jié)果的存儲成本是不可接受的。所以，我們必須構(gòu)架一套實時計算系統(tǒng)，暨計算在用戶查詢時便發(fā)生的系統(tǒng)。我們往往也把離線計算系統(tǒng)歸類于OLAP(On-Line Analytical Processing， 聯(lián)機分析系統(tǒng))中。

有些讀者可能用過一些數(shù)據(jù)庫系統(tǒng)，例如sql server、mysql、oracle等，從本質(zhì)上講，這些數(shù)據(jù)庫中對數(shù)據(jù)的計算也是在查詢時發(fā)生的。但是，在大數(shù)據(jù)時代，數(shù)據(jù)量極度膨脹，使得這些傳統(tǒng)的數(shù)據(jù)庫很難在短時間內(nèi)從海量數(shù)據(jù)中查詢計算出用戶需要的數(shù)據(jù)。舉個例子，假設淘寶(天貓)每天的成交交易的筆數(shù)是1000萬筆(實際上顯然不止這個數(shù)字)，那么30天內(nèi)就有3億數(shù)據(jù)量的積累，在這3億數(shù)據(jù)條目中，要求在0.5秒內(nèi)查詢出符合三四種條件組合的成交量，并且做分組(group)、匯總(sum)、排序(order)等運算組合的情況下，單機部署的oracle、mysql等的性能都無法滿足這個要求。所以便需要更高性能的，在多個節(jié)點上并行計算的實時計算系統(tǒng)來支撐了。目前實時計算系統(tǒng)中還沒有像Hadoop那樣占有極大的市場份額的開源軟件，各大公司都在開發(fā)自己的實時計算系統(tǒng)，例如阿里巴巴集團的Garuda系統(tǒng)。實時計算系統(tǒng)一般也和業(yè)務數(shù)據(jù)庫一起被歸類于OLTP(聯(lián)機事務處理系統(tǒng))中。

離線計算和實時計算，雖然計算發(fā)生的時刻不同，但是數(shù)據(jù)裝載的時刻往往是相同的，都是在每天凌晨裝載完畢。而流數(shù)據(jù)計算系統(tǒng)，則指的是數(shù)據(jù)源源不斷的流到系統(tǒng)中，在數(shù)據(jù)到達時便計算相關結(jié)果的系統(tǒng)。顯然流數(shù)據(jù)系統(tǒng)是可以計算呈現(xiàn)幾分鐘內(nèi)新增的數(shù)據(jù)的。目前這方面的相關應用比較少，可以查到的例子如阿里巴巴集團數(shù)據(jù)平臺的Galaxy提供流數(shù)據(jù)計算的支持。

以上種種，歸結(jié)起來，大數(shù)據(jù)便是海量的(Volume)、多種類的(Variety)、需要大規(guī)模的處理才能夠凝聚足夠價值的(Value)、處理和檢索響應速度快的(Velocity)的數(shù)據(jù)。處理大數(shù)據(jù)所需要的系統(tǒng)，和傳統(tǒng)的數(shù)據(jù)挖掘工作所需要的系統(tǒng)有根本性區(qū)別。同時，大數(shù)據(jù)時代愈發(fā)強調(diào)數(shù)據(jù)的關聯(lián)性，將各種數(shù)據(jù)之間關聯(lián)組合，以產(chǎn)生更大的價值。

我們可以試想一下，以我國公安機關擁有的公民信息為核心，加上民航和鐵路部門擁有的出行信息、銀行擁有的交易信息、各個城市的社保公積金數(shù)據(jù)、電信系統(tǒng)的數(shù)據(jù)等等，構(gòu)建一套大規(guī)模的國民數(shù)據(jù)挖掘處理系統(tǒng)，這樣的系統(tǒng)的數(shù)據(jù)價值自然是極大的，顯然，便能夠充分體現(xiàn)出，關聯(lián)的大數(shù)據(jù)(Linked Big Data)所產(chǎn)生的巨大價值了。