大數據技術對于數據挖掘的未來究竟意味著什么(2)

那么，誰會真正用到大數據分析呢?

　　一年前，大數據技術的一些主要用戶是大型Web企業(yè)，例如Facebook和雅虎，它們需要分析點擊流數據。但是今天，“大數據技術已經超出了Web，是要是有大量數據需要處理的企業(yè)都有可能用到它?！崩玢y行、公用事業(yè)機構、情報部門等都在搭乘大數據這輛車。

　　實際上，一些大數據技術已經被一些擁有很前衛(wèi)技術的企業(yè)在使用了，比如受社交媒體推動而需要創(chuàng)建相應Web服務的企業(yè)。它們對于大數據項目的貢獻非常重要。

　　而在其他垂直行業(yè)中，有些企業(yè)正在意識到，它們基于信息服務的價值定位要比它們先前想象的要大得多，所以大數據技術很快就吸引了這些企業(yè)的注意。再加上硬件和軟件成本的下降，這些企業(yè)發(fā)現它們已經處在了一場企業(yè)大轉型機遇的完美風暴中。

　　紐約城的TRA公司是專門幫助電視廣告主們評測其所投放的電視廣告的效果的，它會把某個家庭通過電視與DVR(數字錄像機)所接收到的廣告與其在零售商店的賬單相比對。該公司從有線電視公司的DVR以及一些日用品商店的會員卡計劃中搜集數據，來進行這種比對。TRA的大數據系統(tǒng)所處理的數據量代表著170萬個家庭以秒計的觀看習慣——如此龐大的任務量如果沒有大數據技術幾乎無法完成。該公司部署了Kognitia的WX2數據庫，該數據庫允許它快速地裝載、描述和分析數據，從DVR上收集細粒度的廣告觀看信息，fran后與銷售點的詳細數據進行比對，再生成定制報告。

　　“Kognitia有一個內存運行的解決方案，所以我們現有整個數據庫的一半都可以放在內存里，這就是說當我們的客戶需要運行一個查詢時，響應時間是秒級而非小時級或日級的，”TRA的CEO Mark Lieberman說。

　　該數據庫可以在普通硬件上運行，TRA自己的前端應用就是在.Net Visual Studio上構建的?！拔覀冞€會用到一點點MySQL，而用戶界面則是用DevExpress開發(fā)的，”Lieberman說。

　　在他看來，大數據技術可能會給全美700億美元的電視廣告市場帶來革命性的變化。傳統(tǒng)的廣告評測方法頂多只能在全國2萬個樣本家庭中安裝特制的機頂盒來分析抽樣數據。而今天，大數據技術則可以分析來自250萬臺DVR和機頂盒的實際數據。

　　Aberdeen集團的分析師Greg Belkin認為，TRA和其他一些公司所使用的大數據工具滿足了大數據的速度、體量和多樣性判據?！霸诹闶蹣I(yè)，大數據給人的印象十分深刻，因為這個行業(yè)有非常多的需要分析數據的地方，但是按照傳統(tǒng)手段那是無法想象的，”比如社交媒體網站、DVR設備和日用品商店的會員卡數據等?！斑@個行業(yè)的數據室如此的龐大和復雜，利用傳統(tǒng)的數據庫手段根本不可能進行分析，所以零售商們正在轉向大數據平臺?！?/span>

　　同樣的，大數據技術也給弗羅里達圣彼得斯堡的Catalina市場營銷公司帶來了革命性的變化。這家公司所擁有的會員客戶數據庫十分龐大，規(guī)模有2.5PB，其中包括了1.9億家美國日用品商店多年來的歷史銷售數據。它的最大的一個數據庫就有令人難以置信的4.25億行數據，公司每天需要在這個數據庫中管理大約6.25億行數據。

　　通過分析這些數據，Catalina可幫助一些主要的消費品制造商和大型連鎖超市預測消費者可能會購買什么商品，以及誰會對新的商品感興趣等。

　　“我們是希望把技術帶給數據，而不是把數據帶給技術，”Catalina的執(zhí)行副總裁兼CIO Eric Williams說。“一些現有的技術就可以讓比如SAS公司把它們的分析技術用于數據庫。這就極大地改變了它們的整個業(yè)務。我們先前也在做這些事情，但是由于技術上的嚴重限制，使我們無法實現我們想要實現的目標。我們只好用自己研發(fā)的一些工具，而這些工具能夠實現的東西也是非常有限的。而大數據技術的出現則徹底改變了我們的整個企業(yè)?！?/span>

　　除了在其專有的系統(tǒng)中用到了一些開源軟件以外，Catalina還在Netezza數據倉庫設備平臺上使用了SAS的分析工具。

　　大數據正在從根本上改變著美國銀行業(yè)做業(yè)務的方式。美國銀行負責大數據與分析的前執(zhí)行董事Abhishek Mehta在2010年10月的Hadoop World大會上說，“我覺得今天的Hadoop很像20年前的Linux。我們所有人都看到了Linux在企業(yè)軟件市場上的成功。Hadoop也將會取得同樣的成功。它的成功只是個時間問題而已?！?/span>

　　在分析點擊流數據和交易數據之外，Hadoop還可以讓美國銀行快速地解決各種業(yè)務問題?！白鳛殂y行來說，我能想到的就是如何消除客戶的欺詐行為，”Mehta說?！艾F在，我可以建立一個模型，為每個客戶回溯過去5年間的每一次欺詐事件。而在此之前，我們只能采取抽樣的辦法，建立一個模型，當發(fā)現有某個特例不適合這種模型時，還需要重新建模。這樣的日子終于結束了。”

　　公用事業(yè)行業(yè)也在剛剛開始了解到大數據所帶來的應用及其價值。美國中西部的一家電力公司利用Hadoop分析來自智能電表的數據，這些智能電表可以自動完成計費功能，但是該公司還收集輸電線路上任意的電流波動信息?！叭绻占竭@些信息并且能夠描繪出電流變化圖，那么你就可以在某個地方的變壓器可能出現故障之前找到它，”O(jiān)lofson說?！盎蛘弋敯l(fā)生停電事故時，會引起電流的波動，公司就可以探測到波動之處，在用戶打電話求助之前就采取行動?！?/span>

　　Olofson預測說，在將來的某個時候，電力公司就能利用大數據技術來改善為客戶所提供的服務，并通過電網監(jiān)控、問題檢測和對電網進行微調等降低運營成本——但是這可能需要對某些正在老化的基礎設施進行重大升級才行。

　　一些品牌營銷公司也在利用Hadoop在社交媒體上實驗所謂的“情緒分析”。這些服務提供商利用Hadoop，仔細審查客戶在Twitter上的行為，看看他們對于某個特定產品究竟在說些什么和想些什么。