大數(shù)據(jù)技術(shù)對(duì)于數(shù)據(jù)挖掘的未來(lái)究竟意味著什么(2)

那么，誰(shuí)會(huì)真正用到大數(shù)據(jù)分析呢?

　　一年前，大數(shù)據(jù)技術(shù)的一些主要用戶(hù)是大型Web企業(yè)，例如Facebook和雅虎，它們需要分析點(diǎn)擊流數(shù)據(jù)。但是今天，“大數(shù)據(jù)技術(shù)已經(jīng)超出了Web，是要是有大量數(shù)據(jù)需要處理的企業(yè)都有可能用到它?！崩玢y行、公用事業(yè)機(jī)構(gòu)、情報(bào)部門(mén)等都在搭乘大數(shù)據(jù)這輛車(chē)。

　　實(shí)際上，一些大數(shù)據(jù)技術(shù)已經(jīng)被一些擁有很前衛(wèi)技術(shù)的企業(yè)在使用了，比如受社交媒體推動(dòng)而需要?jiǎng)?chuàng)建相應(yīng)Web服務(wù)的企業(yè)。它們對(duì)于大數(shù)據(jù)項(xiàng)目的貢獻(xiàn)非常重要。

　　而在其他垂直行業(yè)中，有些企業(yè)正在意識(shí)到，它們基于信息服務(wù)的價(jià)值定位要比它們先前想象的要大得多，所以大數(shù)據(jù)技術(shù)很快就吸引了這些企業(yè)的注意。再加上硬件和軟件成本的下降，這些企業(yè)發(fā)現(xiàn)它們已經(jīng)處在了一場(chǎng)企業(yè)大轉(zhuǎn)型機(jī)遇的完美風(fēng)暴中。

　　紐約城的TRA公司是專(zhuān)門(mén)幫助電視廣告主們?cè)u(píng)測(cè)其所投放的電視廣告的效果的，它會(huì)把某個(gè)家庭通過(guò)電視與DVR(數(shù)字錄像機(jī))所接收到的廣告與其在零售商店的賬單相比對(duì)。該公司從有線(xiàn)電視公司的DVR以及一些日用品商店的會(huì)員卡計(jì)劃中搜集數(shù)據(jù)，來(lái)進(jìn)行這種比對(duì)。TRA的大數(shù)據(jù)系統(tǒng)所處理的數(shù)據(jù)量代表著170萬(wàn)個(gè)家庭以秒計(jì)的觀看習(xí)慣——如此龐大的任務(wù)量如果沒(méi)有大數(shù)據(jù)技術(shù)幾乎無(wú)法完成。該公司部署了Kognitia的WX2數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)允許它快速地裝載、描述和分析數(shù)據(jù)，從DVR上收集細(xì)粒度的廣告觀看信息，fran后與銷(xiāo)售點(diǎn)的詳細(xì)數(shù)據(jù)進(jìn)行比對(duì)，再生成定制報(bào)告。

　　“Kognitia有一個(gè)內(nèi)存運(yùn)行的解決方案，所以我們現(xiàn)有整個(gè)數(shù)據(jù)庫(kù)的一半都可以放在內(nèi)存里，這就是說(shuō)當(dāng)我們的客戶(hù)需要運(yùn)行一個(gè)查詢(xún)時(shí)，響應(yīng)時(shí)間是秒級(jí)而非小時(shí)級(jí)或日級(jí)的，”TRA的CEO Mark Lieberman說(shuō)。

　　該數(shù)據(jù)庫(kù)可以在普通硬件上運(yùn)行，TRA自己的前端應(yīng)用就是在.Net Visual Studio上構(gòu)建的?！拔覀冞€會(huì)用到一點(diǎn)點(diǎn)MySQL，而用戶(hù)界面則是用DevExpress開(kāi)發(fā)的，”Lieberman說(shuō)。

　　在他看來(lái)，大數(shù)據(jù)技術(shù)可能會(huì)給全美700億美元的電視廣告市場(chǎng)帶來(lái)革命性的變化。傳統(tǒng)的廣告評(píng)測(cè)方法頂多只能在全國(guó)2萬(wàn)個(gè)樣本家庭中安裝特制的機(jī)頂盒來(lái)分析抽樣數(shù)據(jù)。而今天，大數(shù)據(jù)技術(shù)則可以分析來(lái)自250萬(wàn)臺(tái)DVR和機(jī)頂盒的實(shí)際數(shù)據(jù)。

　　Aberdeen集團(tuán)的分析師Greg Belkin認(rèn)為，TRA和其他一些公司所使用的大數(shù)據(jù)工具滿(mǎn)足了大數(shù)據(jù)的速度、體量和多樣性判據(jù)?！霸诹闶蹣I(yè)，大數(shù)據(jù)給人的印象十分深刻，因?yàn)檫@個(gè)行業(yè)有非常多的需要分析數(shù)據(jù)的地方，但是按照傳統(tǒng)手段那是無(wú)法想象的，”比如社交媒體網(wǎng)站、DVR設(shè)備和日用品商店的會(huì)員卡數(shù)據(jù)等?！斑@個(gè)行業(yè)的數(shù)據(jù)室如此的龐大和復(fù)雜，利用傳統(tǒng)的數(shù)據(jù)庫(kù)手段根本不可能進(jìn)行分析，所以零售商們正在轉(zhuǎn)向大數(shù)據(jù)平臺(tái)?！?/span>

　　同樣的，大數(shù)據(jù)技術(shù)也給弗羅里達(dá)圣彼得斯堡的Catalina市場(chǎng)營(yíng)銷(xiāo)公司帶來(lái)了革命性的變化。這家公司所擁有的會(huì)員客戶(hù)數(shù)據(jù)庫(kù)十分龐大，規(guī)模有2.5PB，其中包括了1.9億家美國(guó)日用品商店多年來(lái)的歷史銷(xiāo)售數(shù)據(jù)。它的最大的一個(gè)數(shù)據(jù)庫(kù)就有令人難以置信的4.25億行數(shù)據(jù)，公司每天需要在這個(gè)數(shù)據(jù)庫(kù)中管理大約6.25億行數(shù)據(jù)。

　　通過(guò)分析這些數(shù)據(jù)，Catalina可幫助一些主要的消費(fèi)品制造商和大型連鎖超市預(yù)測(cè)消費(fèi)者可能會(huì)購(gòu)買(mǎi)什么商品，以及誰(shuí)會(huì)對(duì)新的商品感興趣等。

　　“我們是希望把技術(shù)帶給數(shù)據(jù)，而不是把數(shù)據(jù)帶給技術(shù)，”Catalina的執(zhí)行副總裁兼CIO Eric Williams說(shuō)?！耙恍┈F(xiàn)有的技術(shù)就可以讓比如SAS公司把它們的分析技術(shù)用于數(shù)據(jù)庫(kù)。這就極大地改變了它們的整個(gè)業(yè)務(wù)。我們先前也在做這些事情，但是由于技術(shù)上的嚴(yán)重限制，使我們無(wú)法實(shí)現(xiàn)我們想要實(shí)現(xiàn)的目標(biāo)。我們只好用自己研發(fā)的一些工具，而這些工具能夠?qū)崿F(xiàn)的東西也是非常有限的。而大數(shù)據(jù)技術(shù)的出現(xiàn)則徹底改變了我們的整個(gè)企業(yè)?！?/span>

　　除了在其專(zhuān)有的系統(tǒng)中用到了一些開(kāi)源軟件以外，Catalina還在Netezza數(shù)據(jù)倉(cāng)庫(kù)設(shè)備平臺(tái)上使用了SAS的分析工具。

　　大數(shù)據(jù)正在從根本上改變著美國(guó)銀行業(yè)做業(yè)務(wù)的方式。美國(guó)銀行負(fù)責(zé)大數(shù)據(jù)與分析的前執(zhí)行董事Abhishek Mehta在2010年10月的Hadoop World大會(huì)上說(shuō)，“我覺(jué)得今天的Hadoop很像20年前的Linux。我們所有人都看到了Linux在企業(yè)軟件市場(chǎng)上的成功。Hadoop也將會(huì)取得同樣的成功。它的成功只是個(gè)時(shí)間問(wèn)題而已?！?/span>

　　在分析點(diǎn)擊流數(shù)據(jù)和交易數(shù)據(jù)之外，Hadoop還可以讓美國(guó)銀行快速地解決各種業(yè)務(wù)問(wèn)題?！白鳛殂y行來(lái)說(shuō)，我能想到的就是如何消除客戶(hù)的欺詐行為，”Mehta說(shuō)。“現(xiàn)在，我可以建立一個(gè)模型，為每個(gè)客戶(hù)回溯過(guò)去5年間的每一次欺詐事件。而在此之前，我們只能采取抽樣的辦法，建立一個(gè)模型，當(dāng)發(fā)現(xiàn)有某個(gè)特例不適合這種模型時(shí)，還需要重新建模。這樣的日子終于結(jié)束了。”

　　公用事業(yè)行業(yè)也在剛剛開(kāi)始了解到大數(shù)據(jù)所帶來(lái)的應(yīng)用及其價(jià)值。美國(guó)中西部的一家電力公司利用Hadoop分析來(lái)自智能電表的數(shù)據(jù)，這些智能電表可以自動(dòng)完成計(jì)費(fèi)功能，但是該公司還收集輸電線(xiàn)路上任意的電流波動(dòng)信息?！叭绻占竭@些信息并且能夠描繪出電流變化圖，那么你就可以在某個(gè)地方的變壓器可能出現(xiàn)故障之前找到它，”O(jiān)lofson說(shuō)?！盎蛘弋?dāng)發(fā)生停電事故時(shí)，會(huì)引起電流的波動(dòng)，公司就可以探測(cè)到波動(dòng)之處，在用戶(hù)打電話(huà)求助之前就采取行動(dòng)?！?/span>

　　Olofson預(yù)測(cè)說(shuō)，在將來(lái)的某個(gè)時(shí)候，電力公司就能利用大數(shù)據(jù)技術(shù)來(lái)改善為客戶(hù)所提供的服務(wù)，并通過(guò)電網(wǎng)監(jiān)控、問(wèn)題檢測(cè)和對(duì)電網(wǎng)進(jìn)行微調(diào)等降低運(yùn)營(yíng)成本——但是這可能需要對(duì)某些正在老化的基礎(chǔ)設(shè)施進(jìn)行重大升級(jí)才行。

　　一些品牌營(yíng)銷(xiāo)公司也在利用Hadoop在社交媒體上實(shí)驗(yàn)所謂的“情緒分析”。這些服務(wù)提供商利用Hadoop，仔細(xì)審查客戶(hù)在Twitter上的行為，看看他們對(duì)于某個(gè)特定產(chǎn)品究竟在說(shuō)些什么和想些什么。