分布式計(jì)算能讓大數(shù)據(jù)分析更好地應(yīng)對(duì)挑戰(zhàn)

大數(shù)據(jù)分析在理論上聽起來不錯(cuò)，但實(shí)踐操作卻非易事。Cloudera公司是電子垃圾回收領(lǐng)域的先驅(qū)，公司的產(chǎn)品經(jīng)理Eva Andreasson表示，大數(shù)據(jù)分析面臨技術(shù)的局限和存儲(chǔ)成本，以及應(yīng)對(duì)不同系統(tǒng)的挑戰(zhàn)。

　　Andreasson在悉尼舉辦的“YOW! 開發(fā)者大會(huì)”上說，Hadoop下的不同工具能更好地應(yīng)對(duì)各種挑戰(zhàn)，并列舉了衛(wèi)生和零售業(yè)的實(shí)際案例。

　　Andreasson曾與美國(guó)一家兒童醫(yī)院開展過合作，該家醫(yī)院需要對(duì)其數(shù)據(jù)進(jìn)行實(shí)質(zhì)分析。

　　該醫(yī)院的監(jiān)測(cè)系統(tǒng)不斷地獲得患者的呼吸系統(tǒng)、心臟速率、血壓等數(shù)據(jù)。可惜的是，該家醫(yī)院僅能將患者的關(guān)鍵數(shù)據(jù)儲(chǔ)存到手術(shù)或治理后三天。

　　Andreasson說，“在醫(yī)院的重癥監(jiān)護(hù)病房里，有很多嬰兒及患者不知道該如何溝通，醫(yī)生只能通過監(jiān)測(cè)系統(tǒng)獲得所有信息。試想，如果你是醫(yī)院里一名無法溝通的患者，在手術(shù)后治療出現(xiàn)了不適反應(yīng)，該怎么辦？”

　　醫(yī)院的另一個(gè)問題是，研究數(shù)據(jù)存儲(chǔ)在不同的系統(tǒng)當(dāng)中，難以在短時(shí)間內(nèi)有效整合，這往往導(dǎo)致臨床醫(yī)師要獲得特定信息需等待很長(zhǎng)時(shí)間。

　　Andreasson還強(qiáng)調(diào)：“醫(yī)生們明白兒童急診的最常見原因是哮喘。他們也做過大量不同渠道的研究，也擁有20年的其他外部研究數(shù)據(jù)。但是他們沒有一套系統(tǒng)能夠?yàn)檠芯啃〗M有效匯集數(shù)據(jù)，數(shù)據(jù)總是存儲(chǔ)在不同的系統(tǒng)內(nèi)?！?/span>

　　醫(yī)院應(yīng)用Hadoop平臺(tái)可應(yīng)對(duì)這些挑戰(zhàn)，而且能節(jié)省部分開支。Andreasson說，從硬件建設(shè)到軟件安裝，Hadoop平臺(tái)只需醫(yī)院用不到三個(gè)處理器來運(yùn)行原來的傳統(tǒng)數(shù)據(jù)管理系統(tǒng)。

　　醫(yī)院每周大約可處理50GB的監(jiān)測(cè)數(shù)據(jù)，并有2TB的容量接受所有研究數(shù)據(jù)的同時(shí)訪問。而Apache Sqoop系統(tǒng)可用于在相關(guān)數(shù)據(jù)庫和Hadoop之間進(jìn)行數(shù)據(jù)轉(zhuǎn)換。

　　Solr是一款全文搜索的開源系統(tǒng)。工作人員正在使用Solr進(jìn)一步探索它的各種數(shù)據(jù)集和文件。而Impala作為一款查詢工具，用來做實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)分析和研究病人的健康狀況發(fā)展趨勢(shì)。

　　Andreasson說，“幾星期內(nèi)，研究人員就能改變流程，讓患者的看護(hù)時(shí)間更長(zhǎng)。他們發(fā)現(xiàn)，護(hù)士與患者接觸的時(shí)間多幾個(gè)小時(shí)，患者就能恢復(fù)得更好。安裝完這一系統(tǒng)幾個(gè)月內(nèi)，醫(yī)院就能減少與哮喘相關(guān)疾病的數(shù)量。”

　　Andreasson還提到另外一個(gè)在線零售商的案例，和兒童醫(yī)院類似，該零售商以前只能存儲(chǔ)客戶交易六個(gè)月以來的有限數(shù)據(jù)量。

　　“如果存儲(chǔ)時(shí)間能夠達(dá)到一年、兩年乃至五年，就能顯示哪類客戶在一段時(shí)間內(nèi)減少購(gòu)買或停止購(gòu)買其產(chǎn)品。”Andreasson補(bǔ)充說，“Hadoop就能做到這一點(diǎn)，它能提供半年、一年乃至五年的數(shù)據(jù)，因?yàn)樗且粋€(gè)線性的可擴(kuò)展平臺(tái)?！?/span>

　　該零售商還記錄著點(diǎn)擊該網(wǎng)站的每個(gè)訪問者記錄，訪問者點(diǎn)擊網(wǎng)站上特定板塊的時(shí)間，并加強(qiáng)了多類型數(shù)據(jù)集之間的相關(guān)性。

　　通過使用Flume，每個(gè)日志事件在生成之時(shí)就會(huì)被消耗掉，并發(fā)布到Hadoop分布式計(jì)算文件系統(tǒng)。然后系統(tǒng)會(huì)創(chuàng)建表格比較點(diǎn)擊率最高的產(chǎn)品和最暢銷的產(chǎn)品。

　　“在上述案例中，有一項(xiàng)產(chǎn)品不在"最暢銷產(chǎn)品"之列，但數(shù)據(jù)顯示用戶經(jīng)常點(diǎn)擊這個(gè)產(chǎn)品。這意味著什么？你可以通過添加有助商業(yè)開發(fā)的數(shù)據(jù)集，獲得新的見解?！?/span>

　　“我們看到，小孩踢的足球大受歡迎，但它并沒有在我們的購(gòu)物清單上。那我們要做些什么來獲得更多的收入呢？也許這個(gè)產(chǎn)品定價(jià)出了問題，在購(gòu)物者看到價(jià)格信息后沒有購(gòu)買就離開網(wǎng)頁了，當(dāng)然也可能有其他原因?！?/span>