99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀分布式計(jì)算能讓大數(shù)據(jù)分析更好地應(yīng)對(duì)挑戰(zhàn)
分布式計(jì)算能讓大數(shù)據(jù)分析更好地應(yīng)對(duì)挑戰(zhàn)
2015-06-15
收藏

分布式計(jì)算能讓大數(shù)據(jù)分析更好地應(yīng)對(duì)挑戰(zhàn)



大數(shù)據(jù)分析在理論上聽起來不錯(cuò)，但實(shí)踐操作卻非易事。Cloudera公司是電子垃圾回收領(lǐng)域的先驅(qū)，公司的產(chǎn)品經(jīng)理Eva Andreasson表示，大數(shù)據(jù)分析面臨技術(shù)的局限和存儲(chǔ)成本，以及應(yīng)對(duì)不同系統(tǒng)的挑戰(zhàn)。

　　Andreasson在悉尼舉辦的“YOW! 開發(fā)者大會(huì)”上說，Hadoop下的不同工具能更好地應(yīng)對(duì)各種挑戰(zhàn)，并列舉了衛(wèi)生和零售業(yè)的實(shí)際案例。

　　Andreasson曾與美國(guó)一家兒童醫(yī)院開展過合作，該家醫(yī)院需要對(duì)其數(shù)據(jù)進(jìn)行實(shí)質(zhì)分析。

　　該醫(yī)院的監(jiān)測(cè)系統(tǒng)不斷地獲得患者的呼吸系統(tǒng)、心臟速率、血壓等數(shù)據(jù)?？上У氖?，該家醫(yī)院僅能將患者的關(guān)鍵數(shù)據(jù)儲(chǔ)存到手術(shù)或治理后三天。

　　Andreasson說，“在醫(yī)院的重癥監(jiān)護(hù)病房里，有很多嬰兒及患者不知道該如何溝通，醫(yī)生只能通過監(jiān)測(cè)系統(tǒng)獲得所有信息。試想，如果你是醫(yī)院里一名無法溝通的患者，在手術(shù)后治療出現(xiàn)了不適反應(yīng)，該怎么辦？”

　　醫(yī)院的另一個(gè)問題是，研究數(shù)據(jù)存儲(chǔ)在不同的系統(tǒng)當(dāng)中，難以在短時(shí)間內(nèi)有效整合，這往往導(dǎo)致臨床醫(yī)師要獲得特定信息需等待很長(zhǎng)時(shí)間。

　　Andreasson還強(qiáng)調(diào)：“醫(yī)生們明白兒童急診的最常見原因是哮喘。他們也做過大量不同渠道的研究，也擁有20年的其他外部研究數(shù)據(jù)。但是他們沒有一套系統(tǒng)能夠?yàn)檠芯啃〗M有效匯集數(shù)據(jù)，數(shù)據(jù)總是存儲(chǔ)在不同的系統(tǒng)內(nèi)。”

　　醫(yī)院應(yīng)用Hadoop平臺(tái)可應(yīng)對(duì)這些挑戰(zhàn)，而且能節(jié)省部分開支。Andreasson說，從硬件建設(shè)到軟件安裝，Hadoop平臺(tái)只需醫(yī)院用不到三個(gè)處理器來運(yùn)行原來的傳統(tǒng)數(shù)據(jù)管理系統(tǒng)。

　　醫(yī)院每周大約可處理50GB的監(jiān)測(cè)數(shù)據(jù)，并有2TB的容量接受所有研究數(shù)據(jù)的同時(shí)訪問。而Apache Sqoop系統(tǒng)可用于在相關(guān)數(shù)據(jù)庫(kù)和Hadoop之間進(jìn)行數(shù)據(jù)轉(zhuǎn)換。

　　Solr是一款全文搜索的開源系統(tǒng)。工作人員正在使用Solr進(jìn)一步探索它的各種數(shù)據(jù)集和文件。而Impala作為一款查詢工具，用來做實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)分析和研究病人的健康狀況發(fā)展趨勢(shì)。

　　Andreasson說，“幾星期內(nèi)，研究人員就能改變流程，讓患者的看護(hù)時(shí)間更長(zhǎng)。他們發(fā)現(xiàn)，護(hù)士與患者接觸的時(shí)間多幾個(gè)小時(shí)，患者就能恢復(fù)得更好。安裝完這一系統(tǒng)幾個(gè)月內(nèi)，醫(yī)院就能減少與哮喘相關(guān)疾病的數(shù)量?！?/span>

　　Andreasson還提到另外一個(gè)在線零售商的案例，和兒童醫(yī)院類似，該零售商以前只能存儲(chǔ)客戶交易六個(gè)月以來的有限數(shù)據(jù)量。

　　“如果存儲(chǔ)時(shí)間能夠達(dá)到一年、兩年乃至五年，就能顯示哪類客戶在一段時(shí)間內(nèi)減少購(gòu)買或停止購(gòu)買其產(chǎn)品?！盇ndreasson補(bǔ)充說，“Hadoop就能做到這一點(diǎn)，它能提供半年、一年乃至五年的數(shù)據(jù)，因?yàn)樗且粋€(gè)線性的可擴(kuò)展平臺(tái)。”

　　該零售商還記錄著點(diǎn)擊該網(wǎng)站的每個(gè)訪問者記錄，訪問者點(diǎn)擊網(wǎng)站上特定板塊的時(shí)間，并加強(qiáng)了多類型數(shù)據(jù)集之間的相關(guān)性。

　　通過使用Flume，每個(gè)日志事件在生成之時(shí)就會(huì)被消耗掉，并發(fā)布到Hadoop分布式計(jì)算文件系統(tǒng)。然后系統(tǒng)會(huì)創(chuàng)建表格比較點(diǎn)擊率最高的產(chǎn)品和最暢銷的產(chǎn)品。

　　“在上述案例中，有一項(xiàng)產(chǎn)品不在"最暢銷產(chǎn)品"之列，但數(shù)據(jù)顯示用戶經(jīng)常點(diǎn)擊這個(gè)產(chǎn)品。這意味著什么？你可以通過添加有助商業(yè)開發(fā)的數(shù)據(jù)集，獲得新的見解?！?/span>

　　“我們看到，小孩踢的足球大受歡迎，但它并沒有在我們的購(gòu)物清單上。那我們要做些什么來獲得更多的收入呢？也許這個(gè)產(chǎn)品定價(jià)出了問題，在購(gòu)物者看到價(jià)格信息后沒有購(gòu)買就離開網(wǎng)頁了，當(dāng)然也可能有其他原因。”


數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼

若不方便掃碼，搜微信號(hào)：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測(cè)極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請(qǐng)參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }