99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀深度解讀大數(shù)據(jù)并行計(jì)算方式
深度解讀大數(shù)據(jù)并行計(jì)算方式
2016-05-19
收藏
深度解讀大數(shù)據(jù)并行計(jì)算方式


對(duì)于大數(shù)據(jù)，串行的處理方式難以滿足人們的要求，現(xiàn)在主要采用并行計(jì)算方式?，F(xiàn)有的并行計(jì)算可以分為兩種：

·細(xì)粒度的并行計(jì)算。這里細(xì)粒度主要是指指令或進(jìn)程級(jí)別，由于GPU比CPU擁有更強(qiáng)的并行處理能力，人們將一些任務(wù)交給GPU并行處理，一些GPU制造商也推出了方便程序員使用的編程模型，如NVIDIA推出的CUDA等。

·粗粒度的并行計(jì)算。這里粗粒度指的是任務(wù)級(jí)別，人們將工作分布到不同機(jī)器中執(zhí)行，最近流行的網(wǎng)格計(jì)算、分布式計(jì)算都屬于粗粒度級(jí)別。

由于現(xiàn)有GPU編程模型還未完善，開發(fā)人員需要考慮大量的并行細(xì)節(jié)且任務(wù)較重，因此未得到流行。而一些新推出的分布式編程模型以其簡單、方便等特點(diǎn)受到開發(fā)人員的歡迎并變得炙手可熱，這里我們主要討論粗粒度的并行計(jì)算。

由于大數(shù)據(jù)都分布在集群中，因此對(duì)數(shù)據(jù)的處理和分析需要在集群中進(jìn)行，但是在多臺(tái)機(jī)器上對(duì)分布式數(shù)據(jù)進(jìn)行分析會(huì)產(chǎn)生巨大的性能開銷，即使采用千兆比特或萬兆比特帶寬的網(wǎng)絡(luò)，隨機(jī)讀取速度和連續(xù)讀取速度都會(huì)比內(nèi)存慢幾個(gè)數(shù)量級(jí)。但是，現(xiàn)在高速局域網(wǎng)技術(shù)使得網(wǎng)絡(luò)讀取速度比硬盤讀取要快很多。因此，將數(shù)據(jù)存儲(chǔ)在其他節(jié)點(diǎn)上比存儲(chǔ)在硬盤上的性能要好，而且還可以在多個(gè)節(jié)點(diǎn)上并行處理數(shù)據(jù)集。

對(duì)大數(shù)據(jù)分布處理會(huì)帶來一些問題，首先就是節(jié)點(diǎn)間通信對(duì)并行處理的代價(jià)，一些操作如搜索、計(jì)數(shù)、部分聚集、聯(lián)合等可以在每個(gè)節(jié)點(diǎn)上獨(dú)立執(zhí)行。單個(gè)節(jié)點(diǎn)處理后的結(jié)果需要合并，因此節(jié)點(diǎn)間的通信是不可避免的，但是并不是所有的聚集操作都能分散成可以獨(dú)立操作的子操作，如求得所有數(shù)據(jù)的中位數(shù)。不過，大部分重要的操作都有分布式算法來減少節(jié)點(diǎn)間的通信。

節(jié)點(diǎn)間負(fù)載不平衡也是出現(xiàn)的主要問題。理想情況下，每個(gè)節(jié)點(diǎn)的計(jì)算量是相同的，否則工作量最大的節(jié)點(diǎn)將決定整個(gè)任務(wù)的完成時(shí)間，這個(gè)時(shí)間往往比負(fù)載平衡情況下的時(shí)間要長。最壞的情況下，所有的工作都集中在某個(gè)機(jī)器上，無法體現(xiàn)出并行的優(yōu)勢。數(shù)據(jù)在節(jié)點(diǎn)間如何分布對(duì)負(fù)載平衡產(chǎn)生影響，例如，一個(gè)包含1000個(gè)傳感器10年內(nèi)的觀測值的數(shù)據(jù)集，傳感器每15秒收集一次數(shù)據(jù)，這樣一個(gè)傳感器10年內(nèi)將產(chǎn)生兩千多萬個(gè)觀測值。我們將數(shù)據(jù)根據(jù)傳感器并按時(shí)間順序分布到10個(gè)節(jié)點(diǎn)上，每個(gè)節(jié)點(diǎn)包含100個(gè)傳感器的觀測值，如果對(duì)某個(gè)傳感器收集的數(shù)據(jù)進(jìn)行操作，那么大部分節(jié)點(diǎn)將處于閑置狀態(tài)。如果先按時(shí)間順序?qū)?shù)據(jù)進(jìn)行分布，那么根據(jù)時(shí)間的操作也會(huì)造成負(fù)載不平衡。

分布式系統(tǒng)的另一個(gè)問題就是可靠性。就像擁有四個(gè)引擎的飛機(jī)比擁有兩個(gè)引擎的飛機(jī)更容易出現(xiàn)引擎故障一樣，一個(gè)擁有10個(gè)節(jié)點(diǎn)的集群很容易出現(xiàn)節(jié)點(diǎn)故障。這可以通過在節(jié)點(diǎn)間復(fù)制數(shù)據(jù)來解決，對(duì)數(shù)據(jù)進(jìn)行復(fù)制，既可以提高數(shù)據(jù)分析的效率，也可以通過冗余來應(yīng)對(duì)節(jié)點(diǎn)故障。當(dāng)然，數(shù)據(jù)集越大，對(duì)數(shù)據(jù)副本的管理和維護(hù)也越困難。

目前對(duì)大數(shù)據(jù)處理和分析的應(yīng)用更多的是集中在數(shù)據(jù)倉庫技術(shù)、預(yù)測分析、實(shí)時(shí)分析、商業(yè)智能、數(shù)據(jù)統(tǒng)計(jì)等方面。這些需求對(duì)企業(yè)有巨大的幫助。

將PB級(jí)的數(shù)據(jù)存儲(chǔ)起來并不是一件困難的事情，但是如何進(jìn)行高效的存儲(chǔ)并不簡單。首先要考慮的是，如何組織數(shù)據(jù)的結(jié)構(gòu)使其能夠更多地支持上層的軟件，而不需要對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)儲(chǔ)和重新組織。當(dāng)數(shù)據(jù)需要發(fā)生轉(zhuǎn)換的時(shí)候避免因轉(zhuǎn)儲(chǔ)、抽取、整合等而帶來的延遲。

有效的預(yù)測分析技術(shù)，尤其是實(shí)時(shí)分析對(duì)企業(yè)的決策有很大的幫助。例如，超市可以根據(jù)龐大的用戶歷史消費(fèi)記錄來預(yù)測某一用戶下次購買商品的傾向，從而在結(jié)賬的時(shí)候可以專門針對(duì)某一用戶打印其關(guān)心的優(yōu)惠券。足球隊(duì)管理層可以根據(jù)用戶的購票記錄為其推薦更人性化的月票、季票等套票。

目前，像SAS、SPSS等傳統(tǒng)數(shù)據(jù)分析軟件因其數(shù)據(jù)處理能力受限于單機(jī)的計(jì)算能力，對(duì)大數(shù)據(jù)的處理顯得力不從心。IBM Netezza等新興的數(shù)據(jù)分析軟件往往需要支付昂貴的許可費(fèi)用，因此Hadoop，MapReduce，R等開源的大數(shù)據(jù)分析工具受到越來越多的關(guān)注和青睞。

相比于商業(yè)軟件，開源軟件完全免費(fèi)且不需要支付昂貴的許可費(fèi)用，另外在其背后還擁有龐大的開源團(tuán)隊(duì)的支持。但是能否完全跟得上市場的需求和發(fā)展速度是關(guān)鍵性的問題，畢竟這些軟件不像商業(yè)軟件那樣有巨大的利益驅(qū)動(dòng)推動(dòng)它們的發(fā)展。

數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼

若不方便掃碼，搜微信號(hào)：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請(qǐng)參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }