99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀大數(shù)據(jù)存儲(chǔ)服務(wù)選擇指南 何謂大數(shù)據(jù)
大數(shù)據(jù)存儲(chǔ)服務(wù)選擇指南 何謂大數(shù)據(jù)
2017-04-20
收藏

大數(shù)據(jù)存儲(chǔ)服務(wù)選擇指南 何謂大數(shù)據(jù)

　磁盤存儲(chǔ)就像是衣櫥，永遠(yuǎn)不夠用，在大數(shù)據(jù)時(shí)代，這一點(diǎn)尤為突出?！?a href="http://www.3lll3.cn/view/20992.html" target="_blank">大數(shù)據(jù)”意味著需要比傳統(tǒng)存儲(chǔ)平臺(tái)處理更多的數(shù)據(jù)。那么這對(duì)于CIO意味著什么呢?意味著他們將需要做出更多的努力，而可供參考的信息卻很少。

不過，在為大數(shù)據(jù)選擇存儲(chǔ)服務(wù)時(shí)也并不是完全無跡可尋。

何謂大數(shù)據(jù)

首先，我們需要清楚大數(shù)據(jù)與其他類型數(shù)據(jù)的區(qū)別以及與之相關(guān)的技術(shù)(主要是分析應(yīng)用程序)。大數(shù)據(jù)本身意味著非常多需要使用標(biāo)準(zhǔn)存儲(chǔ)技術(shù)來處理的數(shù)據(jù)。大數(shù)據(jù)可能由TB級(jí)(或者甚至PB級(jí))信息組成，既包括結(jié)構(gòu)化數(shù)據(jù)(數(shù)據(jù)庫、日志、SQL等)以及非結(jié)構(gòu)化數(shù)據(jù)(社交媒體帖子、傳感器、多媒體數(shù)據(jù))。此外，大部分這些數(shù)據(jù)缺乏索引或者其他組織結(jié)構(gòu)，可能由很多不同文件類型組成。

由于這些數(shù)據(jù)缺乏一致性，使標(biāo)準(zhǔn)處理和存儲(chǔ)技術(shù)無計(jì)可施，而且運(yùn)營(yíng)開銷以及龐大的數(shù)據(jù)量使我們難以使用傳統(tǒng)的服務(wù)器和SAN方法來有效地進(jìn)行處理。換句話說，大數(shù)據(jù)需要不同的處理方法：自己的平臺(tái)，這也是Hadoop可以派上用場(chǎng)的地方。

Hadoop是一個(gè)開源分布式計(jì)算平臺(tái)，它提供了一種建立平臺(tái)的方法，這個(gè)平臺(tái)由標(biāo)準(zhǔn)化硬件(服務(wù)器和內(nèi)部服務(wù)器存儲(chǔ))組成，并形成集群能夠并行處理大數(shù)據(jù)請(qǐng)求。在存儲(chǔ)方面來看，這個(gè)開源項(xiàng)目的關(guān)鍵組成部分是Hadoop分布式文件系統(tǒng)(HDFS)，該系統(tǒng)具有跨集群中多個(gè)成員存儲(chǔ)非常大文件的能力。HDFS通過創(chuàng)建多個(gè)數(shù)據(jù)塊副本，然后將其分布在整個(gè)集群內(nèi)的計(jì)算機(jī)節(jié)點(diǎn)，這提供了方便可靠極其快速的計(jì)算能力。

從目前來看，為大數(shù)據(jù)建立足夠大的存儲(chǔ)平臺(tái)最簡(jiǎn)單的方法就是購買一套服務(wù)器，并為每臺(tái)服務(wù)器配備數(shù)TB級(jí)的驅(qū)動(dòng)器，然后讓Hadoop來完成余下的工作。對(duì)于一些規(guī)模較小的企業(yè)而言，可能只要這么簡(jiǎn)單。然而，一旦考慮處理性能、算法復(fù)雜性和數(shù)據(jù)挖掘，這種方法可能不一定能夠保證成功。

你的存儲(chǔ)架構(gòu)

這一切都?xì)w結(jié)到所涉及的存儲(chǔ)結(jié)構(gòu)和網(wǎng)絡(luò)性能。對(duì)于經(jīng)常分析大數(shù)據(jù)的企業(yè)而言，可能需要一個(gè)單獨(dú)的基礎(chǔ)設(shè)施，因?yàn)殡S著集群中計(jì)算節(jié)點(diǎn)的數(shù)量的增長(zhǎng)，帶寬開銷也會(huì)增長(zhǎng)。通常情況下，使用HDFS的多模計(jì)算集群在處理大數(shù)據(jù)時(shí)將會(huì)產(chǎn)生大量流量。這是因?yàn)?a href='/map/hadoop/' style='color:#000;font-size:inherit;'>Hadoop在集群的成員服務(wù)器間傳輸數(shù)據(jù)(以及計(jì)算資源)。

在大多數(shù)情況下，基于服務(wù)器的本地存儲(chǔ)并沒有高效率的優(yōu)點(diǎn)，這也是為什么很多企業(yè)轉(zhuǎn)向使用高速光纖結(jié)構(gòu)的SAN來最大限度地提高吞吐量。然而，SAN方法本身并不一定適合大數(shù)據(jù)部署。尤其是那些使用Hadoop的大數(shù)據(jù)部署，因?yàn)镾AN承擔(dān)集中硬盤上數(shù)據(jù)的責(zé)任，這反過來意味著每個(gè)計(jì)算服務(wù)器將需要訪問相同的SAN來恢復(fù)正態(tài)分布的數(shù)據(jù)。

然而，當(dāng)比較本地服務(wù)器存儲(chǔ)和基于SAN的存儲(chǔ)時(shí)，本地存儲(chǔ)在兩個(gè)方面占據(jù)優(yōu)勢(shì)：成本和整體性能。簡(jiǎn)而言之，沒有在每個(gè)計(jì)算成員放置RAID的原始磁盤在處理HDFS請(qǐng)求時(shí)將勝過SAN，然而，基于服務(wù)器的磁盤存在缺點(diǎn)，主要是在可擴(kuò)展性方面。

問題是當(dāng)服務(wù)器依賴于本地存儲(chǔ)時(shí)，你如何在必要的時(shí)候增加更多的容量。通常，有兩種方式來處理這種困境。第一種方法是增加具有更多本地存儲(chǔ)的額外的服務(wù)器。第二種方法是增加集群服務(wù)器的容量。這兩種方法都需要購買和配置硬件，這將導(dǎo)致停機(jī)時(shí)間，可能還需要重新設(shè)計(jì)架構(gòu)。然而，無論使用哪種方法都要比向SAN增加容量要便宜，可以說，這是一個(gè)顯著的成本優(yōu)勢(shì)。

然而，當(dāng)涉及到Hadoop時(shí)，還有其他存儲(chǔ)選擇。例如，一些領(lǐng)先的存儲(chǔ)廠商都在建立專門針對(duì)Hadoop和大數(shù)據(jù)分析的存儲(chǔ)設(shè)備。這些供應(yīng)商包括EMC，目前提供Hadoop解決方案，例如GreenplumHDDataComputingAppliance。甲骨文正在考慮進(jìn)一步深化Exadata系列設(shè)備，提供計(jì)算能力以及高速存儲(chǔ)。

最后一個(gè)存儲(chǔ)選擇是云形式的存儲(chǔ)，Cloudera、微軟、Amazon和很多其他供應(yīng)商都在提供基于云的大數(shù)據(jù)解決方案，這些解決方案能夠提供處理能力、存儲(chǔ)和支持。

在選擇大數(shù)據(jù)存儲(chǔ)解決方案時(shí)需要考慮究竟需要多少空間，分析頻率如何以及需要處理什么類型的數(shù)據(jù)。這些因素，以及安全、預(yù)算和處理時(shí)間都是選擇大數(shù)據(jù)存儲(chǔ)解決方案時(shí)需要考慮的因素。

可能站在保險(xiǎn)的角度來看，一個(gè)試點(diǎn)項(xiàng)目可能是一個(gè)不錯(cuò)的開始，商品硬件也是大數(shù)據(jù)試點(diǎn)項(xiàng)目的低成本投資選擇。


數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼

若不方便掃碼，搜微信號(hào)：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測(cè)極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請(qǐng)參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }