99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀Hadoop系列文章之三：技術(shù)未來
Hadoop系列文章之三：技術(shù)未來
2014-12-26
收藏
Hadoop的未來如何，一個重要的影響因素是技術(shù)的更新和進步。從最近幾年Hadoop和其他大數(shù)據(jù)相關(guān)技術(shù)的發(fā)展，我們可以看出一些端倪。 

數(shù)據(jù)存儲 – 前景樂觀 

    從文件存儲技術(shù)來看，HDFS穩(wěn)定而健壯，已然是海量文件存儲的實際標準。當然也有一些分布式文件存儲技術(shù)值得關(guān)注，如GlusterFS, Tachyon等等。但對HDFS尚不構(gòu)成實質(zhì)性的威脅。 

    相 比文件存儲的一家獨大，結(jié)構(gòu)化數(shù)據(jù)的存儲，目前呈現(xiàn)出的是百花齊放的局面。我們之前提到過，在Hadoop生態(tài)系統(tǒng)中，結(jié)構(gòu)化數(shù)據(jù)存儲最成熟的實現(xiàn)是 HBase。你可以把它想象成更靈活，可擴展性更強的MySQL。相比其他NoSQL數(shù)據(jù)庫如MongoDB和Cassandra的風風火火，HBase 相對低調(diào)。但個人認為HBase適用的范圍更廣，前景依然十分樂觀。對于NoSQL數(shù)據(jù)庫，我就不展開討論了，有興趣的可以參考NoSQL精粹一書。 

數(shù)據(jù)處理 – 面臨挑戰(zhàn) 

    從 數(shù)據(jù)處理來看，MapReduce已不再熱門。最本質(zhì)的原因是MapReduce的模型過于簡單。其后果是使得編程十分困難。一個簡單的word count程序也需要編寫很多MapReduce代碼。雖然有Pig和Cascade等等更高層語言工具的支持，但MapReduce編程總是一件頭疼的 事情。另外，簡單地模型使得特定數(shù)據(jù)處理的性能優(yōu)化十分困難。特別是像機器學習這樣需要反復多遍處理數(shù)據(jù)的應(yīng)用，文件讀寫成為瓶頸。目前，Spark以其 簡單高效的特性，大有取代MapReduce，成為通用數(shù)據(jù)處理引擎之勢。當然，Hadoop自己也推出了一些新的數(shù)據(jù)處理引擎，如 MRv2（YARN）、Tez，但未來恐怕還是Spark的。 

資源調(diào)配 – 充滿機遇 

    老 的MapReduce 的另一個問題是它的資源配給機制存在性能缺陷。為從根本上解決舊 MapReduce 框架的性能瓶頸，從 0.23.0 版本開始，Hadoop 的 MapReduce 框架完全重構(gòu)。新的 Hadoop MapReduce 框架命名為 MapReduceV2 或者叫 YARN。 

    雖 然YARN是為了MapReduce而生的，但是它實際上也是一個獨立的資源管理框架，所以理論上YARN上可以運行任何分布式應(yīng)用，YARN只是配給 CPU，內(nèi)存等資源。實際上，Spark，Storm等非Hadoop系的應(yīng)用都支持在YARN的框架中運行。這使得YARN成為Hadoop“招安”其 他大數(shù)據(jù)應(yīng)用成為可能。當然，YARN也不是穩(wěn)坐泰山，Mesos是一個不可忽視的競爭者，Mesosphere很快就要發(fā)布他們的數(shù)據(jù)中心操作系統(tǒng)，看 看它的Demo就知道未來資源調(diào)配是這么回事了。 

    從Hadoop對文件存儲和資源調(diào)配支持的發(fā)展趨勢，我們可以想象，未來Hadoop應(yīng)該像今天操作系統(tǒng)一樣，成為更底層的基礎(chǔ)設(shè)施。 

結(jié)語 

    Hadoop 作為大數(shù)據(jù)的平臺和生態(tài)系統(tǒng)，已經(jīng)過了瘋漲期，步入穩(wěn)步理性增長的階段。未來，和其他技術(shù)一樣，面臨著自身新陳代謝和周遭新技術(shù)的挑戰(zhàn)。開源社區(qū)能夠繁榮 的不二法門是有更好的程序，更多人使用，更多人貢獻，如此良性循環(huán)。希望Hadoop的持續(xù)繁榮，可以使各個領(lǐng)域的中小企業(yè)也能夠輕松愉快地處理海量的數(shù)據(jù)。 
 
原文鏈接：http://blog.csdn.net/tongqqiu/article/details/42138329

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個參數(shù)驗證碼對象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務(wù)器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }