99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁職業(yè)發(fā)展給hadoop新手的一封信_(tái)數(shù)據(jù)分析師
給hadoop新手的一封信_(tái)數(shù)據(jù)分析師
2014-11-14
收藏

給hadoop新手的一封信_(tái)數(shù)據(jù)分析師

 大數(shù)據(jù)的世界正在穩(wěn)步發(fā)展壯大。隨著數(shù)據(jù)數(shù)量和種類的不斷膨脹，讀者都想知道接下來會(huì)發(fā)生什么。Sriram Mohan博士是羅斯豪曼理工學(xué)院計(jì)算機(jī)科學(xué)和軟件工程的副教授。同時(shí)他還兼任著Avalon咨詢公司大數(shù)據(jù)解決方案高級(jí)顧問一職。他融匯理論與實(shí)踐于一身，他絕對(duì)是回答“2014年企業(yè)大數(shù)據(jù)發(fā)展趨勢(shì)”的正確人選。下面是他的一些獨(dú)到見解。

Sriram說，“Hadoop和MapReduce模式絕對(duì)是解決大數(shù)據(jù)問題的方式之一。但你需要記住的是，按照目前的情況來看，Hadoop僅僅是對(duì)于批處理來說比較好。相信很快，我們同時(shí)需要能夠?qū)崟r(shí)處理這些數(shù)據(jù)?！弊鳛橐幻?a href='/map/hadoop/' style='color:#000;font-size:inherit;'>Hadoop顧問的Sriram并不是說這種無處不在的平臺(tái)速度緩慢。使用這樣一個(gè)強(qiáng)大的框架，大量數(shù)據(jù)可能在一分鐘之內(nèi)就處理完，但是那并不總是足夠好。如何解決這個(gè)問題呢?

Hortonworks公司戰(zhàn)略副總裁Shaun Connolly指出， Hadoop一直不斷的變得更快更靈活。 “我們現(xiàn)在越來越明確的要求優(yōu)化Hadoop使用的NoSQL數(shù)據(jù)庫。它可以利用內(nèi)存處理，這樣請(qǐng)求就能更快的返回，而不使用批量處理。如果使用YARN，你其實(shí)可以基于內(nèi)存做更多的交互式查詢?！背酥?，還有一個(gè)熱潮興起的流式分析工具或過程依賴于像Storm這樣的技術(shù)，開發(fā)人員就可以使用YARN這樣的架構(gòu)嵌入到Hadoop里面去。如今使用Hadoop的大數(shù)據(jù)用戶都在研究近實(shí)時(shí)性能。然而，這并不是100%的實(shí)時(shí)，一個(gè)重要的區(qū)別在于，當(dāng)組織使用計(jì)算機(jī)來做瞬間快速?zèng)Q定的時(shí)候，必須參照很久以前的分析報(bào)告，而這些可能已經(jīng)被人為破壞。

這個(gè)時(shí)候LAMBDA架構(gòu)就有了用武之地。它允許企業(yè)組織從他們大量數(shù)據(jù)中分離出增量數(shù)據(jù)進(jìn)行單獨(dú)處理。大部分的數(shù)據(jù)都進(jìn)入到批處理系統(tǒng)中，而一個(gè)叫做“速度層”的對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)處理。NoSQL數(shù)據(jù)庫(他們中的大部分)都有自己的生態(tài)系統(tǒng)，因?yàn)樗鼈兲峁┝藢ｉT的工具來管理數(shù)據(jù)，以適應(yīng)特定案例。

整合將至關(guān)重要，但沒有一個(gè)工具對(duì)大家都有效

說到向Hadoop提供援助之手，精心設(shè)計(jì)的工具正在以驚人的速度在大數(shù)據(jù)空降急劇增加。 ElasticSearch，Pentaho，以及許多其他工具覆蓋了整個(gè)大數(shù)據(jù)生態(tài)系統(tǒng)不同細(xì)分市場(chǎng)。但下一個(gè)重要階段是如何讓他們能夠更好的協(xié)同工作。直到這個(gè)階段的到來，大數(shù)據(jù)的管理還將比較隨意。


當(dāng)然，這并不意味著一個(gè)集成產(chǎn)品將永遠(yuǎn)適合所有的商業(yè)模式。數(shù)據(jù)以多種形式出現(xiàn)，并且每個(gè)企業(yè)組織都希望利用這些信息做不同的事情。企業(yè)組織將需要使用各種不同的方式來處理他們的數(shù)據(jù)，根據(jù)數(shù)據(jù)的來源，格式，他們?yōu)槭裁词占?，他們希望如何存?chǔ)，他們想如何分析，還有他們需要以多快的速度來處理。我們希望在整合的同時(shí)仍然保持模塊化。這將允許企業(yè)為自己獨(dú)有的使用案例創(chuàng)建合適的工具時(shí)無需每次都重新開發(fā)。

熟悉大數(shù)據(jù)技術(shù)的軟件工程師將會(huì)有很大的需求

Mohan指出，在大數(shù)據(jù)空間最顯著的挑戰(zhàn)之一，應(yīng)該是與微乎其微的人才庫相關(guān)?！皳碛羞@方面經(jīng)驗(yàn)的人才數(shù)量并不多?！边@并不意味著軟件工程師需要去上學(xué)并獲得博士學(xué)位。技術(shù)工人并不需要一個(gè)博士學(xué)位來理解大數(shù)據(jù)。然而，他們確實(shí)需要掌握知識(shí)和專業(yè)技能。Sriram說，這個(gè)目標(biāo)是任何一個(gè)愿意投入時(shí)間和精力的軟件工程師都可以實(shí)現(xiàn)的。課堂上不一定是唯一的起點(diǎn)。經(jīng)歷努力實(shí)現(xiàn)關(guān)系型數(shù)據(jù)庫規(guī)模并且過渡到非關(guān)系型數(shù)據(jù)庫，讓其都為掌握大數(shù)據(jù)問題奠定堅(jiān)實(shí)的基礎(chǔ)。

Mohan博士正在做的是，為當(dāng)今的軟件工程師準(zhǔn)備未來的工作世界。他將在波士頓的Big Data TechCon提供兩個(gè)教育機(jī)會(huì)：Hadoop的數(shù)據(jù)傳輸工具和MapReduce介紹。對(duì)于那些想要在未來幾年成為就業(yè)市場(chǎng)高需求人才的人，現(xiàn)在就是開始時(shí)間。(文章來源：http://cda.pinggu.org/)

數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼

若不方便掃碼，搜微信號(hào)：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測(cè)極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請(qǐng)參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }