99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁(yè)職業(yè)發(fā)展京東大數(shù)據(jù)平臺(tái)的技術(shù)創(chuàng)新_數(shù)據(jù)分析師培訓(xùn)
京東大數(shù)據(jù)平臺(tái)的技術(shù)創(chuàng)新_數(shù)據(jù)分析師培訓(xùn)
2015-03-28
收藏

京東大數(shù)據(jù)平臺(tái)的技術(shù)創(chuàng)新_數(shù)據(jù)分析師培訓(xùn)


當(dāng)前，業(yè)界對(duì)大數(shù)據(jù)處理的技術(shù)方案幾乎已經(jīng)形成一套通用的技術(shù)架構(gòu)。然而，結(jié)合不同的行業(yè)及不同的實(shí)際業(yè)務(wù)需求，大數(shù)據(jù)平臺(tái)建設(shè)所用核心技術(shù)依然需要付出一定的研發(fā)投入來實(shí)現(xiàn)定向的技術(shù)突破與應(yīng)用。京東大數(shù)據(jù)平臺(tái)搭建過程中，遵從“大處著眼，小處著手”的原則，在通用的開源技術(shù)架構(gòu)基礎(chǔ)上進(jìn)行定制開發(fā)和產(chǎn)品化，從技術(shù)和產(chǎn)品兩個(gè)層面實(shí)現(xiàn)微創(chuàng)新和突破性創(chuàng)新，打造堅(jiān)實(shí)的平臺(tái)基礎(chǔ)。

技術(shù)微創(chuàng)新主要體現(xiàn)在平臺(tái)的基礎(chǔ)架構(gòu)上，通過對(duì)Hadoop分布式技術(shù)的深入學(xué)習(xí)，緊密結(jié)合京東業(yè)務(wù)實(shí)踐，在本地化部署過程中實(shí)現(xiàn)多項(xiàng)創(chuàng)新：

1.支持多租戶間隊(duì)列資源動(dòng)態(tài)調(diào)配；

2.開發(fā)自定義的HDFS存儲(chǔ)格式，及加密/解密和驗(yàn)證框架；

3.開發(fā)Thirdnamenode，實(shí)現(xiàn)災(zāi)備及異常操作監(jiān)控；

4.針對(duì)HDFS，開發(fā)一套基于用戶，群組，角色的細(xì)粒度的權(quán)限控制管理系統(tǒng)；

5.針對(duì)Hadoop量身打造啄木鳥監(jiān)控和優(yōu)化平臺(tái)；

產(chǎn)品層面的突破性創(chuàng)新主要體現(xiàn)在大數(shù)據(jù)管理應(yīng)用，包括：

1.自主研發(fā)面向復(fù)雜業(yè)務(wù)模型的海量數(shù)據(jù)生產(chǎn)調(diào)度管理平臺(tái)；

2.自主研發(fā)打通廣告點(diǎn)擊與頁(yè)面瀏覽的日志分析平臺(tái)，同時(shí)也支持實(shí)時(shí)反作弊和用戶模型研究；

3.免推送至關(guān)系型數(shù)據(jù)庫(kù)直接基于文件系統(tǒng)生成報(bào)表的前端展現(xiàn)平臺(tái)；

4.綜合多種開源技術(shù)全新打造的流式計(jì)算平臺(tái)；

5.自主算法的數(shù)據(jù)挖掘平臺(tái)；

6.融合多產(chǎn)品功能的移動(dòng)應(yīng)用；

在基礎(chǔ)架構(gòu)方面，京東大數(shù)據(jù)平臺(tái)是基于云計(jì)算的動(dòng)態(tài)彈性平臺(tái)，采用了Hadoop分布式計(jì)算技術(shù)，可做到快速的橫向擴(kuò)展。平臺(tái)計(jì)算技術(shù)的實(shí)現(xiàn)分為離線計(jì)算模塊與實(shí)時(shí)計(jì)算模塊，基于海量數(shù)據(jù)查詢的計(jì)算正由離線逐步過渡到即時(shí)查詢，數(shù)據(jù)洞察的能力更加及時(shí)有效。

在軟件架構(gòu)方面，基于Hadoop自主開發(fā)的大數(shù)據(jù)平臺(tái)，已為京東提供了高性能、高保障、高可用的通用服務(wù)，為京東數(shù)據(jù)科學(xué)家、數(shù)據(jù)分析師、數(shù)據(jù)挖掘工程師等提供了強(qiáng)有力的支撐，通過友好的交互設(shè)計(jì)和功能定制大幅降低了數(shù)據(jù)的消費(fèi)門檻，讓數(shù)據(jù)應(yīng)用更簡(jiǎn)單、高效。

在業(yè)務(wù)模型方面，京東作為電商行業(yè)的領(lǐng)先者，擁有從流量、倉(cāng)儲(chǔ)、采購(gòu)、銷售、配送，售后、商品等全鏈路的超優(yōu)質(zhì)結(jié)構(gòu)化電商數(shù)據(jù)。在業(yè)務(wù)模型的設(shè)計(jì)與開發(fā)方面，將傳統(tǒng)業(yè)務(wù)主題模型進(jìn)行了全方面的優(yōu)化與創(chuàng)新，讓電商主題模型更加清晰，開發(fā)更加高效。主題模型目前已經(jīng)經(jīng)受住了復(fù)雜的京東業(yè)務(wù)，尤其是在京東業(yè)務(wù)系統(tǒng)頻繁變更的今天，更是發(fā)揮著越來越重要的作用。

在人員配備與人才培養(yǎng)方面，京東復(fù)雜的業(yè)務(wù)對(duì)京東數(shù)據(jù)工程師要求更高，甚至苛刻。京東目前擁有多名數(shù)據(jù)科學(xué)家和近百名高級(jí)數(shù)據(jù)開發(fā)工程師。并通過“大數(shù)據(jù)平臺(tái)認(rèn)證”項(xiàng)目，從分布式開發(fā)技術(shù)、HSQL優(yōu)化、產(chǎn)品使用、業(yè)務(wù)模型四個(gè)方面進(jìn)行專項(xiàng)技能培訓(xùn)，保證了在技術(shù)與產(chǎn)品迅猛改進(jìn)的同時(shí)，為京東培養(yǎng)了更多的非數(shù)據(jù)序列的員工，通過智能數(shù)據(jù)分析平臺(tái)，協(xié)助業(yè)務(wù)人員更有效地解決實(shí)際業(yè)務(wù)問題。目前大數(shù)據(jù)認(rèn)證項(xiàng)目，已經(jīng)為京東輸出了數(shù)百名合格的數(shù)據(jù)工程師和數(shù)據(jù)分析師。

數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼

若不方便掃碼，搜微信號(hào)：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測(cè)極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請(qǐng)參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }