99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁職業(yè)發(fā)展讓大數(shù)據(jù)更實(shí)時(shí)和可視化_數(shù)據(jù)分析師
讓大數(shù)據(jù)更實(shí)時(shí)和可視化_數(shù)據(jù)分析師
2014-12-09
收藏

讓大數(shù)據(jù)更實(shí)時(shí)和可視化_數(shù)據(jù)分析師

2014年12月12-14日，由中國計(jì)算機(jī)學(xué)會(huì)（CCF）主辦，CCF大數(shù)據(jù)專家委員會(huì)承辦，中科院計(jì)算所與CSDN共同協(xié)辦的  2014中國大數(shù)據(jù)技術(shù)大會(huì) 將在北京新云南皇冠假日酒店拉開帷幕。大會(huì)為期三天，以推進(jìn)行業(yè)應(yīng)用中的大數(shù)據(jù)技術(shù)發(fā)展為主旨，擬設(shè)立“大數(shù)據(jù)基礎(chǔ)設(shè)施”、“大數(shù)據(jù)生態(tài)系統(tǒng)”、“大數(shù)據(jù)技術(shù)”、“大數(shù)據(jù)應(yīng)用”、“大數(shù)據(jù)互聯(lián)網(wǎng)金融技術(shù)”、“智能信息處理”等多場(chǎng)主題論壇與行業(yè)峰會(huì)。由中國計(jì)算機(jī)學(xué)會(huì)主辦，CCF大數(shù)據(jù)專家委員會(huì)承辦，南京大學(xué)與復(fù)旦大學(xué)協(xié)辦的“2014年第二屆CCF大數(shù)據(jù)學(xué)術(shù)會(huì)議”也將同時(shí)召開，并與技術(shù)大會(huì)共享主題報(bào)告。

本次大會(huì)將邀請(qǐng)近100位國外大數(shù)據(jù)技術(shù)領(lǐng)域頂尖專家與一線實(shí)踐者，深入討論Hadoop、YARN、Spark、Tez、 HBase、Kafka、OceanBase等開源軟件的最新進(jìn)展，NoSQL/NewSQL、內(nèi)存計(jì)算、流計(jì)算和圖計(jì)算技術(shù)的發(fā)展趨勢(shì)，OpenStack生態(tài)系統(tǒng)對(duì)于大數(shù)據(jù)計(jì)算需求的思考，以及大數(shù)據(jù)下的可視化、機(jī)器學(xué)習(xí)/深度學(xué)習(xí)、商業(yè)智能、數(shù)據(jù)分析等的最新業(yè)界應(yīng)用，分享實(shí)際生產(chǎn)系統(tǒng)中的技術(shù)特色和實(shí)踐經(jīng)驗(yàn)。

攜程資深軟件工程師廖曉格將在“大數(shù)據(jù)技術(shù)”分論壇帶來“讓大數(shù)據(jù)更實(shí)時(shí)和可視化”的演講。大數(shù)據(jù)不僅是數(shù)據(jù)規(guī)模大，而且最好能實(shí)時(shí)查看和分析。 實(shí)時(shí)和可視化拉近了大數(shù)據(jù)與普通用戶的距離，更加貼近業(yè)務(wù)需要。攜程在大數(shù)據(jù)實(shí)時(shí)和可視化方面做了不少努力，實(shí)現(xiàn)了以下目標(biāo)，廖曉格將在演講中分享攜程在其中的經(jīng)驗(yàn)和技術(shù)：

  1. 通過hbase、storm、spark、yarn等hadoop生態(tài)圈整合公司應(yīng)用（dashboard、clog、ubt、BI），讓數(shù)據(jù)更加實(shí)時(shí)，更加可視化；
  2. 實(shí)時(shí)查看整個(gè)公司各種指標(biāo)的變化；
  3. 實(shí)時(shí)收集、查看全網(wǎng)站所有日志；
  4. 實(shí)時(shí)統(tǒng)計(jì)用戶行為數(shù)據(jù)（PV，性能，轉(zhuǎn)化率等）；
  5. 實(shí)時(shí)反爬蟲；
  6. 快速執(zhí)行adhoc查詢。

廖曉格，攜程資深軟件工程師


有6年Hadoop相關(guān)應(yīng)用開發(fā)經(jīng)驗(yàn)，先后在PPTV，eBay，攜程參與開發(fā)過相應(yīng)大數(shù)據(jù)平臺(tái)相關(guān)應(yīng)用，目前在攜程Data Infrastructure team負(fù)責(zé)大數(shù)據(jù)平臺(tái)的運(yùn)維和開發(fā)工作。

CSDN：你所在的公司，都曾使用過哪些大數(shù)據(jù)技術(shù)？你對(duì)這些技術(shù)滿意的地方和不滿意的地方分別有什么？

廖曉格：我們公司比較重視大數(shù)據(jù)技術(shù)，我們主要使用的技術(shù)是Hadoop生態(tài)環(huán)境的各種開源框架，storm，spark等。滿意的地方是他們都是開源的，所以遇到問題的時(shí)候總會(huì)找到解決方案，而且社區(qū)也很活躍， 能夠獲得很多幫助。同時(shí)也會(huì)遇到很多bug，需要對(duì)使用的框架很了解，才能很好的使用它，幸虧我們有很強(qiáng)大的運(yùn)維和開發(fā)團(tuán)隊(duì)支持，不斷優(yōu)化，不斷解決問題。

CSDN：根據(jù)你的了解，目前類似的企業(yè)中，在數(shù)據(jù)方面，遇到的最大困難是什么？

廖曉格：據(jù)我了解，每個(gè)公司都有很多數(shù)據(jù)，每天T級(jí)或P級(jí)的數(shù)據(jù)，但是大部分都是搞技術(shù)的不懂業(yè)務(wù)，搞業(yè)務(wù)的不懂技術(shù)，這樣就不會(huì)很快很有效率的利用數(shù)據(jù)來幫助業(yè)務(wù)，所以讓大數(shù)據(jù)可視化很重要，業(yè)務(wù)人員可以很方便的獲取他們想要的數(shù)據(jù)，可以省去很多溝通的成本。

CSDN：在大數(shù)據(jù)領(lǐng)域，目前還有哪些技術(shù)是你正在觀察和研究的，為什么你看好這些技術(shù)？

廖曉格：Storm，Streaming流式計(jì)算和Spark是我現(xiàn)在正在觀察和研究的，互聯(lián)網(wǎng)的競(jìng)爭(zhēng)壓力很大，所以很多東西要快，誰比較快就占領(lǐng)了優(yōu)勢(shì)，大數(shù)據(jù)也一樣，數(shù)據(jù)早點(diǎn)出來，業(yè)務(wù)就可以早點(diǎn)做決策。我們也是不斷改進(jìn)，不斷往這個(gè)目標(biāo)前進(jìn)。

CSDN：請(qǐng)談?wù)勀阍谶@次大會(huì)上即將分享的話題。

廖曉格：我分享的是Make big data visualizable and real-time，讓大數(shù)據(jù)更加實(shí)時(shí)和可視化，攜程每天上T的數(shù)據(jù)都是實(shí)時(shí)從網(wǎng)站，手機(jī)等各種應(yīng)用端流到服務(wù)端，如果沒有可視化，根本不知道用戶發(fā)生什么行為，哪個(gè)產(chǎn)品用戶更加喜歡。如果計(jì)算很慢，我們將會(huì)不能給用戶很好的反饋，不能及時(shí)發(fā)現(xiàn)和解決各種應(yīng)用端遇到的各種問題，這樣就不能給用戶很好的體驗(yàn)，將會(huì)流失大量的用戶。我們目標(biāo)在第一時(shí)間為用戶提供最優(yōu)的服務(wù)。本文來源：CDA數(shù)據(jù)分析師官網(wǎng)

數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼

若不方便掃碼，搜微信號(hào)：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測(cè)極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請(qǐng)參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }