99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀整天看用戶埋點(diǎn)數(shù)據(jù)，知道數(shù)據(jù)是咋來的嗎?
整天看用戶埋點(diǎn)數(shù)據(jù)，知道數(shù)據(jù)是咋來的嗎?
2016-03-06
收藏

整天看用戶埋點(diǎn)數(shù)據(jù)，知道數(shù)據(jù)是咋來的嗎?

我們平時(shí)看到的報(bào)表復(fù)雜而多樣，能夠通過多種緯度的數(shù)據(jù)評(píng)估用戶的使用習(xí)慣和對(duì)應(yīng)功能的價(jià)值。然而這些報(bào)表是如何產(chǎn)生的呢?今天咱們就看看上報(bào)數(shù)據(jù)一步一步變成報(bào)表的大致流程。

所有上報(bào)的數(shù)據(jù)都是為了記錄一次事件的發(fā)生或者描述一個(gè)狀態(tài)，具體的上報(bào)數(shù)據(jù)可以設(shè)計(jì)為KEY-VALUE的形式或者數(shù)據(jù)組合的形式。KEY-VALUE的形式主要用來統(tǒng)計(jì)簡(jiǎn)單的計(jì)數(shù)類上報(bào)，如按鈕點(diǎn)擊的次數(shù)，某個(gè)選項(xiàng)的值等，KEY用來區(qū)分不同的事件，VALUE代表事件發(fā)生的次數(shù)、狀態(tài)值等;數(shù)據(jù)組合的主要用來描述一個(gè)事件或者狀態(tài)需要多種屬性描述的場(chǎng)景，比如下載成功事件，描述這個(gè)事件的數(shù)據(jù)組合可能包括對(duì)應(yīng)的下載地址、下載渠道來源、下載耗時(shí)等信息。
當(dāng)上報(bào)數(shù)據(jù)設(shè)計(jì)好后，后續(xù)的工作才能正常開展。下面一步一步說。
1、埋點(diǎn)
        所謂「埋點(diǎn)」，就是在正常的功能邏輯中添加統(tǒng)計(jì)邏輯。拿統(tǒng)計(jì)微信右上角「+」的點(diǎn)擊次數(shù)為例，上報(bào)的數(shù)據(jù)可以采用KEY-VALUE形式，我們定義KEY為「CLICK_ADD_BTN」，VALUE的值為點(diǎn)擊的次數(shù)。當(dāng)用戶點(diǎn)擊「+」時(shí)，展示菜單的代碼會(huì)通過按鈕的「回調(diào)」(詳見《聊聊同步、異步和回調(diào)》)來觸發(fā)執(zhí)行，程序猿在業(yè)務(wù)代碼執(zhí)行完后，又加上了統(tǒng)計(jì)代碼，把「CLICK_ADD_BTN」對(duì)應(yīng)的VALUE加1，「+」被統(tǒng)計(jì)到了一次使用。
　2、上報(bào)
       并不是每統(tǒng)計(jì)到一次事件或者狀態(tài)就會(huì)發(fā)起數(shù)據(jù)上報(bào)，客戶端統(tǒng)計(jì)到的數(shù)據(jù)會(huì)先暫時(shí)存儲(chǔ)在內(nèi)存或者磁盤上，當(dāng)用戶啟動(dòng)、退出應(yīng)用程序的時(shí)候，或者在其他更合適的時(shí)機(jī)，將當(dāng)前周期統(tǒng)計(jì)到的事件批量上報(bào)到服務(wù)器，這樣做的目的主要是考慮到與服務(wù)器多次建立連接的性能損耗(詳見《不得不知的TCP和UDP》)和流量問題(相同大小的數(shù)據(jù)分多次發(fā)送比一次發(fā)送要消耗更多流量)，另外客戶端在上報(bào)具體的統(tǒng)計(jì)事件之外，還會(huì)將標(biāo)識(shí)用戶的ID一并上報(bào)，后續(xù)用于計(jì)算用戶相關(guān)的數(shù)據(jù)如日使用用戶和留存率等。
　3、后臺(tái)記錄日志
       數(shù)據(jù)上報(bào)到服務(wù)器后，服務(wù)器會(huì)將客戶端上報(bào)的原始數(shù)據(jù)存儲(chǔ)到服務(wù)器的磁盤中。一般來說，非強(qiáng)實(shí)時(shí)性的數(shù)據(jù)上報(bào)到服務(wù)器后，并不會(huì)立即參與計(jì)算，獲得最終的統(tǒng)計(jì)結(jié)果，比如一個(gè)功能的日使用次數(shù)，日用戶數(shù)，日留存等數(shù)據(jù)，而是等到服務(wù)器負(fù)載較低的時(shí)間段利用預(yù)先配置的計(jì)劃任務(wù)進(jìn)行離線處理。這樣處理的目的是為了節(jié)約服務(wù)器資源(錢)，因?yàn)榇蠹铱隙ú幌胍驗(yàn)橛?jì)算統(tǒng)計(jì)數(shù)據(jù)而影響實(shí)時(shí)業(yè)務(wù)的處理效率。
　　4、計(jì)算&入庫
\
hive報(bào)表中展示的數(shù)據(jù)，并不是客戶端上報(bào)的原始數(shù)據(jù)，比如「+」的使用次數(shù)、使用用戶數(shù)、日留存率這三組數(shù)據(jù)，都是通過對(duì)客戶端上報(bào)的「CLICK_ADD_BTN」對(duì)應(yīng)VALUE值的累加并結(jié)合上報(bào)用戶ID二次計(jì)算得出的。
如果我們的產(chǎn)品達(dá)到微信這種日登陸數(shù)五六億，那么每天上報(bào)的統(tǒng)計(jì)數(shù)據(jù)將是海量的，為了從這種海量的數(shù)據(jù)中計(jì)算出「+」的使用次數(shù)、使用用戶數(shù)等信息，就需要用到「數(shù)據(jù)倉庫工具」，比如當(dāng)下流行的Hive處理工具，它基于Hadoop分布式系統(tǒng)基礎(chǔ)框架，利用計(jì)算機(jī)集群的能力進(jìn)行分布式計(jì)算。當(dāng)「數(shù)據(jù)倉庫工具」計(jì)算出最終的結(jié)果后，計(jì)劃任務(wù)會(huì)將結(jié)果(「+」的日使用次數(shù)、日使用用戶數(shù)等數(shù)據(jù))保存到數(shù)據(jù)庫中，也就是「入庫」過程?！溉霂臁购蟮臄?shù)據(jù)才能與前端對(duì)接，組成報(bào)表展示系統(tǒng)。
一般情況下，原始數(shù)據(jù)經(jīng)過數(shù)據(jù)倉庫工具處理后，對(duì)應(yīng)的日志文件還會(huì)在服務(wù)器上保留一段時(shí)間(一般3~7天)，以便追溯統(tǒng)計(jì)問題，所以，如果發(fā)現(xiàn)統(tǒng)計(jì)數(shù)據(jù)有問題問題，一定要及時(shí)反饋給負(fù)責(zé)的程序猿，否則就會(huì)「死」無對(duì)證咯。
　　5、展示
入庫
 
入庫當(dāng)數(shù)據(jù)「入庫」后，報(bào)表的展示就水到渠成了。報(bào)表系統(tǒng)通過前端頁面用戶的輸入獲取查詢條件，然后通過后臺(tái)數(shù)據(jù)庫查詢獲得結(jié)果，在前端展示出來。
這里只是簡(jiǎn)述了埋點(diǎn)數(shù)據(jù)上報(bào)、統(tǒng)計(jì)的大致流程，每個(gè)過程中還有很多細(xì)節(jié)要解決，如后臺(tái)日志亂碼問題、客戶端異常導(dǎo)致數(shù)據(jù)丟失等。一旦數(shù)據(jù)出現(xiàn)問題，經(jīng)常需要聯(lián)系各方人員定位原因。在此呼吁廣大的產(chǎn)品大蝦一定要關(guān)心、愛護(hù)為你做統(tǒng)計(jì)需求的程序猿，他們上輩子都是偷了蟠桃的孫悟空。

數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼

若不方便掃碼，搜微信號(hào)：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測(cè)極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請(qǐng)參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }