99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀整天看用戶埋點數(shù)據(jù)，知道數(shù)據(jù)是咋來的嗎?
整天看用戶埋點數(shù)據(jù)，知道數(shù)據(jù)是咋來的嗎?
2016-03-06
收藏

整天看用戶埋點數(shù)據(jù)，知道數(shù)據(jù)是咋來的嗎?

我們平時看到的報表復(fù)雜而多樣，能夠通過多種緯度的數(shù)據(jù)評估用戶的使用習(xí)慣和對應(yīng)功能的價值。然而這些報表是如何產(chǎn)生的呢?今天咱們就看看上報數(shù)據(jù)一步一步變成報表的大致流程。

所有上報的數(shù)據(jù)都是為了記錄一次事件的發(fā)生或者描述一個狀態(tài)，具體的上報數(shù)據(jù)可以設(shè)計為KEY-VALUE的形式或者數(shù)據(jù)組合的形式。KEY-VALUE的形式主要用來統(tǒng)計簡單的計數(shù)類上報，如按鈕點擊的次數(shù)，某個選項的值等，KEY用來區(qū)分不同的事件，VALUE代表事件發(fā)生的次數(shù)、狀態(tài)值等;數(shù)據(jù)組合的主要用來描述一個事件或者狀態(tài)需要多種屬性描述的場景，比如下載成功事件，描述這個事件的數(shù)據(jù)組合可能包括對應(yīng)的下載地址、下載渠道來源、下載耗時等信息。
當(dāng)上報數(shù)據(jù)設(shè)計好后，后續(xù)的工作才能正常開展。下面一步一步說。
1、埋點
        所謂「埋點」，就是在正常的功能邏輯中添加統(tǒng)計邏輯。拿統(tǒng)計微信右上角「+」的點擊次數(shù)為例，上報的數(shù)據(jù)可以采用KEY-VALUE形式，我們定義KEY為「CLICK_ADD_BTN」，VALUE的值為點擊的次數(shù)。當(dāng)用戶點擊「+」時，展示菜單的代碼會通過按鈕的「回調(diào)」(詳見《聊聊同步、異步和回調(diào)》)來觸發(fā)執(zhí)行，程序猿在業(yè)務(wù)代碼執(zhí)行完后，又加上了統(tǒng)計代碼，把「CLICK_ADD_BTN」對應(yīng)的VALUE加1，「+」被統(tǒng)計到了一次使用。
　2、上報
       并不是每統(tǒng)計到一次事件或者狀態(tài)就會發(fā)起數(shù)據(jù)上報，客戶端統(tǒng)計到的數(shù)據(jù)會先暫時存儲在內(nèi)存或者磁盤上，當(dāng)用戶啟動、退出應(yīng)用程序的時候，或者在其他更合適的時機(jī)，將當(dāng)前周期統(tǒng)計到的事件批量上報到服務(wù)器，這樣做的目的主要是考慮到與服務(wù)器多次建立連接的性能損耗(詳見《不得不知的TCP和UDP》)和流量問題(相同大小的數(shù)據(jù)分多次發(fā)送比一次發(fā)送要消耗更多流量)，另外客戶端在上報具體的統(tǒng)計事件之外，還會將標(biāo)識用戶的ID一并上報，后續(xù)用于計算用戶相關(guān)的數(shù)據(jù)如日使用用戶和留存率等。
　3、后臺記錄日志
       數(shù)據(jù)上報到服務(wù)器后，服務(wù)器會將客戶端上報的原始數(shù)據(jù)存儲到服務(wù)器的磁盤中。一般來說，非強(qiáng)實時性的數(shù)據(jù)上報到服務(wù)器后，并不會立即參與計算，獲得最終的統(tǒng)計結(jié)果，比如一個功能的日使用次數(shù)，日用戶數(shù)，日留存等數(shù)據(jù)，而是等到服務(wù)器負(fù)載較低的時間段利用預(yù)先配置的計劃任務(wù)進(jìn)行離線處理。這樣處理的目的是為了節(jié)約服務(wù)器資源(錢)，因為大家肯定不想因為計算統(tǒng)計數(shù)據(jù)而影響實時業(yè)務(wù)的處理效率。
　　4、計算&入庫
\
hive報表中展示的數(shù)據(jù)，并不是客戶端上報的原始數(shù)據(jù)，比如「+」的使用次數(shù)、使用用戶數(shù)、日留存率這三組數(shù)據(jù)，都是通過對客戶端上報的「CLICK_ADD_BTN」對應(yīng)VALUE值的累加并結(jié)合上報用戶ID二次計算得出的。
如果我們的產(chǎn)品達(dá)到微信這種日登陸數(shù)五六億，那么每天上報的統(tǒng)計數(shù)據(jù)將是海量的，為了從這種海量的數(shù)據(jù)中計算出「+」的使用次數(shù)、使用用戶數(shù)等信息，就需要用到「數(shù)據(jù)倉庫工具」，比如當(dāng)下流行的Hive處理工具，它基于Hadoop分布式系統(tǒng)基礎(chǔ)框架，利用計算機(jī)集群的能力進(jìn)行分布式計算。當(dāng)「數(shù)據(jù)倉庫工具」計算出最終的結(jié)果后，計劃任務(wù)會將結(jié)果(「+」的日使用次數(shù)、日使用用戶數(shù)等數(shù)據(jù))保存到數(shù)據(jù)庫中，也就是「入庫」過程?！溉霂臁购蟮臄?shù)據(jù)才能與前端對接，組成報表展示系統(tǒng)。
一般情況下，原始數(shù)據(jù)經(jīng)過數(shù)據(jù)倉庫工具處理后，對應(yīng)的日志文件還會在服務(wù)器上保留一段時間(一般3~7天)，以便追溯統(tǒng)計問題，所以，如果發(fā)現(xiàn)統(tǒng)計數(shù)據(jù)有問題問題，一定要及時反饋給負(fù)責(zé)的程序猿，否則就會「死」無對證咯。
　　5、展示
入庫
 
入庫當(dāng)數(shù)據(jù)「入庫」后，報表的展示就水到渠成了。報表系統(tǒng)通過前端頁面用戶的輸入獲取查詢條件，然后通過后臺數(shù)據(jù)庫查詢獲得結(jié)果，在前端展示出來。
這里只是簡述了埋點數(shù)據(jù)上報、統(tǒng)計的大致流程，每個過程中還有很多細(xì)節(jié)要解決，如后臺日志亂碼問題、客戶端異常導(dǎo)致數(shù)據(jù)丟失等。一旦數(shù)據(jù)出現(xiàn)問題，經(jīng)常需要聯(lián)系各方人員定位原因。在此呼吁廣大的產(chǎn)品大蝦一定要關(guān)心、愛護(hù)為你做統(tǒng)計需求的程序猿，他們上輩子都是偷了蟠桃的孫悟空。

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個參數(shù)驗證碼對象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時表示是新驗證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }