99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀數(shù)據(jù)化運營方法論系列 | 大道至簡的數(shù)據(jù)治理方法論
數(shù)據(jù)化運營方法論系列 | 大道至簡的數(shù)據(jù)治理方法論
2016-03-27
收藏
引言：數(shù)據(jù)分析師的角色猶如一位大廚，原料有問題，大廚肯定烹飪不出色香味俱佳的大菜，數(shù)據(jù)有問題，數(shù)據(jù)分析師得出的結(jié)論自然也就不可靠。



如果一位大廚，剛剛眉飛色舞地給客人描繪了如何搭配一道色香味俱佳的大菜，甚至連炒菜的手法都一一交代了，當大廚備好了各種調(diào)料準備烹飪時，才發(fā)現(xiàn)所需的主要原料有問題。我們能清晰地看到大廚的臉上的囧字。

數(shù)據(jù)分析師的角色猶如一位大廚，原料有問題，大廚肯定烹飪不出色香味俱佳的大菜，數(shù)據(jù)有問題，數(shù)據(jù)分析師得出的結(jié)論自然也就不可靠，再好的數(shù)據(jù)分析方法論也只是建立在失真的數(shù)據(jù)基礎(chǔ)上，苦心構(gòu)建的數(shù)據(jù)體系當然也被白白浪費了。

過往的項目中，筆者也時常遇到這樣的情況，客戶用永洪科技的產(chǎn)品做了一些精美專業(yè)的數(shù)據(jù)報告，卻因數(shù)據(jù)不準而影響了報告的使用價值。



前兩篇文章筆者分別探討了面對數(shù)據(jù)指標如何分析，以及如何構(gòu)建系統(tǒng)化的數(shù)據(jù)體系，本文是“數(shù)據(jù)化運營方法論系列”文章的第三篇，重點探討的核心話題是——數(shù)據(jù)治理。

往期回顧


“數(shù)據(jù)化運營方法論系列”文章第一篇《大道至簡的數(shù)據(jù)分析方法論》鏈接：
http：//yonghongtech.com/html/news/company/2016/0129/460.html。

“數(shù)據(jù)化運營方法論系列”文章第二篇《大道至簡的數(shù)據(jù)體系構(gòu)建方法論》鏈接：http：//yonghongtech.com/html/news/media/2016/0308/466.html


數(shù)據(jù)治理是一項基礎(chǔ)工作，在很多人眼中是一項苦活兒累活兒，但是越是這樣的工作越是不能忽視，基礎(chǔ)打扎實了，上層建筑才會更穩(wěn)固。下面，筆者先從臟數(shù)據(jù)的種類及處理方法談起。

1.臟數(shù)據(jù)的種類及處理方法

首先，我們來了解一下臟數(shù)據(jù)的種類，明白我們可能會面對哪些問題。



1. 數(shù)據(jù)缺失：缺一些記錄或一條記錄里缺一些值（空值），或者兩者都缺。原因可能有很多種，系統(tǒng)導(dǎo)致的或人為導(dǎo)致的可能性都存在。如果有空值，為了不影響分析的準確性，要么不將空值納入分析范圍，要么進行補值。前者會減少分析的樣本量，后者需要根據(jù)分析的計算邏輯，選擇用平均數(shù)、零、或者等比例隨機數(shù)等來填補。如果是缺一些記錄，若業(yè)務(wù)系統(tǒng)中還有這些記錄，則通過系統(tǒng)再次導(dǎo)入，若業(yè)務(wù)系統(tǒng)也沒有這些記錄了，只能手工補錄或者放棄。

2. 數(shù)據(jù)重復(fù)：相同記錄出現(xiàn)多條，這種情況相對好處理，去掉重復(fù)記錄即可。但是怕就怕不完全重復(fù)，比如兩條會員記錄，其余值都一樣，就是住址不一樣，這就麻煩了，有時間屬性的還能判斷以新值為準，沒有時間屬性的就無從下手了，只能人工判斷處理。

3. 數(shù)據(jù)錯誤：數(shù)據(jù)沒有嚴格按照規(guī)范記錄。比如異常值，價格區(qū)間明明是100以內(nèi)，偏偏有價格=200的記錄；比如格式錯誤，日期格式錄成了字符串；比如數(shù)據(jù)不統(tǒng)一，有的記錄叫北京，有的叫BJ，有的叫beijing。對于異常值，可以通過區(qū)間限定來發(fā)現(xiàn)并排除；對于格式錯誤，需要從系統(tǒng)級別找原因；對于數(shù)據(jù)不統(tǒng)一，系統(tǒng)無能為力，因為它并不是真正的“錯誤”，系統(tǒng)并不知道BJ和beijing是同一事物，只能人工干預(yù)，做一張清洗規(guī)則表，給出匹配關(guān)系，第一列是原始值，第二列是清洗值，用規(guī)則表去關(guān)聯(lián)原始表，用清洗值做分析，再好一些的通過近似值算法自動發(fā)現(xiàn)可能不統(tǒng)一的數(shù)據(jù)。

4. 數(shù)據(jù)不可用：數(shù)據(jù)正確，但不可用。比如地址寫成“北京海淀中關(guān)村”，想分析“區(qū)”級別的區(qū)域時還要把“海淀”拆出來才能用。這種情況最好從源頭解決，即數(shù)據(jù)治理。事后補救只能通過關(guān)鍵詞匹配，且不一定能全部解決。

2.BI對數(shù)據(jù)的要求

接下來，我們了解一下BI對數(shù)據(jù)的要求，結(jié)合上面臟數(shù)據(jù)的種類，中間的規(guī)避手段就是數(shù)據(jù)治理。



1. 結(jié)構(gòu)化：數(shù)據(jù)必須是結(jié)構(gòu)化的。這可能是句廢話，如果數(shù)據(jù)是大段的文本，比如微博，那就不能用BI做量化的分析，而是用分詞技術(shù)做語義的分析，比如常說的輿情分析。語義分析不像BI的量化分析一樣百分百計算準確，而是有概率的，人的語言千變?nèi)f化，人自己都不能保證完全理解到位，系統(tǒng)就更不可能了，只能盡可能提高準確率。

2. 規(guī)范性：數(shù)據(jù)足夠規(guī)范。這么說比較含糊，簡單來講就是解決了上述各類臟數(shù)據(jù)的問題，把所有臟數(shù)據(jù)洗成“干凈數(shù)據(jù)”。

3. 可關(guān)聯(lián)：如果想將兩個維度/指標做關(guān)聯(lián)分析，這兩個維度/指標必須能關(guān)聯(lián)上，要么在同一張表里，要么在兩張有可關(guān)聯(lián)字段的表里。

3.數(shù)據(jù)治理的原則

前面講了臟數(shù)據(jù)的處理方法，但那些都是治標不治本的應(yīng)對方法，且需要長期耗費大量時間和人力來做這種痛苦的工作。要想從根本上改善臟數(shù)據(jù)的問題，還是需要做好數(shù)據(jù)治理的規(guī)范工作。

簡單來講，數(shù)據(jù)治理就是要約束輸入，規(guī)范輸出。



1. 約束輸入：你永遠想不到用戶會輸入哪些值，所以別給用戶太多發(fā)揮的空間，做好約束工作。該用戶填寫的，系統(tǒng)必須設(shè)置為“必填”；值有固定選項的，一定用列表讓用戶選，別再手工輸入；系統(tǒng)在錄入提交時就做好檢查，格式不對，值不在正常范圍內(nèi)，直接報錯的情況必須讓用戶重新輸入；設(shè)計錄入表單時盡量原子化字段，比如上面說的地址，設(shè)計時就分成國家、省、市、區(qū)、詳細地址等多個字段，避免事后拆分；錄入數(shù)據(jù)保存的數(shù)據(jù)表也盡量統(tǒng)一，不要產(chǎn)生有大量相同數(shù)據(jù)的表，造成數(shù)據(jù)重復(fù)隱患。

2. 規(guī)范輸出：老板看不同人做的報表，同一個“收益率”指標，每張報表的值都不一樣，老板的內(nèi)心一定是崩潰的，不知該罵誰，只能全罵。排除計算錯誤的情況，一般都是統(tǒng)計口徑不一致造成的。所以要統(tǒng)一語義，做一個公司級別的語義字典（不是數(shù)據(jù)庫的數(shù)據(jù)字典）。所有給人看的報告上的指標名稱，都要在語義字典中備案，語義字典明確定義其統(tǒng)計口徑和含義。不同統(tǒng)計口徑的指標必須用不同的名詞。如果發(fā)現(xiàn)一個詞已經(jīng)在語義字典中有了，就必須走流程申請注冊一個新詞到語義字典。

4.數(shù)據(jù)治理的落地

臟數(shù)據(jù)的處理需要ETL工具，語義字典不一定要借助系統(tǒng)。事實上，由于這類系統(tǒng)過于復(fù)雜，國內(nèi)鮮見實施成功的案例，用Excel加制度就能達到很好的效果。

關(guān)于落地推廣策略，說來也簡單，老大拍板說必須實行，再用優(yōu)先話語權(quán)吸引一個部門試點，再橫向擴展。哪個部門先落地，哪個部門就能按最符合自己習(xí)慣的用詞來命名指標，相當于占坑。后面的部門都要遵從前人的標準，重名但意義不同的指標需要另外找詞兒命名。這樣就不怕沒人積極主動。

以上，就是精煉版的數(shù)據(jù)治理方法論。大家都知道這是個苦活，但是筆者還要提醒的是，越晚動手越苦。有了經(jīng)驗以后，做新業(yè)務(wù)系統(tǒng)設(shè)計時，大家就可以充分考慮數(shù)據(jù)治理的規(guī)范了。


本文為永洪科技副總裁王桐原創(chuàng)，CDA已獲作者授權(quán)轉(zhuǎn)載

作者敬告

由于時間關(guān)系和水平有限，文中或有不妥之處還請讀者多多諒解。如果希望一起探討數(shù)據(jù)分析方法論和數(shù)據(jù)體系構(gòu)建方法論等相關(guān)話題，歡迎讀者通過tylerwang@yonghongtech.com或微信號tyler_wangtong與本文作者永洪科技副總裁王桐取得聯(lián)絡(luò)。


數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個參數(shù)驗證碼對象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務(wù)器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }