99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀數(shù)據(jù)質(zhì)量的好壞決定數(shù)據(jù)挖掘項目的成敗
數(shù)據(jù)質(zhì)量的好壞決定數(shù)據(jù)挖掘項目的成敗
2017-07-31
收藏

數(shù)據(jù)質(zhì)量的好壞決定數(shù)據(jù)挖掘項目的成敗

David Nettleton是《商業(yè)數(shù)據(jù)挖掘：為預(yù)測分析項目處理，分析和建?！芬粫淖髡?，他還是一位在數(shù)據(jù)分析處理方面有豐富經(jīng)驗的顧問和學(xué)術(shù)研究者。

Q：您認(rèn)為，實現(xiàn)一個數(shù)據(jù)分析項目最具挑戰(zhàn)的方面有哪些呢？
David Nettleton：這要視情況而定。隨著項目的推進，有些我們原本預(yù)計很容易的事情會變得異常困難，而其他我們本以為很困難的東西則會變得容易。項目的首要步驟就是要定義一個或多個業(yè)務(wù)目標(biāo)。這樣項目就會進行的很快很順利，否則則會事倍功半。
然后，有必要通過集體討論選出最可行的目標(biāo)。接下來需要評估可行性，它與數(shù)據(jù)的可用性相關(guān)聯(lián)。獲取，過濾并準(zhǔn)備正確的數(shù)據(jù)通常是一個關(guān)鍵步驟。項目成員可能會發(fā)現(xiàn)直接進行數(shù)據(jù)分析要比例行的準(zhǔn)備和驗證數(shù)據(jù)工作來的更加有趣。
準(zhǔn)備數(shù)據(jù)是決定后期分析和挖掘階段成功與否的關(guān)鍵環(huán)節(jié)。我們可能會發(fā)現(xiàn)所需的數(shù)據(jù)變量并不存在，但我們必須要獲得這些變量。有時雖然有一些關(guān)鍵變量，但是數(shù)據(jù)是錯誤的或是以不正確的格式存在的。另外一個有問題的步驟就是部署。我們需要確定如何在業(yè)務(wù)流程中應(yīng)用我們的分析結(jié)果。
Q：項目人員如何做才能實現(xiàn)項目的成功？什么樣的技能才是有用的？
Nettleton: 現(xiàn)在需要既了解IT又了解業(yè)務(wù)的復(fù)合型人才。項目還需要熟悉數(shù)據(jù)工作的人。另外，之前在此類項目上的經(jīng)驗很顯然是一項優(yōu)勢。至于項目流程，最初一個營銷或業(yè)務(wù)經(jīng)理可能會提出一個或多個業(yè)務(wù)目標(biāo)。接下來，IT經(jīng)理會列出一張所需數(shù)據(jù)的初始清單來滿足每個業(yè)務(wù)目標(biāo)，然后會審查公司數(shù)據(jù)庫來判斷當(dāng)前狀態(tài)數(shù)據(jù)是否可用。有了正確的數(shù)據(jù)之后，我們還需要與一個熟練使用選擇數(shù)據(jù)分析和挖掘工具的分析師協(xié)同工作。
Q：有沒有能夠分析大量數(shù)據(jù)的工具？
Nettleton: 這要取決于業(yè)務(wù)目標(biāo)。一項關(guān)于離群值的研究顯示，比如在欺詐檢查上，可能會需要對所有可用數(shù)據(jù)進行詳盡處理以捕捉異常。如果我們想要將客戶進行細(xì)分，我們?yōu)榱俗龅竭@點需要所有的客戶么？答案是否定的，只要我們能夠從完整數(shù)據(jù)集中提取出具有代表性的抽樣即可。
大數(shù)據(jù)也意味著專業(yè)軟件，例如Hadoop，還有專業(yè)硬件，例如服務(wù)器集群。同樣，數(shù)據(jù)量可以用長（記錄數(shù)量）寬（描述性變量的數(shù)量）加以衡量。我們可以有上十億的記錄和四個變量，也可以有百萬的記錄和一百個變量。
對于每個變量，我們必須要問的是我們?yōu)槭裁葱枰?，而對于記錄的?shù)量，我們必須要問的是它們的覆蓋范圍。如果當(dāng)前業(yè)務(wù)的周期是兩年，那我們就沒必要處理十年前的數(shù)據(jù)。如果我們是一個處理能力有限的中小型企業(yè)，那么我們就必須在處理數(shù)據(jù)的成本和從挖掘數(shù)據(jù)中所獲利益之間加以權(quán)衡。
Q：人們在數(shù)據(jù)挖掘項目上最常犯的錯誤有哪些，又該如何避免呢？
Nettleton: 造成數(shù)據(jù)分析項目出錯的原因大概有三個，分別是數(shù)據(jù)偏差，數(shù)據(jù)處理中的錯誤和錯誤的解釋造成的。
第一種錯誤類型可能與不正確的抽樣或扭曲的數(shù)據(jù)有關(guān)。例如，我們想要研究年齡在18至35歲之間的女性對反吸煙的健康公益廣告的反應(yīng)，但我們集中的所有數(shù)據(jù)記錄對應(yīng)的都是有過吸煙歷史的人。如果真是這樣，我們可以根據(jù)興趣變量，檢查正確分布的動態(tài)數(shù)據(jù)，稍作修正。
第二種錯誤類型可能是由于選擇錯誤數(shù)據(jù)或是在格式化非法數(shù)據(jù)值，標(biāo)志等過程中的錯誤造成的。要解決這一問題，需要熟悉數(shù)據(jù)提取和遷移的人員在處理階段，花費更多的時間和精力，提高可用性。
第三種錯誤類型，誤解，可能是因為在數(shù)據(jù)分析上缺乏經(jīng)驗或是做了過度總結(jié)造成的。另外一個相關(guān)問題是覆蓋率不足，例如，數(shù)據(jù)是否是僅僅用一個地區(qū)代替了整個國家。
其他的數(shù)據(jù)分析問題包括：
任務(wù)缺乏正確數(shù)據(jù)。此問題可能與在一開始就選擇了一個不可行的目標(biāo)有關(guān)。
分析師只依賴一項技術(shù)來進行數(shù)據(jù)分析，此項技術(shù)可能是分析師偏愛或是最熟悉的。而花費時間和精力學(xué)習(xí)如何使用不同的方法是非常值得的。
把輸出變量，也就是未來的分析結(jié)果，作為輸入變量來使用，不斷地提升預(yù)測精度。


數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個參數(shù)驗證碼對象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務(wù)器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }