99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁(yè)精彩閱讀數(shù)據(jù)質(zhì)量的好壞決定數(shù)據(jù)挖掘項(xiàng)目的成敗
數(shù)據(jù)質(zhì)量的好壞決定數(shù)據(jù)挖掘項(xiàng)目的成敗
2017-07-31
收藏

數(shù)據(jù)質(zhì)量的好壞決定數(shù)據(jù)挖掘項(xiàng)目的成敗

David Nettleton是《商業(yè)數(shù)據(jù)挖掘：為預(yù)測(cè)分析項(xiàng)目處理，分析和建模》一書的作者，他還是一位在數(shù)據(jù)分析處理方面有豐富經(jīng)驗(yàn)的顧問和學(xué)術(shù)研究者。

Q：您認(rèn)為，實(shí)現(xiàn)一個(gè)數(shù)據(jù)分析項(xiàng)目最具挑戰(zhàn)的方面有哪些呢？
David Nettleton：這要視情況而定。隨著項(xiàng)目的推進(jìn)，有些我們?cè)绢A(yù)計(jì)很容易的事情會(huì)變得異常困難，而其他我們本以為很困難的東西則會(huì)變得容易。項(xiàng)目的首要步驟就是要定義一個(gè)或多個(gè)業(yè)務(wù)目標(biāo)。這樣項(xiàng)目就會(huì)進(jìn)行的很快很順利，否則則會(huì)事倍功半。
然后，有必要通過集體討論選出最可行的目標(biāo)。接下來需要評(píng)估可行性，它與數(shù)據(jù)的可用性相關(guān)聯(lián)。獲取，過濾并準(zhǔn)備正確的數(shù)據(jù)通常是一個(gè)關(guān)鍵步驟。項(xiàng)目成員可能會(huì)發(fā)現(xiàn)直接進(jìn)行數(shù)據(jù)分析要比例行的準(zhǔn)備和驗(yàn)證數(shù)據(jù)工作來的更加有趣。
準(zhǔn)備數(shù)據(jù)是決定后期分析和挖掘階段成功與否的關(guān)鍵環(huán)節(jié)。我們可能會(huì)發(fā)現(xiàn)所需的數(shù)據(jù)變量并不存在，但我們必須要獲得這些變量。有時(shí)雖然有一些關(guān)鍵變量，但是數(shù)據(jù)是錯(cuò)誤的或是以不正確的格式存在的。另外一個(gè)有問題的步驟就是部署。我們需要確定如何在業(yè)務(wù)流程中應(yīng)用我們的分析結(jié)果。
Q：項(xiàng)目人員如何做才能實(shí)現(xiàn)項(xiàng)目的成功？什么樣的技能才是有用的？
Nettleton: 現(xiàn)在需要既了解IT又了解業(yè)務(wù)的復(fù)合型人才。項(xiàng)目還需要熟悉數(shù)據(jù)工作的人。另外，之前在此類項(xiàng)目上的經(jīng)驗(yàn)很顯然是一項(xiàng)優(yōu)勢(shì)。至于項(xiàng)目流程，最初一個(gè)營(yíng)銷或業(yè)務(wù)經(jīng)理可能會(huì)提出一個(gè)或多個(gè)業(yè)務(wù)目標(biāo)。接下來，IT經(jīng)理會(huì)列出一張所需數(shù)據(jù)的初始清單來滿足每個(gè)業(yè)務(wù)目標(biāo)，然后會(huì)審查公司數(shù)據(jù)庫(kù)來判斷當(dāng)前狀態(tài)數(shù)據(jù)是否可用。有了正確的數(shù)據(jù)之后，我們還需要與一個(gè)熟練使用選擇數(shù)據(jù)分析和挖掘工具的分析師協(xié)同工作。
Q：有沒有能夠分析大量數(shù)據(jù)的工具？
Nettleton: 這要取決于業(yè)務(wù)目標(biāo)。一項(xiàng)關(guān)于離群值的研究顯示，比如在欺詐檢查上，可能會(huì)需要對(duì)所有可用數(shù)據(jù)進(jìn)行詳盡處理以捕捉異常。如果我們想要將客戶進(jìn)行細(xì)分，我們?yōu)榱俗龅竭@點(diǎn)需要所有的客戶么？答案是否定的，只要我們能夠從完整數(shù)據(jù)集中提取出具有代表性的抽樣即可。
大數(shù)據(jù)也意味著專業(yè)軟件，例如Hadoop，還有專業(yè)硬件，例如服務(wù)器集群。同樣，數(shù)據(jù)量可以用長(zhǎng)（記錄數(shù)量）寬（描述性變量的數(shù)量）加以衡量。我們可以有上十億的記錄和四個(gè)變量，也可以有百萬的記錄和一百個(gè)變量。
對(duì)于每個(gè)變量，我們必須要問的是我們?yōu)槭裁葱枰鴮?duì)于記錄的數(shù)量，我們必須要問的是它們的覆蓋范圍。如果當(dāng)前業(yè)務(wù)的周期是兩年，那我們就沒必要處理十年前的數(shù)據(jù)。如果我們是一個(gè)處理能力有限的中小型企業(yè)，那么我們就必須在處理數(shù)據(jù)的成本和從挖掘數(shù)據(jù)中所獲利益之間加以權(quán)衡。
Q：人們?cè)?a href='/map/shujuwajue/' style='color:#000;font-size:inherit;'>數(shù)據(jù)挖掘項(xiàng)目上最常犯的錯(cuò)誤有哪些，又該如何避免呢？
Nettleton: 造成數(shù)據(jù)分析項(xiàng)目出錯(cuò)的原因大概有三個(gè)，分別是數(shù)據(jù)偏差，數(shù)據(jù)處理中的錯(cuò)誤和錯(cuò)誤的解釋造成的。
第一種錯(cuò)誤類型可能與不正確的抽樣或扭曲的數(shù)據(jù)有關(guān)。例如，我們想要研究年齡在18至35歲之間的女性對(duì)反吸煙的健康公益廣告的反應(yīng)，但我們集中的所有數(shù)據(jù)記錄對(duì)應(yīng)的都是有過吸煙歷史的人。如果真是這樣，我們可以根據(jù)興趣變量，檢查正確分布的動(dòng)態(tài)數(shù)據(jù)，稍作修正。
第二種錯(cuò)誤類型可能是由于選擇錯(cuò)誤數(shù)據(jù)或是在格式化非法數(shù)據(jù)值，標(biāo)志等過程中的錯(cuò)誤造成的。要解決這一問題，需要熟悉數(shù)據(jù)提取和遷移的人員在處理階段，花費(fèi)更多的時(shí)間和精力，提高可用性。
第三種錯(cuò)誤類型，誤解，可能是因?yàn)樵跀?shù)據(jù)分析上缺乏經(jīng)驗(yàn)或是做了過度總結(jié)造成的。另外一個(gè)相關(guān)問題是覆蓋率不足，例如，數(shù)據(jù)是否是僅僅用一個(gè)地區(qū)代替了整個(gè)國(guó)家。
其他的數(shù)據(jù)分析問題包括：
任務(wù)缺乏正確數(shù)據(jù)。此問題可能與在一開始就選擇了一個(gè)不可行的目標(biāo)有關(guān)。
分析師只依賴一項(xiàng)技術(shù)來進(jìn)行數(shù)據(jù)分析，此項(xiàng)技術(shù)可能是分析師偏愛或是最熟悉的。而花費(fèi)時(shí)間和精力學(xué)習(xí)如何使用不同的方法是非常值得的。
把輸出變量，也就是未來的分析結(jié)果，作為輸入變量來使用，不斷地提升預(yù)測(cè)精度。


數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼

若不方便掃碼，搜微信號(hào)：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測(cè)極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請(qǐng)參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }