99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話:13121318867

登錄
首頁精彩閱讀CDA LEVEL 1 考試,知識(shí)點(diǎn)匯總《數(shù)據(jù)分析概述》
CDA LEVEL 1 考試,知識(shí)點(diǎn)匯總《數(shù)據(jù)分析概述》
2024-08-13
收藏

一、基本概念

1.數(shù)據(jù)分析和數(shù)據(jù)挖掘的概念

數(shù)據(jù)分析(Data Analysis) 是以數(shù)據(jù)為分析對象,以探索數(shù)據(jù)內(nèi)的有用信息為主要途徑,以解決業(yè)務(wù)需求為最終目標(biāo),包含業(yè)務(wù)理解、數(shù)據(jù)采集、 數(shù)據(jù)清洗、數(shù)據(jù)探索、數(shù)據(jù)可視化、數(shù)據(jù)建模、模型結(jié)果可視化、分析結(jié)果的業(yè)務(wù)應(yīng)用等步驟在內(nèi)的一整套分析流程。

數(shù)據(jù)挖掘(Data Mining) : 是一個(gè)跨學(xué)科的計(jì)算機(jī)科學(xué)分支,它是用人工智能、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)和數(shù)據(jù)庫的交叉方法在相對較大型的數(shù)據(jù)集中發(fā) 現(xiàn)模式的計(jì)算過程。

2.數(shù)據(jù)分析的八個(gè)層次

數(shù)據(jù)分析的目的:發(fā)現(xiàn)有價(jià)值的信息、提出結(jié)論、為業(yè)務(wù)發(fā)展提供輔助決策。它描述了 ”過去發(fā)生了什么“、”現(xiàn)在 正在發(fā)生什么“ 和 “未來可能發(fā)生什么”。根據(jù)分析層次的級(jí)別不同,分為常規(guī)報(bào)表、即席查詢、多維分析(又稱鉆 取或OLAP)、警報(bào)、統(tǒng)計(jì)分析、預(yù)報(bào)(或者時(shí)間序列預(yù)測)、預(yù)測型建模(Predictive Model)和優(yōu)化。

CDA LEVEL 1 考試,知識(shí)點(diǎn)匯總《數(shù)據(jù)分析概述》

3.大數(shù)據(jù)對傳統(tǒng)小數(shù)據(jù)的拓展及其區(qū)別與聯(lián)系

數(shù)據(jù)上:小數(shù)據(jù)重抽樣,大數(shù)據(jù)重全體。由于傳統(tǒng)小數(shù)據(jù)分析的本質(zhì)是基于樣本推斷總體,因此在分析過程中十分 注重抽樣的科學(xué)性。只有抽樣是科學(xué)的,其推斷結(jié)果才具有科學(xué)意義。而大數(shù)據(jù)雖然不一定是總體,但由于在建模 方法上已經(jīng)更偏向于機(jī)器學(xué)習(xí),因此抽樣已經(jīng)不是必要的手段和方法論了。

方法上:小數(shù)據(jù)重實(shí)證,大數(shù)據(jù)重優(yōu)化。傳統(tǒng)的小數(shù)據(jù)在方法上更重視實(shí)證研究,強(qiáng)調(diào)在相關(guān)理論的前提下建立假設(shè),收集數(shù)據(jù),建立模型并驗(yàn)證假設(shè)。而大數(shù)據(jù)往往更重視方法論中的自我迭代和自我優(yōu)化過程,可能運(yùn)算的第一 個(gè)結(jié)果與標(biāo)準(zhǔn)答案相差甚遠(yuǎn),但是可以通過與正確答案的不斷校準(zhǔn)(往往建立損失函數(shù)),使得模型的精度不斷提高。

目標(biāo)上:小數(shù)據(jù)重解釋,大數(shù)據(jù)重預(yù)測。小數(shù)據(jù)的分析往往注重歸因分析,探索變量之間的內(nèi)部影響機(jī)理,例如究竟什么樣的生活習(xí)慣會(huì)提高癌癥的發(fā)病率。但是大數(shù)據(jù)往往關(guān)心的是對于未知對象的預(yù)測,例如判別某個(gè)人是否患有癌癥,或者患有癌癥的概率是多少。

4.數(shù)據(jù)分析目標(biāo)的意義、過程及其本質(zhì)

可以認(rèn)為數(shù)據(jù)分析涉及到公司運(yùn)營的方方面面,這包括對企業(yè)部門經(jīng)營情況的評估、內(nèi)部員工的管理、生產(chǎn)流程的監(jiān)管、 產(chǎn)品結(jié)構(gòu)優(yōu)化與新產(chǎn)品開發(fā)、財(cái)務(wù)成本優(yōu)化、市場結(jié)構(gòu)的分析和客戶關(guān)系的管理。其中,關(guān)于客戶與市場的數(shù)據(jù)分析是 “重頭戲”。下面以客戶全生命周期管理為例介紹數(shù)據(jù)分析運(yùn)用場景和挖掘主題,如下圖所示。

CDA LEVEL 1 考試,知識(shí)點(diǎn)匯總《數(shù)據(jù)分析概述》

二、數(shù)據(jù)挖掘 方法論

1.CRISP-DM 方法論

CRISP-DM方法論將數(shù)據(jù)挖掘項(xiàng)目生命周期分為6個(gè)階段,它們分別是業(yè)務(wù)理解、數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備、建模、模型評 估和模型發(fā)布,如下圖所示。

下圖呈現(xiàn)了通用數(shù)據(jù)挖掘方法論(CRISP-DM)流程的6個(gè)階段。下面簡短地介紹了每個(gè)階段的要點(diǎn)。

CDA LEVEL 1 考試,知識(shí)點(diǎn)匯總《數(shù)據(jù)分析概述》

業(yè)務(wù)理解(Business Understanding) 該初始階段集中在從商業(yè)角度理解項(xiàng)目的目標(biāo)和要求,通過理論分析轉(zhuǎn)化為數(shù)據(jù)挖掘可操作的問題,制定實(shí)現(xiàn)目標(biāo)的初 步計(jì)劃。

數(shù)據(jù)理解(Data Understanding) 數(shù)據(jù)理解階段開始于原始數(shù)據(jù)的收集,然后是熟悉數(shù)據(jù)、標(biāo)明數(shù)據(jù)質(zhì)量問題、探索對數(shù)據(jù)的初步理解、發(fā)覺有趣的子集 以形成對探索關(guān)系的假設(shè)。

數(shù)據(jù)準(zhǔn)備(Data Preparation) 數(shù)據(jù)準(zhǔn)備階段包括所有從原始的、未加工的數(shù)據(jù)構(gòu)造數(shù)據(jù)挖掘所需信息的活動(dòng)。數(shù)據(jù)準(zhǔn)備任務(wù)可能被實(shí)施多次,而且沒 有任何規(guī)定的順序。這些任務(wù)的主要目的是從源系統(tǒng)根據(jù)維度分析的要求,獲取所需要的信息,需要對數(shù)據(jù)進(jìn)行轉(zhuǎn)換和 清洗。

建模(Modeling) 在此階段,主要是選擇和應(yīng)用各種建模技術(shù),同時(shí)對它們的參數(shù)進(jìn)行校準(zhǔn),以達(dá)到最優(yōu)值。通常對同一個(gè)數(shù)據(jù)挖掘問題 類型,會(huì)有多種建模技術(shù)。一些技術(shù)對數(shù)據(jù)格式有特殊的要求,因此,常常需要返回到數(shù)據(jù)準(zhǔn)備階段。

模型評估(Evaluation) 在模型最后發(fā)布前,根據(jù)商業(yè)目標(biāo)評估模型和檢查建立模型的各個(gè)步驟。此階段關(guān)鍵目的是,判斷是否存在一些重要的 商業(yè)問題仍未得到充分考慮。

模型發(fā)布(Deployment) 模型完成后,由模型使用者(客戶)根據(jù)當(dāng)時(shí)背景和目標(biāo)完成情況,決定如何在現(xiàn)場使用模型。比如,在網(wǎng)頁的實(shí)時(shí)個(gè) 人化中或營銷數(shù)據(jù)的重復(fù)評分中。

2.SEMMA 方法論

SAS公司的數(shù)據(jù)挖掘項(xiàng)目實(shí)施方法論,對CRISP-DM方法中的數(shù)據(jù)準(zhǔn)備和建模環(huán)節(jié)進(jìn)行了拓展,被稱為SEMMA方法, 如下圖所示。

CDA LEVEL 1 考試,知識(shí)點(diǎn)匯總《數(shù)據(jù)分析概述》

3.5個(gè)步驟中的主要任務(wù),如下圖所示。

CDA LEVEL 1 考試,知識(shí)點(diǎn)匯總《數(shù)據(jù)分析概述》

數(shù)據(jù)整理

涉及數(shù)據(jù)采集數(shù)據(jù)合并與抽樣的操作,目的是為了構(gòu)造分析用到的數(shù)據(jù)。分析人員根據(jù)維度分析獲得的結(jié)果作為整理 數(shù)據(jù)的依據(jù),將散落在公司內(nèi)部與外部的數(shù)據(jù)進(jìn)行整合。

樣本探索

這個(gè)步驟的主要任務(wù)是對數(shù)據(jù)質(zhì)量的探索。變量質(zhì)量方面涉及錯(cuò)誤值(如:年齡=-30)、恰當(dāng)性(客戶的某些業(yè)務(wù)指標(biāo)缺失值,實(shí)際上是沒有這個(gè)業(yè)務(wù),值應(yīng)該為“0”)、缺失值(沒有客戶的收入信息)、一致性(收入單位為人民幣, 而支出單位為美元)、平穩(wěn)性(某些數(shù)據(jù)的均值變化過于劇烈)、重復(fù)值(相同的交易被記錄兩次)和及時(shí)性(銀行客 戶的財(cái)務(wù)數(shù)據(jù)更新的滯后時(shí)長)等方面。這部分的探索主要解決變量是錯(cuò)誤時(shí)是否可以修改、是否可以使用的問題。

變量修改

根據(jù)變量探索的結(jié)論,需要對數(shù)據(jù)質(zhì)量問題和變量分布情況分別作變量修改。數(shù)據(jù)質(zhì)量問題的修改涉及改正錯(cuò)誤編碼、 缺失值填補(bǔ)、單位統(tǒng)一等操作。變量分布情況的修改涉及函數(shù)轉(zhuǎn)換和標(biāo)準(zhǔn)化方法,具體的修改方法需要與后續(xù)的統(tǒng)計(jì)建 模方法相結(jié)合。

建模 根據(jù)分析的目的選取合適的模型,這部分內(nèi)容在“數(shù)據(jù)分析方法分類介紹”已經(jīng)作了詳細(xì)的闡述,這里不再贅述。

模型檢驗(yàn) 這里指模型的樣本內(nèi)驗(yàn)證,即使用歷史數(shù)據(jù)對模型表現(xiàn)的優(yōu)劣進(jìn)行評估。比如,對有監(jiān)督學(xué)習(xí)會(huì)使用ROC曲線和提升度 等技術(shù)指標(biāo)評估模型的預(yù)測能力。

數(shù)據(jù)分析中不同人員的角色與職責(zé)

業(yè)務(wù)問題是需求,最終需要轉(zhuǎn)換成統(tǒng)計(jì)或數(shù)據(jù)挖掘等問題,用數(shù)據(jù)分析的思路來解決,因此數(shù)據(jù)分析師在業(yè)務(wù)與數(shù)據(jù)間 起到協(xié)調(diào)作用,是業(yè)務(wù)問題能否成功轉(zhuǎn)換成統(tǒng)計(jì)問題的關(guān)鍵。通常來說,業(yè)務(wù)問題需要一個(gè)或多個(gè)字段來表達(dá),這些字 段以什么形式出現(xiàn)(如測量級(jí)別),因?yàn)?a href='/map/ziduan/' style='color:#000;font-size:inherit;'>字段的形式會(huì)決定選擇的方法,而每種方法又用于解決特定的需求,此外由于 模型對業(yè)務(wù)人員或企業(yè)高管來說可能過于專業(yè),因此需要將模型輸出通俗的表達(dá)出來。所以協(xié)調(diào)者、數(shù)據(jù)分析師、報(bào)告 人的角色,決定了數(shù)據(jù)分析師是一名(精通數(shù)理和軟件的)綜合型人才。

三、例題精講

1.公司營銷部門每月例會(huì)報(bào)告的經(jīng)營指標(biāo)匯總,屬于下列哪一類數(shù)據(jù)分析?

A. 客戶行為的數(shù)據(jù)挖掘報(bào)告

B. 描述性數(shù)據(jù)分析報(bào)告

C. 產(chǎn)品和行為傾向報(bào)告

D. 以上都不對

答案:B 解析:按照慣例經(jīng)營指標(biāo)匯總,通常是報(bào)告業(yè)績指標(biāo)的數(shù)量、金額、百分比或排名等信息,這類 分析多數(shù)歸屬于描述性數(shù)據(jù)分析,而且是單變量分析的內(nèi)容。AC項(xiàng)涉及行為特點(diǎn)和商品特征的關(guān) 系,屬于多變量分析的內(nèi)容。

2.以下哪些內(nèi)容包含在數(shù)據(jù)分析層次級(jí)別中?

A. 即席查詢

B. 多維分析(又稱為鉆取或者OLAP

C. 統(tǒng)計(jì)分析與警報(bào)

D. 與業(yè)務(wù)人員協(xié)商知識(shí)點(diǎn)

答案:ABC 解析:考察數(shù)據(jù)分析的八個(gè)層次,需要在理解的基礎(chǔ)上加以記憶。

3.統(tǒng)計(jì)模型主要用于解決哪幾類問題?

A. 預(yù)測分類問題

B. OLAP分析問題

C. 相關(guān)分析

D. 市場細(xì)分問題

答案:ACD 解析:A項(xiàng)、C項(xiàng)和D項(xiàng)是統(tǒng)計(jì)模型的典型問題,但OLAP分析問題并不是統(tǒng)計(jì)模型。

4.下列關(guān)于數(shù)據(jù)挖掘流程表達(dá)正確的一項(xiàng)是:

A. 方法論CRISP-DM與SEMMA是業(yè)內(nèi)公認(rèn)的權(quán)威流程,嚴(yán)格按照步驟做數(shù)據(jù)分析總不會(huì)出錯(cuò)的

B. CRISP-DM(譯為“跨行業(yè)”數(shù)據(jù)挖掘)在任何數(shù)據(jù)分析行業(yè)中均適用

C. SEMMA方法論是對CRISP-DM方法中的數(shù)據(jù)準(zhǔn)備和建模環(huán)節(jié)進(jìn)行了拓展

D. 由于數(shù)據(jù)比較整潔,所以可以不需要再做數(shù)據(jù)預(yù)處理,直接從建模開始

答案:C 解析:AB兩項(xiàng)都犯同一類錯(cuò)誤,就是過于迷信方法論的共識(shí)性,D項(xiàng)中數(shù)據(jù)分析的一般性 描述是很重要的預(yù)分析過程,不僅如此,模型對于數(shù)據(jù)的要求也很高,樣本探索、變量整理等預(yù)處理工作都不可省去。

5.關(guān)于客戶生命周期管理,下列哪一項(xiàng)不屬于對既有高價(jià)值客戶的分析內(nèi)容?

A. 行為信用評分

B. 初始信用評分

C. 產(chǎn)品精準(zhǔn)營銷

D. 客戶留存管理

答案:B 解析:高價(jià)值客戶屬于企業(yè)的既有客戶,而初始信用評分屬于對潛在響應(yīng)客戶的 策略分析

6.統(tǒng)計(jì)模型主要用于解決哪幾類問題?

A.預(yù)測分類問題

B.OLAP分析問題

C.相關(guān)分析

D.市場細(xì)分問題

答案:ACD 解析:A項(xiàng)、C項(xiàng)和D項(xiàng)是統(tǒng)計(jì)模型的典型問題,但OLAP分析問題并不屬于統(tǒng)計(jì)模型。



點(diǎn)擊CDA題庫鏈接,獲取免費(fèi)版CDA題庫入口,??荚図樌?,快速拿證!


數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼,搜微信號(hào):CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1:配置參數(shù) // 參數(shù)2:回調(diào),回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對象,之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須,不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式,包括:float,popup width: "280px", https: true // 更多配置參數(shù)說明請參見:http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'!'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'!'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }