一、基本概念

1.數(shù)據(jù)分析和數(shù)據(jù)挖掘的概念

數(shù)據(jù)分析（Data Analysis） 是以數(shù)據(jù)為分析對(duì)象，以探索數(shù)據(jù)內(nèi)的有用信息為主要途徑，以解決業(yè)務(wù)需求為最終目標(biāo)，包含業(yè)務(wù)理解、數(shù)據(jù)采集、 數(shù)據(jù)清洗、數(shù)據(jù)探索、數(shù)據(jù)可視化、數(shù)據(jù)建模、模型結(jié)果可視化、分析結(jié)果的業(yè)務(wù)應(yīng)用等步驟在內(nèi)的一整套分析流程。

數(shù)據(jù)挖掘（Data Mining) : 是一個(gè)跨學(xué)科的計(jì)算機(jī)科學(xué)分支，它是用人工智能、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)和數(shù)據(jù)庫(kù)的交叉方法在相對(duì)較大型的數(shù)據(jù)集中發(fā) 現(xiàn)模式的計(jì)算過(guò)程。

2.數(shù)據(jù)分析的八個(gè)層次

數(shù)據(jù)分析的目的：發(fā)現(xiàn)有價(jià)值的信息、提出結(jié)論、為業(yè)務(wù)發(fā)展提供輔助決策。它描述了 ”過(guò)去發(fā)生了什么“、”現(xiàn)在 正在發(fā)生什么“ 和 “未來(lái)可能發(fā)生什么”。根據(jù)分析層次的級(jí)別不同，分為常規(guī)報(bào)表、即席查詢、多維分析（又稱鉆 取或OLAP）、警報(bào)、統(tǒng)計(jì)分析、預(yù)報(bào)（或者時(shí)間序列預(yù)測(cè)）、預(yù)測(cè)型建模（Predictive Model）和優(yōu)化。

3.大數(shù)據(jù)對(duì)傳統(tǒng)小數(shù)據(jù)的拓展及其區(qū)別與聯(lián)系

數(shù)據(jù)上：小數(shù)據(jù)重抽樣，大數(shù)據(jù)重全體。由于傳統(tǒng)小數(shù)據(jù)分析的本質(zhì)是基于樣本推斷總體，因此在分析過(guò)程中十分 注重抽樣的科學(xué)性。只有抽樣是科學(xué)的，其推斷結(jié)果才具有科學(xué)意義。而大數(shù)據(jù)雖然不一定是總體，但由于在建模 方法上已經(jīng)更偏向于機(jī)器學(xué)習(xí)，因此抽樣已經(jīng)不是必要的手段和方法論了。

方法上：小數(shù)據(jù)重實(shí)證，大數(shù)據(jù)重優(yōu)化。傳統(tǒng)的小數(shù)據(jù)在方法上更重視實(shí)證研究，強(qiáng)調(diào)在相關(guān)理論的前提下建立假設(shè)，收集數(shù)據(jù)，建立模型并驗(yàn)證假設(shè)。而大數(shù)據(jù)往往更重視方法論中的自我迭代和自我優(yōu)化過(guò)程，可能運(yùn)算的第一 個(gè)結(jié)果與標(biāo)準(zhǔn)答案相差甚遠(yuǎn)，但是可以通過(guò)與正確答案的不斷校準(zhǔn)（往往建立損失函數(shù)），使得模型的精度不斷提高。

目標(biāo)上：小數(shù)據(jù)重解釋，大數(shù)據(jù)重預(yù)測(cè)。小數(shù)據(jù)的分析往往注重歸因分析，探索變量之間的內(nèi)部影響機(jī)理，例如究竟什么樣的生活習(xí)慣會(huì)提高癌癥的發(fā)病率。但是大數(shù)據(jù)往往關(guān)心的是對(duì)于未知對(duì)象的預(yù)測(cè)，例如判別某個(gè)人是否患有癌癥，或者患有癌癥的概率是多少。

4.數(shù)據(jù)分析目標(biāo)的意義、過(guò)程及其本質(zhì)

可以認(rèn)為數(shù)據(jù)分析涉及到公司運(yùn)營(yíng)的方方面面，這包括對(duì)企業(yè)部門經(jīng)營(yíng)情況的評(píng)估、內(nèi)部員工的管理、生產(chǎn)流程的監(jiān)管、 產(chǎn)品結(jié)構(gòu)優(yōu)化與新產(chǎn)品開發(fā)、財(cái)務(wù)成本優(yōu)化、市場(chǎng)結(jié)構(gòu)的分析和客戶關(guān)系的管理。其中，關(guān)于客戶與市場(chǎng)的數(shù)據(jù)分析是 “重頭戲”。下面以客戶全生命周期管理為例介紹數(shù)據(jù)分析運(yùn)用場(chǎng)景和挖掘主題，如下圖所示。

二、數(shù)據(jù)挖掘 方法論

1.CRISP-DM 方法論

CRISP-DM方法論將數(shù)據(jù)挖掘項(xiàng)目生命周期分為6個(gè)階段，它們分別是業(yè)務(wù)理解、數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備、建模、模型評(píng) 估和模型發(fā)布，如下圖所示。

下圖呈現(xiàn)了通用數(shù)據(jù)挖掘方法論（CRISP-DM）流程的6個(gè)階段。下面簡(jiǎn)短地介紹了每個(gè)階段的要點(diǎn)。

業(yè)務(wù)理解（Business Understanding） 該初始階段集中在從商業(yè)角度理解項(xiàng)目的目標(biāo)和要求，通過(guò)理論分析轉(zhuǎn)化為數(shù)據(jù)挖掘可操作的問(wèn)題，制定實(shí)現(xiàn)目標(biāo)的初 步計(jì)劃。

數(shù)據(jù)理解（Data Understanding） 數(shù)據(jù)理解階段開始于原始數(shù)據(jù)的收集，然后是熟悉數(shù)據(jù)、標(biāo)明數(shù)據(jù)質(zhì)量問(wèn)題、探索對(duì)數(shù)據(jù)的初步理解、發(fā)覺有趣的子集 以形成對(duì)探索關(guān)系的假設(shè)。

數(shù)據(jù)準(zhǔn)備（Data Preparation） 數(shù)據(jù)準(zhǔn)備階段包括所有從原始的、未加工的數(shù)據(jù)構(gòu)造數(shù)據(jù)挖掘所需信息的活動(dòng)。數(shù)據(jù)準(zhǔn)備任務(wù)可能被實(shí)施多次，而且沒 有任何規(guī)定的順序。這些任務(wù)的主要目的是從源系統(tǒng)根據(jù)維度分析的要求，獲取所需要的信息，需要對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換和 清洗。

建模（Modeling） 在此階段，主要是選擇和應(yīng)用各種建模技術(shù)，同時(shí)對(duì)它們的參數(shù)進(jìn)行校準(zhǔn)，以達(dá)到最優(yōu)值。通常對(duì)同一個(gè)數(shù)據(jù)挖掘問(wèn)題 類型，會(huì)有多種建模技術(shù)。一些技術(shù)對(duì)數(shù)據(jù)格式有特殊的要求，因此，常常需要返回到數(shù)據(jù)準(zhǔn)備階段。

模型評(píng)估（Evaluation） 在模型最后發(fā)布前，根據(jù)商業(yè)目標(biāo)評(píng)估模型和檢查建立模型的各個(gè)步驟。此階段關(guān)鍵目的是，判斷是否存在一些重要的 商業(yè)問(wèn)題仍未得到充分考慮。

模型發(fā)布（Deployment） 模型完成后，由模型使用者（客戶）根據(jù)當(dāng)時(shí)背景和目標(biāo)完成情況，決定如何在現(xiàn)場(chǎng)使用模型。比如，在網(wǎng)頁(yè)的實(shí)時(shí)個(gè) 人化中或營(yíng)銷數(shù)據(jù)的重復(fù)評(píng)分中。

2.SEMMA 方法論

SAS公司的數(shù)據(jù)挖掘項(xiàng)目實(shí)施方法論，對(duì)CRISP-DM方法中的數(shù)據(jù)準(zhǔn)備和建模環(huán)節(jié)進(jìn)行了拓展，被稱為SEMMA方法， 如下圖所示。

3.5個(gè)步驟中的主要任務(wù)，如下圖所示。

數(shù)據(jù)整理

涉及數(shù)據(jù)采集、數(shù)據(jù)合并與抽樣的操作，目的是為了構(gòu)造分析用到的數(shù)據(jù)。分析人員根據(jù)維度分析獲得的結(jié)果作為整理 數(shù)據(jù)的依據(jù)，將散落在公司內(nèi)部與外部的數(shù)據(jù)進(jìn)行整合。

樣本探索

這個(gè)步驟的主要任務(wù)是對(duì)數(shù)據(jù)質(zhì)量的探索。變量質(zhì)量方面涉及錯(cuò)誤值（如：年齡=-30）、恰當(dāng)性（客戶的某些業(yè)務(wù)指標(biāo) 為缺失值，實(shí)際上是沒有這個(gè)業(yè)務(wù)，值應(yīng)該為“0”）、缺失值（沒有客戶的收入信息）、一致性（收入單位為人民幣， 而支出單位為美元）、平穩(wěn)性（某些數(shù)據(jù)的均值變化過(guò)于劇烈）、重復(fù)值（相同的交易被記錄兩次）和及時(shí)性（銀行客 戶的財(cái)務(wù)數(shù)據(jù)更新的滯后時(shí)長(zhǎng)）等方面。這部分的探索主要解決變量是錯(cuò)誤時(shí)是否可以修改、是否可以使用的問(wèn)題。

變量修改

根據(jù)變量探索的結(jié)論，需要對(duì)數(shù)據(jù)質(zhì)量問(wèn)題和變量分布情況分別作變量修改。數(shù)據(jù)質(zhì)量問(wèn)題的修改涉及改正錯(cuò)誤編碼、 缺失值填補(bǔ)、單位統(tǒng)一等操作。變量分布情況的修改涉及函數(shù)轉(zhuǎn)換和標(biāo)準(zhǔn)化方法，具體的修改方法需要與后續(xù)的統(tǒng)計(jì)建 模方法相結(jié)合。

建模 根據(jù)分析的目的選取合適的模型，這部分內(nèi)容在“數(shù)據(jù)分析方法分類介紹”已經(jīng)作了詳細(xì)的闡述，這里不再贅述。

模型檢驗(yàn) 這里指模型的樣本內(nèi)驗(yàn)證，即使用歷史數(shù)據(jù)對(duì)模型表現(xiàn)的優(yōu)劣進(jìn)行評(píng)估。比如，對(duì)有監(jiān)督學(xué)習(xí)會(huì)使用ROC曲線和提升度 等技術(shù)指標(biāo)評(píng)估模型的預(yù)測(cè)能力。

數(shù)據(jù)分析中不同人員的角色與職責(zé)

業(yè)務(wù)問(wèn)題是需求，最終需要轉(zhuǎn)換成統(tǒng)計(jì)或數(shù)據(jù)挖掘等問(wèn)題，用數(shù)據(jù)分析的思路來(lái)解決，因此數(shù)據(jù)分析師在業(yè)務(wù)與數(shù)據(jù)間 起到協(xié)調(diào)作用，是業(yè)務(wù)問(wèn)題能否成功轉(zhuǎn)換成統(tǒng)計(jì)問(wèn)題的關(guān)鍵。通常來(lái)說(shuō)，業(yè)務(wù)問(wèn)題需要一個(gè)或多個(gè)字段來(lái)表達(dá)，這些字 段以什么形式出現(xiàn)（如測(cè)量級(jí)別），因?yàn)?a href='/map/ziduan/' style='color:#000;font-size:inherit;'>字段的形式會(huì)決定選擇的方法，而每種方法又用于解決特定的需求，此外由于 模型對(duì)業(yè)務(wù)人員或企業(yè)高管來(lái)說(shuō)可能過(guò)于專業(yè)，因此需要將模型輸出通俗的表達(dá)出來(lái)。所以協(xié)調(diào)者、數(shù)據(jù)分析師、報(bào)告 人的角色，決定了數(shù)據(jù)分析師是一名（精通數(shù)理和軟件的）綜合型人才。

三、例題精講

1.公司營(yíng)銷部門每月例會(huì)報(bào)告的經(jīng)營(yíng)指標(biāo)匯總，屬于下列哪一類數(shù)據(jù)分析？

A. 客戶行為的數(shù)據(jù)挖掘報(bào)告

B. 描述性數(shù)據(jù)分析報(bào)告

C. 產(chǎn)品和行為傾向報(bào)告

D. 以上都不對(duì)

答案：B 解析：按照慣例經(jīng)營(yíng)指標(biāo)匯總，通常是報(bào)告業(yè)績(jī)指標(biāo)的數(shù)量、金額、百分比或排名等信息，這類 分析多數(shù)歸屬于描述性數(shù)據(jù)分析，而且是單變量分析的內(nèi)容。AC項(xiàng)涉及行為特點(diǎn)和商品特征的關(guān) 系，屬于多變量分析的內(nèi)容。

2.以下哪些內(nèi)容包含在數(shù)據(jù)分析層次級(jí)別中？

A. 即席查詢

B. 多維分析（又稱為鉆取或者OLAP）

C. 統(tǒng)計(jì)分析與警報(bào)

D. 與業(yè)務(wù)人員協(xié)商知識(shí)點(diǎn)

答案：ABC 解析：考察數(shù)據(jù)分析的八個(gè)層次，需要在理解的基礎(chǔ)上加以記憶。

3.統(tǒng)計(jì)模型主要用于解決哪幾類問(wèn)題？

A. 預(yù)測(cè)分類問(wèn)題

B. OLAP分析問(wèn)題

C. 相關(guān)分析

D. 市場(chǎng)細(xì)分問(wèn)題

答案：ACD 解析：A項(xiàng)、C項(xiàng)和D項(xiàng)是統(tǒng)計(jì)模型的典型問(wèn)題，但OLAP分析問(wèn)題并不是統(tǒng)計(jì)模型。

4.下列關(guān)于數(shù)據(jù)挖掘流程表達(dá)正確的一項(xiàng)是：

A. 方法論CRISP-DM與SEMMA是業(yè)內(nèi)公認(rèn)的權(quán)威流程，嚴(yán)格按照步驟做數(shù)據(jù)分析總不會(huì)出錯(cuò)的

B. CRISP-DM（譯為“跨行業(yè)”數(shù)據(jù)挖掘）在任何數(shù)據(jù)分析行業(yè)中均適用

C. SEMMA方法論是對(duì)CRISP-DM方法中的數(shù)據(jù)準(zhǔn)備和建模環(huán)節(jié)進(jìn)行了拓展

D. 由于數(shù)據(jù)比較整潔，所以可以不需要再做數(shù)據(jù)預(yù)處理，直接從建模開始

答案：C 解析：AB兩項(xiàng)都犯同一類錯(cuò)誤，就是過(guò)于迷信方法論的共識(shí)性，D項(xiàng)中數(shù)據(jù)分析的一般性 描述是很重要的預(yù)分析過(guò)程，不僅如此，模型對(duì)于數(shù)據(jù)的要求也很高，樣本探索、變量整理等預(yù)處理工作都不可省去。

5.關(guān)于客戶生命周期管理，下列哪一項(xiàng)不屬于對(duì)既有高價(jià)值客戶的分析內(nèi)容？

A. 行為信用評(píng)分

B. 初始信用評(píng)分

C. 產(chǎn)品精準(zhǔn)營(yíng)銷

D. 客戶留存管理

答案：B 解析：高價(jià)值客戶屬于企業(yè)的既有客戶，而初始信用評(píng)分屬于對(duì)潛在響應(yīng)客戶的 策略分析。

6.統(tǒng)計(jì)模型主要用于解決哪幾類問(wèn)題？

A.預(yù)測(cè)分類問(wèn)題

B.OLAP分析問(wèn)題

C.相關(guān)分析

D.市場(chǎng)細(xì)分問(wèn)題

答案：ACD 解析：A項(xiàng)、C項(xiàng)和D項(xiàng)是統(tǒng)計(jì)模型的典型問(wèn)題，但OLAP分析問(wèn)題并不屬于統(tǒng)計(jì)模型。

點(diǎn)擊CDA題庫(kù)鏈接，獲取免費(fèi)版CDA題庫(kù)入口，?？荚図樌焖倌米C！