大數(shù)據(jù)時代 | 數(shù)據(jù)分析方法及理論詳解

1 數(shù)據(jù)分析前，我們需要思考

像一場戰(zhàn)役的總指揮影響著整個戰(zhàn)役的勝敗一樣，數(shù)據(jù)分析師的思想對于整體分析思路，甚至分析結(jié)果都有著關(guān)鍵性的作用。

2 分析問題和解決問題的思路

定義問題(重要步驟之一)：

1)首先，要搞清楚問題的實質(zhì)，準(zhǔn)確、完整、真實地表達(dá)問題。

2)其次，弄清楚為什么要解決這個問題?

3)最后，解決這個問題的意義何在?是必須解決還是無關(guān)緊要，或是需要馬上解決這個問題還是不太著急。

收集整理信息：

搜集、整理關(guān)于要解決問題的歷史資料、類似情況和現(xiàn)狀。例如，從現(xiàn)有的報表數(shù)據(jù)中就能看到當(dāng)前問題點的數(shù)據(jù)情況或者一段時間的趨勢;

選取分析方法：

1)分析涉及到的主要維度，為后面提取數(shù)據(jù)需求做準(zhǔn)備;

2)選取的分析軟件以及分析方法(統(tǒng)計學(xué)相關(guān)方法);

數(shù)據(jù)提取整理(重要步驟之二)：

1)根據(jù)分析內(nèi)容以及分析方法，提出分析所需的數(shù)據(jù)需求;

2)對于反饋回來的數(shù)據(jù)，需要進(jìn)行部分加工，以便更能反映所要分析的問題;

分析結(jié)果及結(jié)論：

1)根據(jù)分析的結(jié)果，得出一些當(dāng)前問題產(chǎn)生的一些結(jié)論。這里注意分析的方法以及維度，結(jié)果的展示方式等。

2)結(jié)論需要足夠的數(shù)據(jù)作支撐;

實施及建議措施：

1)針對數(shù)據(jù)分析結(jié)論，給出當(dāng)前問題的解決建議措施;

2)一方面從業(yè)務(wù)層面進(jìn)行建議措施。另一方面，可以就問題點進(jìn)行更深層次分析，給出數(shù)據(jù)挖掘層面的解決措施;

實施效果評估及報告整理：

1)根據(jù)措施實施效果進(jìn)行評估，將完成的分析過程、結(jié)果以及評估整理報告，為以后出現(xiàn)問題提供經(jīng)驗教訓(xùn);

2)對于本次沒有完全解決的問題，進(jìn)行說明。

3 精確地陳述問題

5W2H法：

5W：What、When、Where、Who、Why;

2H:How many、How much;

Where——哪里存在問題?

What——存在的問題是什么?

Why——原因在哪里?

When——什么時候開始出現(xiàn)這樣的問題?

Who——與什么對象有關(guān)?

How many——發(fā)生的次數(shù)和數(shù)量?

How much——損失有多大?

4 問題展示方式

問題結(jié)構(gòu)是由現(xiàn)狀、直接原因以及最終原因構(gòu)成的。針對直接原因進(jìn)行的叫初步問題分析、針對最終原因進(jìn)行分析的叫深層及問題分析。

5 分析方法

統(tǒng)計方法的三大特性，用三句話來簡單概括：

1)實用性：除了實情，數(shù)據(jù)能證明一切;

2)豐富性：統(tǒng)計揭露出的部分固然明晰，沒揭露出來的或許更重要;

3)公平性：每個人都應(yīng)當(dāng)用數(shù)據(jù)說話。

“五點法”：最小值、1/4分位數(shù)、均值、3/4分位數(shù)、最大值;

“兩度”：峰度、偏度

六西格瑪：

按挖掘方法分類：包括統(tǒng)計方法、機(jī)器學(xué)習(xí)方法、神經(jīng)網(wǎng)絡(luò)方法和數(shù)據(jù)庫方法。

其中：

1)統(tǒng)計方法可分為：判別分析(貝葉斯判別、費謝爾判別、非參數(shù)判別等)，聚類分析(系統(tǒng)聚類、動態(tài)聚類等)，探索性分析(主成分分析等)等。

2)機(jī)器學(xué)習(xí)方法可分為：歸納學(xué)習(xí)方法(決策樹、規(guī)則歸納等)，基于范例學(xué)習(xí)，遺傳算法等。

3)神經(jīng)網(wǎng)絡(luò)方法可分為：前向神經(jīng)網(wǎng)絡(luò)(BP算法等)，自組織神經(jīng)網(wǎng)絡(luò)(自組織特征映射、競爭學(xué)習(xí)等)。

4)數(shù)據(jù)庫方法分為：多維數(shù)據(jù)分析和OLAP技術(shù)，此外還有面向?qū)傩缘臍w納方法。

關(guān)聯(lián)規(guī)則：關(guān)聯(lián)規(guī)則反映一個事物與其他事物之間的相互依存性和關(guān)聯(lián)性，如果兩個事物或者多個事物之間存在一定的關(guān)聯(lián)關(guān)系，那么其中一個事物就能夠通過其他事物預(yù)測到。

9 選取分析所需的相關(guān)數(shù)據(jù)

在現(xiàn)實社會中，存在著大量的“臟數(shù)據(jù)”：

不完整性(數(shù)據(jù)結(jié)構(gòu)的設(shè)計人員、數(shù)據(jù)采集設(shè)備和數(shù)據(jù)錄入人員)：

1)缺少感興趣的屬性

2)感興趣的屬性缺少部分屬性值

3)僅僅包含聚合數(shù)據(jù)，沒有詳細(xì)數(shù)據(jù)

噪音數(shù)據(jù)(采集數(shù)據(jù)的設(shè)備、數(shù)據(jù)錄入人員、數(shù)據(jù)傳輸)：

1)數(shù)據(jù)中包含錯誤的信息

2)存在著部分偏離期望值的孤立點

不一致性(數(shù)據(jù)結(jié)構(gòu)的設(shè)計人員、數(shù)據(jù)錄入人員)：

1)數(shù)據(jù)結(jié)構(gòu)的不一致性

2)Label的不一致性

3)數(shù)據(jù)值的不一致性

數(shù)據(jù)類型沖突：

1)性別：string(Male、Female)、Char(M、F)、Integer(0、1)

2)日期：Date、DateTime、Sting

數(shù)據(jù)標(biāo)簽沖突：解決同名異義、異名同義：

學(xué)生成績、分?jǐn)?shù)

度量單位沖突：

1)學(xué)生成績

a.百分制：100~0

b.五分制：A、B、C、D、E

c.字符表示：優(yōu)、良、及格、不及格

概念不清：

最近交易額：前一個小時、昨天、本周、本月

聚焦沖突：根源在于表結(jié)構(gòu)的設(shè)計

11 數(shù)據(jù)的清洗處理

主要任務(wù)：

補(bǔ)充缺失數(shù)據(jù)

識別孤立點

處理不一致的數(shù)據(jù)

處理方法：

分箱(Binning)的方法：

聚類方法：檢測并消除異常點

線性回歸：對不符合回歸的數(shù)據(jù)進(jìn)行平滑處理

人機(jī)結(jié)合共同檢測：由計算機(jī)檢測可疑的點，然后由用戶確認(rèn)

12 怎樣將分析的結(jié)果呈現(xiàn)出來

?指標(biāo)分析與政策分析并重

?反映重點問題、實事求是

?材料、數(shù)據(jù)要真實，論據(jù)要有說服力

13 分析結(jié)果呈現(xiàn)基本原則

數(shù)據(jù)分析結(jié)果呈現(xiàn)準(zhǔn)備工作：

確定表達(dá)的主題：

?使用圖形的目的：

將思想和觀點形象化地表達(dá)，加深讀者或聽眾的印象

?使用圖標(biāo)時，必須明確通過圖表要表達(dá)的信息是什么

確定對比關(guān)系：

?同一類別不同項目間的對比

?不同類別不同項目間的對比

14 如何用圖來表示數(shù)據(jù)

15 常見的分析模式

內(nèi)容決定形式、形式服務(wù)于內(nèi)容，當(dāng)形式經(jīng)過時間考驗被普遍接受后就固化成一種模式。

16 分析總結(jié)及建議措施

建議措施分類：業(yè)務(wù)層面;數(shù)據(jù)挖掘

17 實施效果評估及報告整理

1)營銷活動效果反饋數(shù)據(jù)，分析對于問題的解決程度

2)業(yè)務(wù)模型優(yōu)化提升