大數據時代 | 數據分析方法及理論詳解

1 數據分析前，我們需要思考

像一場戰(zhàn)役的總指揮影響著整個戰(zhàn)役的勝敗一樣，數據分析師的思想對于整體分析思路，甚至分析結果都有著關鍵性的作用。

2 分析問題和解決問題的思路

定義問題(重要步驟之一)：

1)首先，要搞清楚問題的實質，準確、完整、真實地表達問題。

2)其次，弄清楚為什么要解決這個問題?

3)最后，解決這個問題的意義何在?是必須解決還是無關緊要，或是需要馬上解決這個問題還是不太著急。

收集整理信息：

搜集、整理關于要解決問題的歷史資料、類似情況和現狀。例如，從現有的報表數據中就能看到當前問題點的數據情況或者一段時間的趨勢;

選取分析方法：

1)分析涉及到的主要維度，為后面提取數據需求做準備;

2)選取的分析軟件以及分析方法(統計學相關方法);

數據提取整理(重要步驟之二)：

1)根據分析內容以及分析方法，提出分析所需的數據需求;

2)對于反饋回來的數據，需要進行部分加工，以便更能反映所要分析的問題;

分析結果及結論：

1)根據分析的結果，得出一些當前問題產生的一些結論。這里注意分析的方法以及維度，結果的展示方式等。

2)結論需要足夠的數據作支撐;

實施及建議措施：

1)針對數據分析結論，給出當前問題的解決建議措施;

2)一方面從業(yè)務層面進行建議措施。另一方面，可以就問題點進行更深層次分析，給出數據挖掘層面的解決措施;

實施效果評估及報告整理：

1)根據措施實施效果進行評估，將完成的分析過程、結果以及評估整理報告，為以后出現問題提供經驗教訓;

2)對于本次沒有完全解決的問題，進行說明。

3 精確地陳述問題

5W2H法：

5W：What、When、Where、Who、Why;

2H:How many、How much;

Where——哪里存在問題?

What——存在的問題是什么?

Why——原因在哪里?

When——什么時候開始出現這樣的問題?

Who——與什么對象有關?

How many——發(fā)生的次數和數量?

How much——損失有多大?

4 問題展示方式

問題結構是由現狀、直接原因以及最終原因構成的。針對直接原因進行的叫初步問題分析、針對最終原因進行分析的叫深層及問題分析。

5 分析方法

統計方法的三大特性，用三句話來簡單概括：

1)實用性：除了實情，數據能證明一切;

2)豐富性：統計揭露出的部分固然明晰，沒揭露出來的或許更重要;

3)公平性：每個人都應當用數據說話。

“五點法”：最小值、1/4分位數、均值、3/4分位數、最大值;

“兩度”：峰度、偏度

六西格瑪：

按挖掘方法分類：包括統計方法、機器學習方法、神經網絡方法和數據庫方法。

其中：

1)統計方法可分為：判別分析(貝葉斯判別、費謝爾判別、非參數判別等)，聚類分析(系統聚類、動態(tài)聚類等)，探索性分析(主成分分析等)等。

2)機器學習方法可分為：歸納學習方法(決策樹、規(guī)則歸納等)，基于范例學習，遺傳算法等。

3)神經網絡方法可分為：前向神經網絡(BP算法等)，自組織神經網絡(自組織特征映射、競爭學習等)。

4)數據庫方法分為：多維數據分析和OLAP技術，此外還有面向屬性的歸納方法。

關聯規(guī)則：關聯規(guī)則反映一個事物與其他事物之間的相互依存性和關聯性，如果兩個事物或者多個事物之間存在一定的關聯關系，那么其中一個事物就能夠通過其他事物預測到。

9 選取分析所需的相關數據

在現實社會中，存在著大量的“臟數據”：

不完整性(數據結構的設計人員、數據采集設備和數據錄入人員)：

1)缺少感興趣的屬性

2)感興趣的屬性缺少部分屬性值

3)僅僅包含聚合數據，沒有詳細數據

噪音數據(采集數據的設備、數據錄入人員、數據傳輸)：

1)數據中包含錯誤的信息

2)存在著部分偏離期望值的孤立點

不一致性(數據結構的設計人員、數據錄入人員)：

1)數據結構的不一致性

2)Label的不一致性

3)數據值的不一致性

數據類型沖突：

1)性別：string(Male、Female)、Char(M、F)、Integer(0、1)

2)日期：Date、DateTime、Sting

數據標簽沖突：解決同名異義、異名同義：

學生成績、分數

度量單位沖突：

1)學生成績

a.百分制：100~0

b.五分制：A、B、C、D、E

c.字符表示：優(yōu)、良、及格、不及格

概念不清：

最近交易額：前一個小時、昨天、本周、本月

聚焦沖突：根源在于表結構的設計

11 數據的清洗處理

主要任務：

補充缺失數據

識別孤立點

處理不一致的數據

處理方法：

分箱(Binning)的方法：

聚類方法：檢測并消除異常點

線性回歸：對不符合回歸的數據進行平滑處理

人機結合共同檢測：由計算機檢測可疑的點，然后由用戶確認

12 怎樣將分析的結果呈現出來

?指標分析與政策分析并重

?反映重點問題、實事求是

?材料、數據要真實，論據要有說服力

13 分析結果呈現基本原則

數據分析結果呈現準備工作：

確定表達的主題：

?使用圖形的目的：

將思想和觀點形象化地表達，加深讀者或聽眾的印象

?使用圖標時，必須明確通過圖表要表達的信息是什么

確定對比關系：

?同一類別不同項目間的對比

?不同類別不同項目間的對比

14 如何用圖來表示數據

15 常見的分析模式

內容決定形式、形式服務于內容，當形式經過時間考驗被普遍接受后就固化成一種模式。

16 分析總結及建議措施

建議措施分類：業(yè)務層面;數據挖掘

17 實施效果評估及報告整理

1)營銷活動效果反饋數據，分析對于問題的解決程度

2)業(yè)務模型優(yōu)化提升