從零開始數(shù)據(jù)分析:一個數(shù)據(jù)分析師的數(shù)據(jù)分析流程

數(shù)據(jù)分析百科給出準確定義：指用適當?shù)?a href='/map/tongjifenxi/' style='color:#000;font-size:inherit;'>統(tǒng)計分析方法對收集來的大量數(shù)據(jù)進行分析，提取有用信息和形成結論而對數(shù)據(jù)加以詳細研究和概括總結的過程。

簡而言之就是有目的的收集數(shù)據(jù)、分析數(shù)據(jù)，使之成為信息的過程。

數(shù)據(jù)分析過程1、探索性數(shù)據(jù)分析

初步獲取的數(shù)據(jù)是雜亂無章的，通過圖表形式對數(shù)據(jù)進行整合，找尋數(shù)據(jù)之間存在的關系。

2、模型選定分析

通過探索性數(shù)據(jù)分析，歸納出一類甚至是多類數(shù)據(jù)模型，通過對模型再次整合，進一步分析出一定的模型。

3、推斷分析

通常使用數(shù)理統(tǒng)計方法對所定模型或估計的可靠程度和精確程度作出推斷。

數(shù)據(jù)分析流程

完整數(shù)據(jù)分析流程圖

1. 識別信息需求

識別信息需求是確保數(shù)據(jù)分析過程有效性的首要條件，可以為收集數(shù)據(jù)、分析數(shù)據(jù)提供清晰的目標。

2.數(shù)據(jù)采集

了解數(shù)據(jù)采集的意義在于真正了解數(shù)據(jù)的原始面貌，包括數(shù)據(jù)產(chǎn)生的時間、條件、格式、內(nèi)容、長度、限制條件等。幫助數(shù)據(jù)分析師更有針對性的控制數(shù)據(jù)生產(chǎn)和采集過程，避免由于違反數(shù)據(jù)采集規(guī)則導致的數(shù)據(jù)問題；同時對數(shù)據(jù)采集邏輯的認識增加了數(shù)據(jù)分析師對數(shù)據(jù)的理解程度，尤其是數(shù)據(jù)中的異常變化。

在數(shù)據(jù)采集階段，數(shù)據(jù)分析師需要更多的了解數(shù)據(jù)生產(chǎn)和采集過程中的異常情況，能很大程度上避免“垃圾數(shù)據(jù)進導致垃圾數(shù)據(jù)出”的問題。

2.數(shù)據(jù)存儲

在數(shù)據(jù)存儲階段，數(shù)據(jù)分析師需要了解數(shù)據(jù)存儲內(nèi)部的工作機制和流程，最核心的因素是在原始數(shù)據(jù)基礎上經(jīng)過哪些加工處理，最后得到了怎樣的數(shù)據(jù)。由于數(shù)據(jù)在存儲階段是不斷動態(tài)變化和迭代更新的，其及時性、完整性、有效性、一致性、準確性很多時候由于軟硬件、內(nèi)外部環(huán)境問題無法保證，這些都會導致后期數(shù)據(jù)應用問題。

3.數(shù)據(jù)提取

數(shù)據(jù)提取是將數(shù)據(jù)取出的過程，數(shù)據(jù)提取的核心環(huán)節(jié)是從哪取、何時取、如何取。

在數(shù)據(jù)提取階段，數(shù)據(jù)分析師首先需要具備數(shù)據(jù)提取能力。常用的Select From語句是SQL查詢和提取的必備技能，但即使是簡單的取數(shù)工作也有不同層次。

第一層是從單張數(shù)據(jù)庫中按條件提取數(shù)據(jù)的能力，where是基本的條件語句；

第二層是掌握跨庫表提取數(shù)據(jù)的能力，不同的join有不同的用法；

第三層是優(yōu)化SQL語句，通過優(yōu)化嵌套、篩選的邏輯層次和遍歷次數(shù)等，減少個人時間浪費和系統(tǒng)資源消耗。

4.數(shù)據(jù)挖掘

數(shù)據(jù)挖掘是面對海量數(shù)據(jù)時進行數(shù)據(jù)價值提煉的關鍵，以下是算法選擇的基本原則：

沒有最好的算法，只有最適合的算法，算法選擇的原則是兼具準確性、可操作性、可理解性、可應用性。

沒有一種算法能解決所有問題，但精通一門算法可以解決很多問題。

挖掘算法最難的是算法調(diào)優(yōu)，同一種算法在不同場景下的參數(shù)設定相同，實踐是獲得調(diào)優(yōu)經(jīng)驗的重要途徑。

在數(shù)據(jù)挖掘階段，數(shù)據(jù)分析師要掌握數(shù)據(jù)挖掘相關能力：一是數(shù)據(jù)挖掘、統(tǒng)計學、數(shù)學基本原理和常識；二是熟練使用一門數(shù)據(jù)挖掘工具，Clementine、SAS或R都是可選項，如果是程序出身也可以選擇編程實現(xiàn)；三是需要了解常用的數(shù)據(jù)挖掘算法以及每種算法的應用場景和優(yōu)劣差異點。

5.數(shù)據(jù)分析

分析數(shù)據(jù)是將收集的數(shù)據(jù)通過加工、整理和分析、使其轉(zhuǎn)化為信息，通常所用的方法有：

老七種工具，即排列圖、因果圖、分層法、調(diào)查表、散步圖、直方圖、控制圖；

新七種工具，即關聯(lián)圖、系統(tǒng)圖、矩陣圖、KJ法、計劃評審技術、PDPC法、矩陣數(shù)據(jù)圖；

數(shù)據(jù)分析相對于數(shù)據(jù)挖掘更多的是偏向業(yè)務應用和解讀，當數(shù)據(jù)挖掘算法得出結論后，如何解釋算法在結果、可信度、顯著程度等方面對于業(yè)務的實際意義，如何將挖掘結果反饋到業(yè)務操作過程中便于業(yè)務理解和實施是關鍵。

6.數(shù)據(jù)可視化

數(shù)據(jù)分析界有一句經(jīng)典名言，字不如表，表不如圖。別說平常人，數(shù)據(jù)分析師自己看數(shù)據(jù)也頭大。這時就得靠數(shù)據(jù)可視化的神奇魔力了。除掉數(shù)據(jù)挖掘這類高級分析，不少數(shù)據(jù)分析師的平常工作之一就是監(jiān)控數(shù)據(jù)觀察數(shù)據(jù)。

7.數(shù)據(jù)應用

數(shù)據(jù)應用是數(shù)據(jù)具有落地價值的直接體現(xiàn)，這個過程需要數(shù)據(jù)分析師具備數(shù)據(jù)溝通能力、業(yè)務推動能力和項目工作能力。

數(shù)據(jù)溝通能力。深入淺出的數(shù)據(jù)報告、言簡意賅的數(shù)據(jù)結論更利于業(yè)務理解和接受。

業(yè)務推動能力。在業(yè)務理解數(shù)據(jù)的基礎上，推動業(yè)務落地實現(xiàn)數(shù)據(jù)建議。

項目工作能力。數(shù)據(jù)項目工作是循序漸進的過程，無論是一個數(shù)據(jù)分析項目還是數(shù)據(jù)產(chǎn)品項目，都需要數(shù)據(jù)分析師具備計劃、領導、組織、控制的項目工作能力。

附：數(shù)據(jù)分析常用方法

1、描述性統(tǒng)計分析

包括樣本基本資料的描述，作各變量的次數(shù)分配及百分比分析，以了解樣本的分布情況。

此外，以平均數(shù)和標準差來描述市場導向、競爭優(yōu)勢、組織績效等各個構面，以了解樣本企業(yè)的管理人員對這些相關變量的感知，并利用t檢驗及相關分析對背景變量所造成的影響做檢驗。

2、Cronbach’a信度系數(shù)分析

信度是指測驗結果的一致性、穩(wěn)定性及可靠性，一般多以內(nèi)部一致性（consistency）來加以表示該測驗信度的高低，信度系數(shù)愈高即表示該測驗的結果愈一致、穩(wěn)定與可靠。

針對各研究變量的衡量題項進行Cronbach’a信度分析，以了解衡量構面的內(nèi)部一致性。一般來說，Cronbach’a僅大于0.7為高信度，低于0.35為低信度（Cuieford，1965），0.5為最低可以接受的信度水準（Nunnally，1978）。

3、探索性因素分析（exploratory factor analysis）和驗證性因素分析（confirmatory factor analysis）

用以測試各構面衡量題項的聚合效度（convergent validity）與區(qū)別效度（discriminant validity），因為僅有信度是不夠的，可信度高的測量，可能是完全無效或是某些程度上無效，所以我們必須對效度進行檢驗。

效度是指工具是否能測出在設計時想測出的結果，收斂效度的檢驗根據(jù)各個項目和所衡量的概念的因素的負荷量來決定，而區(qū)別效度的檢驗是根據(jù)檢驗性因素分析計算理論上相關概念的相關系數(shù)，檢定相關系數(shù)的95%信賴區(qū)間是否包含1.0，若不包含1.0，則可確認為具有區(qū)別效度（Anderson，1987）。

4、結構方程模型分析（structural equations modeling）

由于結構方程模型結合了因素分析（factor analysis）和路徑分析（path analysis），并納入計量經(jīng)濟學的聯(lián)立方程式，可同時處理多個因變量，容許自變量和因變量含測量誤差，可同時估計因子結構和因子關系，容許更大彈性的測量模型，可估計整個模型的擬合程度（Bollen和Long，1993），因而適用于整體模型的因果關系。

在模型參數(shù)的估計上，采用最大似然估計法（Maximum Likelihood，ML）；在模型的適合度檢驗上，以基本的擬合標準（preliminary fit criteria）、整體模型擬合優(yōu)度（overall model fit）以及模型內(nèi)在結構擬合優(yōu)度（fit of internal structure of model）（Bagozzi和Yi，1988）三個方面的各項指標作為判定的標準。

在評價整體模式適配標準方面，本研究采用x2（卡方）/df（自由度）值、擬合優(yōu)度指數(shù)（goodness．of．f：iJt．in．dex，GFI）、平均殘差平方根（root—mean．square：residual，RMSR）、近似誤差均方根（root-mean—square-error-of-approximation，RMSEA）等指標；模型內(nèi)在結構擬合優(yōu)度則參考Bagozzi和Yi（1988）的標準，考察所估計的參數(shù)是否都到達顯著水平。數(shù)據(jù)分析培訓