從零開(kāi)始數(shù)據(jù)分析：一個(gè)數(shù)據(jù)分析師的數(shù)據(jù)分析流程

數(shù)據(jù)分析百科給出準(zhǔn)確定義：指用適當(dāng)?shù)?a href='/map/tongjifenxi/' style='color:#000;font-size:inherit;'>統(tǒng)計(jì)分析方法對(duì)收集來(lái)的大量數(shù)據(jù)進(jìn)行分析，提取有用信息和形成結(jié)論而對(duì)數(shù)據(jù)加以詳細(xì)研究和概括總結(jié)的過(guò)程。

簡(jiǎn)而言之就是有目的的收集數(shù)據(jù)、分析數(shù)據(jù)，使之成為信息的過(guò)程。

數(shù)據(jù)分析過(guò)程1、探索性數(shù)據(jù)分析

初步獲取的數(shù)據(jù)是雜亂無(wú)章的，通過(guò)圖表形式對(duì)數(shù)據(jù)進(jìn)行整合，找尋數(shù)據(jù)之間存在的關(guān)系。

2、模型選定分析

通過(guò)探索性數(shù)據(jù)分析，歸納出一類甚至是多類數(shù)據(jù)模型，通過(guò)對(duì)模型再次整合，進(jìn)一步分析出一定的模型。

3、推斷分析

通常使用數(shù)理統(tǒng)計(jì)方法對(duì)所定模型或估計(jì)的可靠程度和精確程度作出推斷。

數(shù)據(jù)分析流程

完整數(shù)據(jù)分析流程圖

1. 識(shí)別信息需求

識(shí)別信息需求是確保數(shù)據(jù)分析過(guò)程有效性的首要條件，可以為收集數(shù)據(jù)、分析數(shù)據(jù)提供清晰的目標(biāo)。

2.數(shù)據(jù)采集

了解數(shù)據(jù)采集的意義在于真正了解數(shù)據(jù)的原始面貌，包括數(shù)據(jù)產(chǎn)生的時(shí)間、條件、格式、內(nèi)容、長(zhǎng)度、限制條件等。幫助數(shù)據(jù)分析師更有針對(duì)性的控制數(shù)據(jù)生產(chǎn)和采集過(guò)程，避免由于違反數(shù)據(jù)采集規(guī)則導(dǎo)致的數(shù)據(jù)問(wèn)題；同時(shí)對(duì)數(shù)據(jù)采集邏輯的認(rèn)識(shí)增加了數(shù)據(jù)分析師對(duì)數(shù)據(jù)的理解程度，尤其是數(shù)據(jù)中的異常變化。

在數(shù)據(jù)采集階段，數(shù)據(jù)分析師需要更多的了解數(shù)據(jù)生產(chǎn)和采集過(guò)程中的異常情況，能很大程度上避免“垃圾數(shù)據(jù)進(jìn)導(dǎo)致垃圾數(shù)據(jù)出”的問(wèn)題。

2.數(shù)據(jù)存儲(chǔ)

在數(shù)據(jù)存儲(chǔ)階段，數(shù)據(jù)分析師需要了解數(shù)據(jù)存儲(chǔ)內(nèi)部的工作機(jī)制和流程，最核心的因素是在原始數(shù)據(jù)基礎(chǔ)上經(jīng)過(guò)哪些加工處理，最后得到了怎樣的數(shù)據(jù)。由于數(shù)據(jù)在存儲(chǔ)階段是不斷動(dòng)態(tài)變化和迭代更新的，其及時(shí)性、完整性、有效性、一致性、準(zhǔn)確性很多時(shí)候由于軟硬件、內(nèi)外部環(huán)境問(wèn)題無(wú)法保證，這些都會(huì)導(dǎo)致后期數(shù)據(jù)應(yīng)用問(wèn)題。

3.數(shù)據(jù)提取

數(shù)據(jù)提取是將數(shù)據(jù)取出的過(guò)程，數(shù)據(jù)提取的核心環(huán)節(jié)是從哪取、何時(shí)取、如何取。

在數(shù)據(jù)提取階段，數(shù)據(jù)分析師首先需要具備數(shù)據(jù)提取能力。常用的Select From語(yǔ)句是SQL查詢和提取的必備技能，但即使是簡(jiǎn)單的取數(shù)工作也有不同層次。

第一層是從單張數(shù)據(jù)庫(kù)中按條件提取數(shù)據(jù)的能力，where是基本的條件語(yǔ)句；

第二層是掌握跨庫(kù)表提取數(shù)據(jù)的能力，不同的join有不同的用法；

第三層是優(yōu)化SQL語(yǔ)句，通過(guò)優(yōu)化嵌套、篩選的邏輯層次和遍歷次數(shù)等，減少個(gè)人時(shí)間浪費(fèi)和系統(tǒng)資源消耗。

4.數(shù)據(jù)挖掘

數(shù)據(jù)挖掘是面對(duì)海量數(shù)據(jù)時(shí)進(jìn)行數(shù)據(jù)價(jià)值提煉的關(guān)鍵，以下是算法選擇的基本原則：

沒(méi)有最好的算法，只有最適合的算法，算法選擇的原則是兼具準(zhǔn)確性、可操作性、可理解性、可應(yīng)用性。

沒(méi)有一種算法能解決所有問(wèn)題，但精通一門算法可以解決很多問(wèn)題。

挖掘算法最難的是算法調(diào)優(yōu)，同一種算法在不同場(chǎng)景下的參數(shù)設(shè)定相同，實(shí)踐是獲得調(diào)優(yōu)經(jīng)驗(yàn)的重要途徑。

在數(shù)據(jù)挖掘階段，數(shù)據(jù)分析師要掌握數(shù)據(jù)挖掘相關(guān)能力：一是數(shù)據(jù)挖掘、統(tǒng)計(jì)學(xué)、數(shù)學(xué)基本原理和常識(shí)；二是熟練使用一門數(shù)據(jù)挖掘工具，Clementine、SAS或R都是可選項(xiàng)，如果是程序出身也可以選擇編程實(shí)現(xiàn)；三是需要了解常用的數(shù)據(jù)挖掘算法以及每種算法的應(yīng)用場(chǎng)景和優(yōu)劣差異點(diǎn)。

5.數(shù)據(jù)分析

分析數(shù)據(jù)是將收集的數(shù)據(jù)通過(guò)加工、整理和分析、使其轉(zhuǎn)化為信息，通常所用的方法有：

老七種工具，即排列圖、因果圖、分層法、調(diào)查表、散步圖、直方圖、控制圖；

新七種工具，即關(guān)聯(lián)圖、系統(tǒng)圖、矩陣圖、KJ法、計(jì)劃評(píng)審技術(shù)、PDPC法、矩陣數(shù)據(jù)圖；

數(shù)據(jù)分析相對(duì)于數(shù)據(jù)挖掘更多的是偏向業(yè)務(wù)應(yīng)用和解讀，當(dāng)數(shù)據(jù)挖掘算法得出結(jié)論后，如何解釋算法在結(jié)果、可信度、顯著程度等方面對(duì)于業(yè)務(wù)的實(shí)際意義，如何將挖掘結(jié)果反饋到業(yè)務(wù)操作過(guò)程中便于業(yè)務(wù)理解和實(shí)施是關(guān)鍵。

6.數(shù)據(jù)可視化

數(shù)據(jù)分析界有一句經(jīng)典名言，字不如表，表不如圖。別說(shuō)平常人，數(shù)據(jù)分析師自己看數(shù)據(jù)也頭大。這時(shí)就得靠數(shù)據(jù)可視化的神奇魔力了。除掉數(shù)據(jù)挖掘這類高級(jí)分析，不少數(shù)據(jù)分析師的平常工作之一就是監(jiān)控?cái)?shù)據(jù)觀察數(shù)據(jù)。

7.數(shù)據(jù)應(yīng)用

數(shù)據(jù)應(yīng)用是數(shù)據(jù)具有落地價(jià)值的直接體現(xiàn)，這個(gè)過(guò)程需要數(shù)據(jù)分析師具備數(shù)據(jù)溝通能力、業(yè)務(wù)推動(dòng)能力和項(xiàng)目工作能力。

數(shù)據(jù)溝通能力。深入淺出的數(shù)據(jù)報(bào)告、言簡(jiǎn)意賅的數(shù)據(jù)結(jié)論更利于業(yè)務(wù)理解和接受。

業(yè)務(wù)推動(dòng)能力。在業(yè)務(wù)理解數(shù)據(jù)的基礎(chǔ)上，推動(dòng)業(yè)務(wù)落地實(shí)現(xiàn)數(shù)據(jù)建議。

項(xiàng)目工作能力。數(shù)據(jù)項(xiàng)目工作是循序漸進(jìn)的過(guò)程，無(wú)論是一個(gè)數(shù)據(jù)分析項(xiàng)目還是數(shù)據(jù)產(chǎn)品項(xiàng)目，都需要數(shù)據(jù)分析師具備計(jì)劃、領(lǐng)導(dǎo)、組織、控制的項(xiàng)目工作能力。

附：數(shù)據(jù)分析常用方法

1、描述性統(tǒng)計(jì)分析

包括樣本基本資料的描述，作各變量的次數(shù)分配及百分比分析，以了解樣本的分布情況。

此外，以平均數(shù)和標(biāo)準(zhǔn)差來(lái)描述市場(chǎng)導(dǎo)向、競(jìng)爭(zhēng)優(yōu)勢(shì)、組織績(jī)效等各個(gè)構(gòu)面，以了解樣本企業(yè)的管理人員對(duì)這些相關(guān)變量的感知，并利用t檢驗(yàn)及相關(guān)分析對(duì)背景變量所造成的影響做檢驗(yàn)。

2、Cronbach’a信度系數(shù)分析

信度是指測(cè)驗(yàn)結(jié)果的一致性、穩(wěn)定性及可靠性，一般多以內(nèi)部一致性（consistency）來(lái)加以表示該測(cè)驗(yàn)信度的高低，信度系數(shù)愈高即表示該測(cè)驗(yàn)的結(jié)果愈一致、穩(wěn)定與可靠。

針對(duì)各研究變量的衡量題項(xiàng)進(jìn)行Cronbach’a信度分析，以了解衡量構(gòu)面的內(nèi)部一致性。一般來(lái)說(shuō)，Cronbach’a僅大于0.7為高信度，低于0.35為低信度（Cuieford，1965），0.5為最低可以接受的信度水準(zhǔn)（Nunnally，1978）。

3、探索性因素分析（exploratory factor analysis）和驗(yàn)證性因素分析（confirmatory factor analysis）

用以測(cè)試各構(gòu)面衡量題項(xiàng)的聚合效度（convergent validity）與區(qū)別效度（discriminant validity），因?yàn)閮H有信度是不夠的，可信度高的測(cè)量，可能是完全無(wú)效或是某些程度上無(wú)效，所以我們必須對(duì)效度進(jìn)行檢驗(yàn)。

效度是指工具是否能測(cè)出在設(shè)計(jì)時(shí)想測(cè)出的結(jié)果，收斂效度的檢驗(yàn)根據(jù)各個(gè)項(xiàng)目和所衡量的概念的因素的負(fù)荷量來(lái)決定，而區(qū)別效度的檢驗(yàn)是根據(jù)檢驗(yàn)性因素分析計(jì)算理論上相關(guān)概念的相關(guān)系數(shù)，檢定相關(guān)系數(shù)的95%信賴區(qū)間是否包含1.0，若不包含1.0，則可確認(rèn)為具有區(qū)別效度（Anderson，1987）。

4、結(jié)構(gòu)方程模型分析（structural equations modeling）

由于結(jié)構(gòu)方程模型結(jié)合了因素分析（factor analysis）和路徑分析（path analysis），并納入計(jì)量經(jīng)濟(jì)學(xué)的聯(lián)立方程式，可同時(shí)處理多個(gè)因變量，容許自變量和因變量含測(cè)量誤差，可同時(shí)估計(jì)因子結(jié)構(gòu)和因子關(guān)系，容許更大彈性的測(cè)量模型，可估計(jì)整個(gè)模型的擬合程度（Bollen和Long，1993），因而適用于整體模型的因果關(guān)系。

在模型參數(shù)的估計(jì)上，采用最大似然估計(jì)法（Maximum Likelihood，ML）；在模型的適合度檢驗(yàn)上，以基本的擬合標(biāo)準(zhǔn)（preliminary fit criteria）、整體模型擬合優(yōu)度（overall model fit）以及模型內(nèi)在結(jié)構(gòu)擬合優(yōu)度（fit of internal structure of model）（Bagozzi和Yi，1988）三個(gè)方面的各項(xiàng)指標(biāo)作為判定的標(biāo)準(zhǔn)。

在評(píng)價(jià)整體模式適配標(biāo)準(zhǔn)方面，本研究采用x2（卡方）/df（自由度）值、擬合優(yōu)度指數(shù)（goodness．of．f：iJt．in．dex，GFI）、平均殘差平方根（root—mean．square：residual，RMSR）、近似誤差均方根（root-mean—square-error-of-approximation，RMSEA）等指標(biāo)；模型內(nèi)在結(jié)構(gòu)擬合優(yōu)度則參考Bagozzi和Yi（1988）的標(biāo)準(zhǔn)，考察所估計(jì)的參數(shù)是否都到達(dá)顯著水平。