關于數(shù)據(jù)分析：你想知道的都在這里

數(shù)據(jù)分析的概念

數(shù)據(jù)分析是指用適當?shù)?a href='/map/tongjifenxi/' style='color:#000;font-size:inherit;'>統(tǒng)計分析方法對收集來的大量數(shù)據(jù)進行分析，將他們加以匯總和理解消化，以求最大化地開發(fā)數(shù)據(jù)的功能，發(fā)揮數(shù)據(jù)的作用。

做數(shù)據(jù)分析的原因

1、有效避免拍腦袋、主觀臆想；

2、為決策提供支撐，更能說服人；

3、通過數(shù)據(jù)分析，可以看到?jīng)Q策的效果、問題以及未來應該如何做。

知乎用戶@綃頁的答案很簡單，但卻一語中的：

1、“知錯能改，善莫大焉”——可是錯在哪里，數(shù)據(jù)分析告訴你。

2、“運籌帷幄之中，決勝千里之外”——怎么做好“運籌”，數(shù)據(jù)分析告訴你。

3、“以往鑒來，未卜先知”——怎么發(fā)現(xiàn)歷史的規(guī)律以預測未來，數(shù)據(jù)分析告訴你。

數(shù)據(jù)分析的作用

數(shù)據(jù)分析是把隱藏在一大批看似雜亂無章的數(shù)據(jù)背后的信息集中和提煉出來，總結出所研究對象的內在規(guī)律。在企業(yè)的日常經(jīng)營分析中有三大作用：

? 現(xiàn)狀分析：

告訴你過去發(fā)生了什么具體體現(xiàn)在：

第一，告訴你現(xiàn)階段的整體運營情況，通過各個經(jīng)營指標的完成情況來衡量企業(yè)的運營狀態(tài)，以說明企業(yè)整體運營是好了還是壞了好的程度如何，壞的程度又到哪里。

第二，告訴你企業(yè)各項業(yè)務的構成，讓你了解 企業(yè)各項業(yè)務的發(fā)展及變動情況，對企業(yè)運營狀況有更深入的了解。

現(xiàn)狀分析一般通過日常通報來完成，如日報、周報、月報等形式。

比如：電商類型網(wǎng)站的日報中的現(xiàn)狀分析會包括訂單數(shù)、新增用戶數(shù)、活躍率、留存率等指標同比或環(huán)比上漲還是降低了多少。

? 原因分析：

告訴你某一現(xiàn)狀為什么發(fā)生。

經(jīng)過第一階段的現(xiàn)狀分析，我們對企業(yè)的運營情況有基本了解，但不知道運營情況具體好在哪里。差在哪里，是什么原因引起的。這就需要原因分析。

原因分析一般是通過專題分析來完成的，根據(jù)企業(yè)運營情況選擇針對某一現(xiàn)狀進行原因分析。

比如：某電商網(wǎng)站某一天的日報中某件商品突然銷量突然增加，那么就需要針對這件商品銷量突然增加做專題分析，看是什么因素影響了該商品銷量大增。

也可以用于分析活躍率、留存率等下降或升高的原因。

? 預測分析：

告訴你將來會發(fā)生什么。

在了解企業(yè)運營狀況以后，有時還需要對企業(yè)未來發(fā)展趨勢做出預測，為制定企業(yè)運營目標及策略提供有效的參考與決策依據(jù)，以保證企業(yè)的可持續(xù)健康發(fā)展。

預測分析一般通過專題分析來完成，通常在制定企業(yè)季度、年度計劃時進行。

比如：通過上述的原因分析，我們就可以針對性做出一些政策，比如通過原因分析，我們可以得出面包的銷量在臺風來臨之際銷量會突增，那么我們在下次臺風來臨之前就應該多準備面包貨源，同時為了獲得更多的銷量做一系列準備。

數(shù)據(jù)分析的邏輯

一般而言，數(shù)據(jù)分析的邏輯是：先明確數(shù)據(jù)分析的目的、然后理清用戶消費流程和邏輯（實際上也就是梳理清楚業(yè)務邏輯），找出關鍵用戶行為和數(shù)據(jù)，分析用戶在消費行為中關鍵行為和數(shù)據(jù)找到問題，思考解決方案。

比如某電商做了一個專題活動，但效果卻并不理想，現(xiàn)在需要尋找原因，那么它的邏輯就大致是：首先理清用戶消費流程：專題活動頁面——商品頁面——下單購買，或者是通過搜索/導航——商品頁面——下單購買；然后找出關鍵的用戶行為：打開專題頁或通過搜索導航、進入商品頁面、點擊購買、下單等；再然后確認是用戶的哪個行為數(shù)據(jù)是否有異常的地方，也就是找到問題所在；最后就是思考怎樣去解決這個問題。

數(shù)據(jù)分析方法

在數(shù)據(jù)來源正確的前提下，數(shù)據(jù)分析的方法可以分為定性分析和定量分析。

定性分析，就是對事物的性質作出判斷，究竟它“是什么”。比如最近某一個產(chǎn)品的用戶活躍度大幅度提升，而結合該款產(chǎn)品最近的更新情況可知，用戶活躍度之所以大幅提升是該款產(chǎn)品上線了一個新功能導致的。

定量分析，是指對事情的數(shù)量做出統(tǒng)計，衡量它“有多少”。比如產(chǎn)品優(yōu)化了登錄注冊流程，這一優(yōu)化的效果是怎樣的，帶來了多少新注冊用戶，增長率是多少。

在《增長黑客》中有一段對數(shù)據(jù)分析的精彩論述，其中也有提到定性分析和定量分析的關系：

數(shù)據(jù)分析就是定性分析和定量分析的相互結合，不斷驗證的過程。提出假設、設計方案、分析數(shù)據(jù)、驗證或推翻假設，最終抽絲剝繭，逐漸接近真相。數(shù)據(jù)是相互印證的，彼此之間有如通過無形的網(wǎng)絡縱橫連接，只需輕輕按動其中一個就會驅使另外一個或一組產(chǎn)生變化。

通過數(shù)據(jù)分析得出的結論，應當能反推出其他數(shù)據(jù)，或是與其他數(shù)據(jù)分析得出的結果相一致。例如，假設某日在線訂餐網(wǎng)站的數(shù)據(jù)量猛升，猜測與天氣陰雨、用戶窩在辦公室或家中不愿出門有關，那么就應當去翻查近期之內網(wǎng)站在陰雨天期間的訪問數(shù)據(jù)，看是否出現(xiàn)了類似的攀升。

數(shù)據(jù)分析流程

明確目的——獲取數(shù)據(jù)——處理數(shù)據(jù)——尋找異常值——分析原因——得出結論——驗證結論

明確目的：清楚并理解此次分析的目的是什么，比如尋找某地城市的流量銳減的原因，這個很多時候是建立在你對業(yè)務邏輯/流程的理解，如果不了解的話，你所做的不是數(shù)據(jù)分析，頂多就是個數(shù)據(jù)整理的工作。而這就要求先確認分析維度，包括拉取什么數(shù)據(jù)、核心變量是什么、核心變量是否受到其他外界因素的影響（是否有其他需求上線？能否取到準確來源的數(shù)據(jù)？時間范圍的數(shù)據(jù)是否出現(xiàn)數(shù)據(jù)問題？）

獲取數(shù)據(jù)：很多時候我們需要自己動手從數(shù)據(jù)庫里拉取相關數(shù)據(jù)，在拉取數(shù)據(jù)時，需要注意以下幾點：

1、能在數(shù)據(jù)庫里處理的，就不要拉到excel中處理；（比如走勢圖對比，有的系統(tǒng)比較高端，不同日期、不同指標之間直接就可以進行對比，而好多新人會在剛開始做數(shù)據(jù)分析的時候把數(shù)據(jù)導出來，自己制作走勢圖。）

2、語句是否完整：引號、分號、group by；

3、條件限制是否準確：時間、平臺、頁面、類別、是否去重、是否清洗；

4、語句邏輯是否正確；所取時間段數(shù)據(jù)是否不受外界因素影響等等。

處理數(shù)據(jù)：保存拉取出來的數(shù)據(jù)作為原始數(shù)據(jù)，保留相應的語句；掌握常用函數(shù)（Vlookup、sum、sumifs、Average、if、If error）；當你認為所需要做的事情特別繁瑣時，找人問；或者將你的問題清楚表述，然后百度，你要相信，你所遇到的問題別人很有可能早就遇到過。

尋找異常值：則是需要結合具體的業(yè)務才能進行，因為不同平臺不同指標的異常值不同，我們需要熟悉自己平臺的哪些指標為哪些值時為異常值。

分析原因：找到異常值以后，我們需要分析異常值出現(xiàn)的原因，在分析原因時會用到幾種常見數(shù)據(jù)分析方法論和數(shù)據(jù)分析方法。

? 數(shù)據(jù)分析方法論主要是從宏觀角度指導如何進行數(shù)據(jù)分析，他就像是一個數(shù)據(jù)分析的前期規(guī)劃，指導后期數(shù)據(jù)分析工作的開展。

常見的數(shù)據(jù)分析方法論有：

?  PEST分析法（P—Political政治環(huán)境、E—Economic經(jīng)濟環(huán)境、S—Social社會環(huán)境、T—Technological技術環(huán)境）

?  5W2H分析法（Why、What、Who、When、Where、How、How much）

? 邏輯樹分析法：是將問題的所有子問題分層羅列，從最高層開始，逐步向下擴展。

?  4P營銷理論：Product（產(chǎn)品）、Price（價格）、Place（渠道）、Promotion（促銷）

? 用戶行為理論：用于用戶行為研究分析，用戶行為是指用戶對一個產(chǎn)品從認知、熟悉、試用、使用、忠誠的過程（常見指標有：IP、PV、頁面停留時間、跳出率、回訪者、流失率、關鍵字搜索、轉化率、登錄率）。

?  數(shù)據(jù)分析方法是指具體的分析方法，例如我們常見的對比分析、交叉分析、回歸分析、等數(shù)據(jù)分析法。

常見的數(shù)據(jù)分析方法

? 對比分析法

a  定義：將兩個或兩個以上的數(shù)據(jù)進行比較，分析他們的差異，從而揭示這些數(shù)據(jù)所代表的事物發(fā)展變化情況和規(guī)律性。

b  分類：對比分析法可以分為靜態(tài)比較和動態(tài)比較

●  靜態(tài)比較：同一時間條件下對不同總體指標的比較，如不同部門、不同地區(qū)、不同國家的比較，也叫橫向比較。

●  動態(tài)比較：同一總體條件下對不同時期指標數(shù)值的比較，也叫縱向比較。

c  實踐應用：常用于一下幾個維度。

與目標對比：實際完成值與目標進行對比，屬于橫比。

●  不同時期對比：選擇不同時期的指標數(shù)值作為對比標準，屬于縱比。

●  同級部門、單位、地區(qū)對比，屬于橫比。

●  行業(yè)內對比：與行業(yè)中的標桿企業(yè)、競爭對手或行業(yè)的平均水平進行對比，屬于橫比。

●  活動效果對比：對某項營銷活動開展前后進行對比，屬于縱比。

?  分組分析法

先經(jīng)過數(shù)據(jù)加工，對數(shù)據(jù)進行數(shù)據(jù)分組，然后對分組的數(shù)據(jù)進行分析。分組的目的是為了便于對比，把總體中具有不同性質的對象區(qū)分開，把性質相同的對象合并在一起，保持各組內對象屬性的一致性、組與組之間屬性的差異性，以便進一步運用各種數(shù)據(jù)分析方法來解釋內在的數(shù)量關系。

?  結構分析法  

指被分析總體內的各部分與總體之間進行對比的分析方法，即總體內各部分占總體的比例。（市場占有率是典型的應用）

?  平均分析法

運用計算平均數(shù)的方法來反映總體在一定的時間、地點條件下某一數(shù)量特征的一般水平。

平均指標可用于同一現(xiàn)象在不同地區(qū)、不同部門或單位間的對比，還可用于同一現(xiàn)象在不同時間的對比。

?   交叉分析法

通常用于分析兩個變量之間的關系，即同時將兩個有一定聯(lián)系的變量及其值交叉排列在一張表格內，使各變量值成為不同變量的交叉節(jié)點，形成交叉表。

?  漏斗圖分析法

漏斗圖可以很好的反映網(wǎng)站各步奏轉化率，利用對比法對同一環(huán)節(jié)優(yōu)化前后的效果進行對比分析來反映某個步奏轉化率的好壞。

（網(wǎng)站轉化率—漏斗圖）

?  矩陣關系分析法

相當于直角坐標系，橫縱坐標代表不同指標值（滿意度、重要性等）。

得出結論：根據(jù)原因分析得出結論。

驗證結論：則是需要從其他維度去驗證一下結論的可靠性，

數(shù)據(jù)分析幾大誤區(qū)

因為數(shù)據(jù)的客觀性，讓數(shù)據(jù)變成了發(fā)掘問題本質，尋找事物規(guī)律所需要用到的最有利的手段之一。但是，數(shù)據(jù)雖然客觀，有時也是會騙人的。在與數(shù)據(jù)打交道的過程中，我們可能經(jīng)常會犯一些錯誤，導致分析的結論出現(xiàn)較大的偏頗。因此，在做數(shù)據(jù)分析時，我們需要警惕這5個常見誤區(qū)：

1. 選取的樣本容量有誤

08年奧運會上，姚明的三分投籃命中率為100%，科比的三分投籃命中率為32%，那么是不是說姚明的三分投籃命中率要比科比高？

顯然不能這么說，因為那屆奧運會，姚明只投了一個三分球，科比投了53個。

因此，在做數(shù)據(jù)對比分析時，對于樣本的選取，需要制定相同的抽樣規(guī)則，減少分析結論的偏差性。

2. 錯判因果關系

某電商網(wǎng)站數(shù)據(jù)顯示，商品評論的數(shù)量與商品銷售額成正比。即一個商品評論數(shù)量越多，那么該商品的銷售額也會越高。

假如我們認為評論多是銷量高的原因的話，數(shù)據(jù)分析的結論就會指導我們，需要創(chuàng)造更多的商品評論來帶動商品銷量。

但如果真的這樣操作的話，就會發(fā)現(xiàn)很多商品的銷量對于評論的敏感度并不一樣，甚至很多商品銷量很高，但與其評論的多少毫無關系。

這里，我們就需要思考，評論真的是影響銷量的必然因素嗎？

除了評論之外，影響銷量的因素，還有其質量、價格、活動等，如果能完整的認識到這些因素，那我們要拉升商品銷量，首先會需要先從其他角度來考慮，而非評論入手。

因此，在分析數(shù)據(jù)的時候，正確判斷數(shù)據(jù)指標的邏輯關系應該找?guī)渍咧g的相關關系而不是因果關系。（該知識點來源于大數(shù)據(jù)時代）

3. 被數(shù)據(jù)的表達技巧所蒙蔽

上圖從表面上來看，第二個圖表顯然更吸引人，轉化率增長更加可喜。

但實際上，兩個圖表使用的是同一組數(shù)據(jù)。第二個圖表，僅僅是更改了縱軸范圍，就在視覺上覺得第二個的轉化率增長幅度更大。

因此，在做數(shù)據(jù)分析時，我們需要警惕一些數(shù)據(jù)處理的小計倆，不要被數(shù)據(jù)的視覺效果所蒙蔽。

4. 過度依賴數(shù)據(jù)

過度依賴數(shù)據(jù)，一方面，會讓我們做很多沒有價值的數(shù)據(jù)分析；另一方面，也會限制產(chǎn)品經(jīng)理本來應有的靈感和創(chuàng)意。

比如，分析馬車的數(shù)據(jù)，很可能我們得出的結論，是用戶需要一匹更快的馬車。如果過度依賴數(shù)據(jù)，局限了我們的思維，就很有可能不會有汽車的誕生。

很多優(yōu)秀甚至偉大的產(chǎn)品決策，并非通過數(shù)據(jù)發(fā)現(xiàn)的，而是一個產(chǎn)品經(jīng)理綜合智慧的體現(xiàn)。

最后:

數(shù)據(jù)是客觀的，但是，解讀數(shù)據(jù)的人是主觀的。只有正確的認識數(shù)據(jù)，才能正確的利用數(shù)據(jù)。

在做數(shù)據(jù)分析時，對待數(shù)據(jù)我們必須要有一個求證的心態(tài)，并需要時刻警惕那些被人處理過的二手數(shù)據(jù)。

專業(yè)數(shù)據(jù)分析師需要具備的能力

從數(shù)據(jù)分析的四個步驟來看清數(shù)據(jù)分析師需具備的能力和知識：

數(shù)據(jù)分析的四個步驟（這有別于數(shù)據(jù)挖掘流程：商業(yè)理解、數(shù)據(jù)理解、數(shù)據(jù)準備、模型搭建、模型評估、模型部署），是從更宏觀地展示數(shù)據(jù)分析的過程：獲取數(shù)據(jù)、處理數(shù)據(jù)、分析數(shù)據(jù)、呈現(xiàn)數(shù)據(jù)。

（一）  獲取數(shù)據(jù)

獲取數(shù)據(jù)的前提是對商業(yè)問題的理解，把商業(yè)問題轉化成數(shù)據(jù)問題，要通過現(xiàn)象發(fā)現(xiàn)本質，確定從哪些緯度來分析問題，界定問題后，進行數(shù)據(jù)的采集。此環(huán)節(jié)，需要數(shù)據(jù)分析師具備結構化的思維和對商業(yè)問題的理解能力。

推薦書籍：《金字塔原理》、麥肯錫三部曲：《麥肯錫意識》、《麥肯錫工具》、《麥肯錫方法》

工具：思維導圖、mindmanager軟件

（二）  處理數(shù)據(jù)

一個數(shù)據(jù)分析項目，通常數(shù)據(jù)處理時間占70%以上，使用先進的工具有利于提升效率，所以盡量學習最新最有效的處理工具，以下介紹的是最傳統(tǒng)的，但卻很有效率的工具：

Excel：日常在做通報、報告和抽樣分析中經(jīng)常用到，其圖表功能很強大，處理10萬級別的數(shù)據(jù)很輕松。

UltraEdit：文本工具，比TXT工具好用，打開和運行速度都比較快。

ACCESS：桌面數(shù)據(jù)庫，主要是用于日常的抽樣分析（做全量統(tǒng)計分析，消耗資源和時間較多，通常分析師會隨機抽取部分數(shù)據(jù)進行分析），使用SQL語言，處理100萬級別的數(shù)據(jù)還是很快捷。

Orcle、SQL sever：處理千萬級別的數(shù)據(jù)需要用到這兩類數(shù)據(jù)庫。

當然，在自己能力和時間允許的情況下，學習新流行的分布式數(shù)據(jù)庫及提升自身的編程能力，對未來的職業(yè)發(fā)展也有很大幫助。

分析軟件主要推薦：

SPSS系列：老牌的統(tǒng)計分析軟件，SPSS Statistics（偏統(tǒng)計功能、市場研究）、SPSS Modeler（偏數(shù)據(jù)挖掘）,不用編程，易學。

SAS：老牌經(jīng)典挖掘軟件，需要編程。

R：開源軟件，新流行，對非結構化數(shù)據(jù)處理效率上更高，需編程。

隨著文本挖掘技術進一步發(fā)展，對非結構化數(shù)據(jù)的分析需求也越來越大，需要進一步關注文本挖掘工具的使用。

（三）  分析數(shù)據(jù)

分析數(shù)據(jù)，需要用到各類的模型，包括關聯(lián)規(guī)則、聚類、分類、預測模型等，其中一個最重要的思想是對比，任何的數(shù)據(jù)需要在參照系下進行對比，結論才有意義。

推薦的書籍：

1、《數(shù)據(jù)挖掘與數(shù)據(jù)化運營實戰(zhàn)，思路、方法、技巧與應用》，盧輝著，機械出版社。這本書是近年國內寫得最好的，務必把它當作圣經(jīng)一樣來讀。

2、《誰說菜鳥不會數(shù)據(jù)分析（入門篇）》和《誰說菜鳥不會數(shù)據(jù)分析（工具篇）》，張文霖等編著。屬于入門級的書，適合初學者。

3、《統(tǒng)計學》第五版，賈俊平等編著，中國人民大學出版社。比較好的一本統(tǒng)計學的書。

4、《數(shù)據(jù)挖掘導論》完整版，[美]Pang-Ning Tan等著，范明等翻譯，人民郵電出版社。

5、《數(shù)據(jù)挖掘概念與技術》,Jiawei Han等著，范明等翻譯，機械工業(yè)出版社。這本書相對難一些。

6、《市場研究定量分析方法與應用》，簡明等編著，中國人民大學出版社。

7、《問卷統(tǒng)計分析實務---SPSS操作與應用》，吳明隆著，重慶大學出版社。在市場調查領域比較出名的一本書，對問卷調查數(shù)據(jù)分析講解比較詳細。

（四）  呈現(xiàn)數(shù)據(jù)

該部分需要把數(shù)據(jù)結果進行有效的呈現(xiàn)和演講匯報，需要用到金字塔原理、圖表及PPT、word的呈現(xiàn)，培養(yǎng)良好的演講能力。

推薦書籍：

1、《說服力讓你的PPT會說話》，張志等編著，人民郵電出版社。

2、《別告訴我你懂ppt》加強版，李治著，北京大學出版社。

3、《用圖表說話》，基恩。澤拉茲尼著，馬曉路等翻譯，清華大學出版社。

（五）  其他的知識結構

數(shù)據(jù)分析師除了具備數(shù)學知識外，還要具備市場研究、營銷管理、心理學、行為學、產(chǎn)品運營、互聯(lián)網(wǎng)、大數(shù)據(jù)等方面的知識，需要構建完整廣泛的知識體系，才能支撐解決日常遇到的不同類型的商業(yè)問題。

推薦書籍：

1、《消費者行為學》第10版，希夫曼等人著，江林等翻譯，中國人民大學出版社，現(xiàn)在應該更新到更高的版本。

2、《怪誕行為學》升級版，艾瑞里著，趙德亮等翻譯，中信出版社

3、《營銷管理》，科特勒等著，梅清豪翻譯，格致出版社和上海人民出版社聯(lián)合出版

4、《互聯(lián)網(wǎng)思維---獨孤九劍》，趙大偉主編，機械出版社

5、《大數(shù)據(jù)時代---生活、工作與思維的大變革》，舍恩伯格等著，周濤等翻譯，浙江人民出版社

PS：這里提到的能力要求為專業(yè)數(shù)據(jù)分析師需要掌握的技能，一般用數(shù)據(jù)來輔助產(chǎn)品、輔助運營的數(shù)據(jù)分析不需要這么高難度的。

數(shù)據(jù)分析是職業(yè)發(fā)展

1、數(shù)據(jù)分析師通常分兩類，分工不同，但各有優(yōu)勢。

一類是在專門的挖掘團隊里面從事數(shù)據(jù)挖掘和分析工作的。如果你能在這類專業(yè)團隊學習成長，那是幸運的，但進入這類團隊的門檻較高，需要扎實的數(shù)據(jù)挖掘知識、挖掘工具應用經(jīng)驗和編程能力。該類分析師更偏向技術線條，未來的職業(yè)通道可能走專家的技術路線。

另一類是下沉到各業(yè)務團隊或者運營部門的數(shù)據(jù)分析師，成為業(yè)務團隊的一員。他們工作是支撐業(yè)務運營，包括日常業(yè)務的異常監(jiān)控、客戶和市場研究、參與產(chǎn)品開發(fā)、建立數(shù)據(jù)模型提升運營效率等。該類型分析師偏向產(chǎn)品和運營，可以轉向做運營和產(chǎn)品。

2、數(shù)據(jù)分析師的理想行業(yè)在互聯(lián)網(wǎng)，但條條大道通羅馬，走合適你的路線。

從行業(yè)的角度來看：

1）互聯(lián)網(wǎng)行業(yè)是數(shù)據(jù)分析應用最廣的行業(yè)，其中的電商企業(yè)，更是目前最火的，而且企業(yè)也更重視數(shù)據(jù)分析的價值，是數(shù)據(jù)分析師理想的成長平臺。

2）其次是咨詢公司（比如專門的數(shù)據(jù)挖掘公司Teradata、尼爾森等市場研究公司），他們需要數(shù)據(jù)分析人才，而且相對來說，數(shù)據(jù)分析師在咨詢公司成長的速度更快，專業(yè)也會更全面。

3）再次是金融行業(yè)，比如銀行和證券等行業(yè)，該行業(yè)對數(shù)據(jù)分析的依賴需求，越來越大。

4）最后是電信行業(yè)（中國移動、聯(lián)通和電信），它們擁有海量的數(shù)據(jù)，在嚴峻的競爭下，也越來越重視數(shù)據(jù)分析，但進入這些公司的門檻比較高。