數(shù)據(jù)分析入門之隨筆記

數(shù)據(jù)的一面是銀彈(Silver Bullet)：無所不能，增長黑客(Growth Hacking)，決策分析(Decision Making)；數(shù)據(jù)的另外一面是鏡子(Reflection)：可以看清楚很多茍且和遠(yuǎn)方的田野。如何發(fā)現(xiàn)利用數(shù)據(jù)的價值，就是數(shù)據(jù)分析的目標(biāo)。

數(shù)據(jù)分析的重要性可以分為兩點(diǎn)：

第一是幫助核心業(yè)務(wù)(Business)成長，找到和驗(yàn)證業(yè)務(wù)增長點(diǎn)
第二是有效的業(yè)務(wù)推動（Marketing），提高推廣的效率(ROI)。

我把營銷(Marketing)作為獨(dú)立的數(shù)據(jù)分析角度，因?yàn)閿?shù)字營銷極度依賴于數(shù)據(jù)分析，并且有一些通用的分析模型，它同時也是一個非常大的產(chǎn)業(yè)，它是各個軟件巨擘必爭之地。

最近十幾年，數(shù)據(jù)的收集和處理能力大大提升，越來越多的傳感器和數(shù)據(jù)收集，許多大公司的數(shù)據(jù)正在從TB級別走向PB級別?；ヂ?lián)網(wǎng)公司之間的模式競爭，也轉(zhuǎn)戰(zhàn)到對于數(shù)據(jù)價值的挖掘的能力上，很多時候也就是速度和效率的競爭。不要迷信數(shù)據(jù)，更不要忽視數(shù)據(jù)。很多時候，數(shù)據(jù)是你業(yè)務(wù)的指南針和護(hù)城河。

數(shù)據(jù)量快速增長，數(shù)據(jù)分析人才緊缺，數(shù)據(jù)分析工具依賴性，數(shù)據(jù)分析服務(wù)的強(qiáng)需求都反映了公司從粗放型到精細(xì)化的轉(zhuǎn)型。

1.什么是數(shù)據(jù)分析（Data Analysis）？

為了理解數(shù)據(jù)分析，首先理解一下數(shù)據(jù)的概念。管理學(xué)家羅素·艾可夫在1989的《 “From Data to Wisdom”，Human SystemsManagement 》提出了DIKW體系體系，這是關(guān)于數(shù)據(jù)、信息、知識及智慧的一個模型，完美詮釋了四者的關(guān)系。Data(數(shù)據(jù))->Information(信息）->Knowledge（知識)->Wisdom(智慧)。

2. 數(shù)據(jù)分析的技術(shù)

技術(shù)上就是以發(fā)現(xiàn)有用信息，知識和洞察為目的，進(jìn)行數(shù)據(jù)收集，處理，清晰，過濾，以支持決策制定。有好幾概念有些混淆，花點(diǎn)時間解釋一下：

a.   數(shù)據(jù)挖掘(Data Mining)：數(shù)據(jù)挖掘是以預(yù)測為目標(biāo)的數(shù)據(jù)建模和知識探索的一個子學(xué)科，好多年前，它一直是一個熱門的研究生專業(yè)，直到信息檢索專業(yè)的出現(xiàn)。

b.   商務(wù)智能(Business Intelligence):BI是一個利用數(shù)據(jù)的聚合(Aggregation)和分片(Slice)的能力，進(jìn)行業(yè)務(wù)監(jiān)控和洞察發(fā)掘。

數(shù)據(jù)分析也是一種藝術(shù)(Art)，所謂藝術(shù)就是結(jié)合技術(shù)，想象力，經(jīng)驗(yàn)和意愿的綜合因素的平衡和融合。數(shù)據(jù)分析也是一個經(jīng)驗(yàn)和想象力的融合：它涉及到數(shù)學(xué)算法，統(tǒng)計分析，工具和軟件工程的一種結(jié)合，最后的目的是解決業(yè)務(wù)的問題，幫助人從數(shù)據(jù)中獲得智慧。

下面列了幾個常用的分析技術(shù)范式：

1.     統(tǒng)計模型：利用統(tǒng)計模型處理數(shù)據(jù)的方法

2.     探索式(exploratory):不設(shè)定假設(shè)目標(biāo)，自由發(fā)掘和探索

3.     穩(wěn)定性(Stability ofResults)：分析結(jié)果的穩(wěn)定性評估，又是進(jìn)行交叉驗(yàn)證。

4.     假定驗(yàn)證(HypothesisTesting):預(yù)先設(shè)定好結(jié)論，通過測試校驗(yàn)結(jié)論

下面是涉及到算法，工程，統(tǒng)計等的相關(guān)技術(shù)，每一種細(xì)分技術(shù)都是一個大學(xué)問，好的數(shù)據(jù)科學(xué)家，可以游曳穿行其中，找到數(shù)據(jù)中有價值的洞察。

3.數(shù)據(jù)從業(yè)者的職業(yè)名稱

從事數(shù)據(jù)的工作者，歷史上我見識過了不少名稱，包括“數(shù)據(jù)分析師”，“數(shù)據(jù)經(jīng)理”，“運(yùn)營分析師”，“軟件工程師”，“算法工程師”，“策略分析師”，“數(shù)據(jù)科學(xué)家” 等等。其中最酷的名字還是LinkedIn發(fā)明的“數(shù)據(jù)科學(xué)家(Data Scientist)”，這個名稱也被Forbes評為本世紀(jì)最”性感“的工作了。我估計，這是全世界最多的科學(xué)家團(tuán)體了，小時候總覺得科學(xué)家必須白發(fā)蒼蒼才行的，現(xiàn)在很多同學(xué)剛畢業(yè)就是”數(shù)據(jù)科學(xué)家“，很讓人羨慕。

數(shù)據(jù)分析實(shí)際上是三個方面的融合，包括數(shù)據(jù)，工程和業(yè)務(wù)。數(shù)據(jù)是智慧的原礦石，工程是采礦機(jī)，業(yè)務(wù)是指北針，只有三個方面融合起來，才能最有效的發(fā)現(xiàn)數(shù)據(jù)的價值。我相信一個好的數(shù)據(jù)分析師必須有工程背景，必須對數(shù)據(jù)敏感，而且愿意主動解決業(yè)務(wù)問題。

4.數(shù)據(jù)分析公司的生態(tài)圈

數(shù)據(jù)分析的的公司非常多，大大小小，林林總總。有小而美的硅谷創(chuàng)業(yè)公司，有老牌大公司的老樹新花。很多創(chuàng)業(yè)公司的市值一路飆升到無法接盤的狀態(tài)。例如，Palantir估值已經(jīng)到了200億美元，但是最近可持續(xù)的收入?yún)s不斷減少，引來不少麻煩。

我把數(shù)據(jù)分析公司分為三類:

第一類是基礎(chǔ)服務(wù)提供者，主要提供一些軟件工具，Hadoop和Spark的生態(tài)公司，幫助數(shù)據(jù)基礎(chǔ)架構(gòu)的建設(shè)，也包括一些數(shù)據(jù)可視化公司。

第二類是通用分析服務(wù)提供公司，包括Palantir，IBM的Watson Analytics，SAS, Google Analytics 等等，這類公司提供數(shù)據(jù)分析服務(wù)或者工具，利用專家背景，系統(tǒng)規(guī)模和數(shù)據(jù)資源，幫助解決客戶的問題，特別是很多老牌公司通過收購傳統(tǒng)數(shù)據(jù)分析公司，快速重新包裝成新的高大上產(chǎn)品。

第三類是專注行業(yè)的數(shù)據(jù)分析公司，例如生物信息，市場營銷分析等等。

5.三種常見的業(yè)務(wù)分析模型：

GrowthHacker，AARRR，LTV

看完了欣欣向榮的數(shù)據(jù)分析行業(yè)，是不是感到有些熱血沸騰。不過我們還是要回到現(xiàn)實(shí)的的，落地的數(shù)據(jù)分析任務(wù)。大部分互聯(lián)網(wǎng)公司，面臨的業(yè)務(wù)增長的壓力，都希望通過數(shù)據(jù)分析來提升競爭力。其中，有三種常見的業(yè)務(wù)運(yùn)營增長模型。

1.   黑客文化的Growth Hacker

2.   經(jīng)典的AARRR漏斗模型

3.   游戲中的LTV模型

1)   增長黑客（Growth Hacker）的數(shù)據(jù)和分析

GrowthHacking，它指的是一種用戶增長的方式，簡單說就是通過某些手段和策略幫幫助公司形成快速成長，通常是數(shù)據(jù)驅(qū)動的方法。對創(chuàng)業(yè)公司、特別是初創(chuàng)公司來說，在沒有廣告預(yù)算、市場營銷活動以及市場推廣專員的情況下，GrowthHacking 也可以獲得良好的效果。

2)    AARRR模型

AARRR是Acquisition、Activation、Retention、Revenue、Refer，這個五個單詞的縮寫，分別對應(yīng)這一款移動應(yīng)用生命周期中的5個重要環(huán)節(jié)。每一個環(huán)節(jié)都有些關(guān)鍵指標(biāo)，可以進(jìn)行數(shù)據(jù)分析，找到提升的機(jī)會。

3)    生命周期價值（LTV）模型：

LTV是LifeTime Value，它是游戲行業(yè)用于衡量用戶價值的一種方式和模型。LTV是指在一定時間內(nèi)，某一客戶可能為企業(yè)帶來的利潤額.顧客終身價值是指企業(yè)在獲得新顧客后的一段時間內(nèi)，每一位顧客的平均利潤凈現(xiàn)值。由于游戲有很強(qiáng)的時間相關(guān)性，因此LTV會累計一段時間的數(shù)據(jù)。

6.   幾個有特點(diǎn)的數(shù)據(jù)分析工具

從公司類型上來說，數(shù)據(jù)分析公司簡單可以分為兩類：1傳統(tǒng)大型IT公司  2互聯(lián)網(wǎng)創(chuàng)新公司。很多傳統(tǒng)大公司都涌入數(shù)據(jù)分析行業(yè)，大多都是希望利用自己的客戶，硬件和軟件優(yōu)勢，通過數(shù)據(jù)分析轉(zhuǎn)型成SaaS服務(wù)提供商，例如IBM，Oracle等。另外一個就是互聯(lián)網(wǎng)創(chuàng)新公司，大量數(shù)據(jù)科學(xué)家形成了大大小小數(shù)據(jù)分析創(chuàng)業(yè)公司，

小結(jié)

數(shù)據(jù)分析從來就是一個熱門詞，像人工智能一樣，從來都吸引眼球；很多時候，數(shù)據(jù)被濫用成了一把上方寶劍，誰不服就用數(shù)據(jù)砸誰。實(shí)際上，數(shù)據(jù)告訴你的更多的眼前的茍且，而我們需要思考的更多的是詩和遠(yuǎn)方。數(shù)據(jù)分析可以給我提供很多的數(shù)字，但卻無法代替的人的思考:如何簡化問題?如何抽象和分解復(fù)雜？如何排除萬難？數(shù)據(jù)分析只會讓工作更加有意思和挑戰(zhàn)！