如何從一開始就設計好數(shù)據(jù)分析的基本框架

下面這篇文章中向我們講解創(chuàng)業(yè)者們?nèi)绾慰梢詮囊婚_始就設計好數(shù)據(jù)分析的基本框架：將數(shù)據(jù)儲存于何處？用什么工具分析最好？可以規(guī)避哪些常見的錯誤？以及，今天的你如何亡羊補牢？

關于數(shù)據(jù)分析，避免6個錯誤

1. 走得太快，沒空回頭看路

初創(chuàng)公司里的人們仿佛一直在被人念著緊箍咒：“要么快要么死，要么快要么死?！彼麄兪侨绱酥庇诋a(chǎn)品開發(fā)，以至于他們常常沒有空想用戶對產(chǎn)品的具體使用細節(jié)，產(chǎn)品在哪些場景怎么被使用，產(chǎn)品的哪些部分被使用，以及用戶回頭二次使用產(chǎn)品的原因主要有哪些。而這些問題如果沒有數(shù)據(jù)難以回答。

2．你沒有記錄足夠的數(shù)據(jù)

光給你的團隊看呈現(xiàn)總結出來的數(shù)據(jù)是沒有用的。如果沒有精確到日乃至小時的變化明細，你無法分析出來數(shù)據(jù)變化背后看不見的手。如果只是粗放的，斷續(xù)的統(tǒng)計，沒有人可以解讀出各種細微因素對于銷售或者用戶使用習慣的影響。

與此同時，數(shù)據(jù)儲存越來越便宜。同時做大量的分析也不是什么高風險的事情，只要買足夠的空間就不會有system breakdown的風險。因此，記錄盡可能多的數(shù)據(jù)總不會是一件壞事。

不要害怕量大。對于初創(chuàng)企業(yè)來說，大數(shù)據(jù)其實還是比較少見的事情。如果正處于初創(chuàng)期的你果真（幸運地）有這樣的困擾，Porterfield（本文）推薦使用一個叫Hadoop的平臺。

3. 其實你的團隊成員常常感覺自己在盲人摸象

許多公司以為他們把數(shù)據(jù)扔給Mixpanel, Kissmetrics,或者Google Analytics就夠了，但他們常常忽略了團隊的哪些成員能真正解讀這些數(shù)據(jù)的內(nèi)在含義。你需要經(jīng)常提醒團隊里面每一位成員多去理解這些數(shù)據(jù)，并更多地基于數(shù)據(jù)來做決策。要不然，你的產(chǎn)品團隊只會盲目地開發(fā)產(chǎn)品，并祈禱能踩中熱點，不管最終成功還是失敗了都是一頭霧水。

舉例：

有天你決定采用市場上常見的病毒營銷手段吸引新用戶。如你所愿，用戶量啪啪啪地上來了。可此時你會遇到新的迷茫：你無法衡量這個營銷手段對老用戶的影響。人們可能被吸引眼球，注冊為新用戶，然后厭倦而不再使用。你可能為吸引了一幫沒有價值的用戶付出了過高的代價。而你的產(chǎn)品團隊可能還在沾沾自喜，認為這個損害產(chǎn)品的營銷手段是成功的。

這種傻錯誤經(jīng)常發(fā)生。而如果你的企業(yè)在一開始就建立起人人可自助使用的數(shù)據(jù)平臺，來解答他們工作中最重要的疑惑，則可以避免上文所說的悲劇。

4. 把數(shù)據(jù)存放在不合適的地方

先讓我們來看一個正確示范吧。Porerfield提到他有個客戶整合了NoSQL, Redshift,Kitnesis以及Looker的資源自創(chuàng)了一個數(shù)據(jù)分析框架。這個框架不僅能在很高的量級上捕獲及儲存自己的數(shù)據(jù)，還能承受每月數(shù)以百萬計的點擊流量，還能讓所有人查詢自己想要的數(shù)據(jù)。這個系統(tǒng)甚至可以讓不懂SQL語言的小白用戶們真正理解數(shù)據(jù)的意義。而在數(shù)據(jù)分析的世界里，基本上如果你不會SQL, 你就完蛋了。如果總是要等待工程師去把數(shù)據(jù)跑出來，那就是把自己陷入困境。而工程師在不理解需求的情況下建立的算法或者買的軟件對于使用者來說往往是個煎熬，因為他們對數(shù)據(jù)的使用往往與前者不再同一水平線上。

你需要讓你所有的數(shù)據(jù)都存放在同一個地方。這個是關鍵關鍵最關鍵的原則。
 讓我們回到前文那個假設存在的公司。他們做了一個又一個病毒營銷，但是沒有把用戶活動數(shù)據(jù)放在同一框架內(nèi)，所以他們無法分析一個活動是如何關聯(lián)到另一個活動的。他們也無法進行一個橫跨日常運營以及活動期間的數(shù)據(jù)分析比較。

 很多公司把數(shù)據(jù)發(fā)給外包商儲存，然后就當甩手掌柜了?？墒浅３＿@些數(shù)據(jù)到了外包商手里就會變成其他形式，而轉(zhuǎn)化回來則需要不少工序。這些數(shù)據(jù)往往是某些宣傳造勢活動時期你的網(wǎng)站或者產(chǎn)品的相關數(shù)據(jù)。結合日常運營數(shù)據(jù)來看，你可以挖掘哪些活動促成了用戶轉(zhuǎn)化。而這樣結合日常運營數(shù)據(jù)來分析用戶使用歷程的方式是至關重要的。但令人震驚的是，盡管任何時期的所有運營數(shù)據(jù)都至關重要，許多公司仍不屑于捕獲及記錄他們。約一半以上Porterfield所見過的公司都將日常運營數(shù)據(jù)與活動數(shù)據(jù)分開來看。這樣嚴重妨礙了公司正確地理解與決策。

5. 目光短淺

任何一個好的數(shù)據(jù)分析框架在設計之初都必須滿足長期使用的需要。誠然，你總是可以調(diào)整你的框架。但數(shù)據(jù)積累越多，做調(diào)整的代價越大。而且常常做出調(diào)整后，你需要同時記錄新舊兩套系統(tǒng)來確保數(shù)據(jù)不會丟失。

因此，我們最好能在第一天就把框架設計好。其中一個簡單粗暴有效地方法就是所有能獲取的數(shù)據(jù)放在同一個可延展的平臺。不需要浪費時間選擇一個最優(yōu)解決方法，只要確認這個平臺可以裝得下所有將來可能用到的數(shù)據(jù)，且跨平臺也能跑起來就行了。一般來說這樣的原始平臺能至少支撐一到兩年。

6. 過度總結

雖然說這個問題對于擁有大數(shù)據(jù)分析團隊的公司來說更常見，初創(chuàng)公司最好也能注意避免掉。試想一下，有多少公司只是記錄平均每分鐘多少銷售額，而不是具體每一分鐘銷售了多少金額？在過去由于運算能力有限，我們只能把海量數(shù)據(jù)總結成幾個點來看。但在當下，這些運算量根本不是問題，所有人都可以把運營數(shù)據(jù)精確到分鐘來記錄。而這些精確的記錄可以告訴你海量的信息，比如為什么轉(zhuǎn)化率在上升或者下降。

人們常常自我陶醉于做出了幾張漂亮的圖標或者PPT。這些總結性的表達看上去很令人振奮，但我們不應該基于這些膚淺的總結來做決策，因為這些漂亮的總結性陳述并不能真正反映問題的實質(zhì)。相反，我們更應該關注極端值（Outliers）。

3個簡單防護措施，幫你少走彎路

少犯錯誤遠比你想的重要，因為錯誤一旦發(fā)生，很容易耗費大量的工程時間和資源來彌補錯誤。如果不小心，你的工程師們可能花費昂貴的時間來為銷售團隊解碼數(shù)據(jù)，可能錯過無數(shù)寶貴的營銷機會。每當數(shù)據(jù)變得難使用或者理解時，你的團隊決策速度會變慢，因此你的生意進展必將受到拖累

好消息是，如果你從有用戶伊始就采用以下3個簡單的防護措施，你一定可以避免走很多彎路。

1. 任命一個商業(yè)數(shù)據(jù)首席工程師

如果你能在團隊中找到一個隊數(shù)據(jù)分析真正有興趣的工程師，你可以讓他負責記錄管理所有數(shù)據(jù)。這將為整個團隊節(jié)省海量的時間。Porterfield 分享到，在Looker, 這樣的一個商業(yè)數(shù)據(jù)首席工程師負責寫能記錄所有數(shù)據(jù)的腳本，從而方便大家總是能在同一個數(shù)據(jù)庫內(nèi)獲取需要的信息。事實證明，這是個簡單有效的方法，極大地提高了團隊的工作效率。

2. 把數(shù)據(jù)放在開放的平臺上

Porterfield強力推薦大家使用類似于Snowplow的開源平臺，以能實時記錄所有與產(chǎn)品相關的活動事件數(shù)據(jù)。它使用方便，有好的技術支援，可以放量使用。而最棒的一點，它能與你其余的數(shù)據(jù)框架很好的兼容。

3. 盡快將你的數(shù)據(jù)遷移到AWS Redshift或者其它大規(guī)模并行處理數(shù)據(jù)庫（MPP）上

對于還處于早期的公司來說，類似于Redshift這種基于云端的MPP經(jīng)常就是最好的選擇。因為他們價格便宜，便于部署和管理，并且擴展性強。在理想狀況下，你會希望從公司有記錄之初就將你的事件與操作的數(shù)據(jù)寫入亞馬遜Redshift之中。“使用Redshift的好處在于這個平臺便宜，迅速，可訪問性高，”Porterfield說。并且，對于那些已經(jīng)使用AWS服務的人來說，它（使用redshift）可以無縫接入你已有的架構中。你可以很容易的建設一個數(shù)據(jù)通道把數(shù)據(jù)直接傳入這個系統(tǒng)中進行分析處理?！?/span>Redshift能讓你靈活的寫入巨量的顆粒狀的數(shù)據(jù)而并不根據(jù)事件觸發(fā)量的多少這樣難以估計的參數(shù)來收費，”他說?！捌渌姆諘鶕?jù)你儲存事件的多少來收費，所以當越來越多的人使用你的產(chǎn)品時，越來越多的操作數(shù)據(jù)會被記錄下來，這會導致最終的收費像火箭一樣越升越高。”

如何用數(shù)據(jù)分析占領市場先機？

數(shù)據(jù)分析的價值取決于它能如何幫助你占領市場先機。作為初創(chuàng)公司，所有的數(shù)據(jù)應該被用于你對公司不同階段設立的目標上。

舉例

一個快遞公司通常會檢測平均送達每件貨物的時間。這看上去是很關鍵的數(shù)據(jù)，但如果沒有充分的上下文（畢竟收貨人可能在一個街區(qū)外，也可能在幾百公里外），這也是沒有意義的。另一個角度上，平均送貨時間也沒有收貨人的整體滿意度重要。因此，你必須確保你的分析囊括了正確的數(shù)據(jù)。