數(shù)據(jù)工作的本質(zhì)：從業(yè)務(wù)中來，到業(yè)務(wù)中去

數(shù)據(jù)工作就組成結(jié)構(gòu)和流程來說還是比較簡單的，因為這個工作本來就很年輕，分工還沒有很細。總體來講，我把數(shù)據(jù)工作看成相互連接的三部分：取數(shù)、理數(shù)、用數(shù)，這是一個閉環(huán)。用數(shù)的需求會驅(qū)動取數(shù)工作，并對取數(shù)工作提出具體操作性要求。

取數(shù)工作解決的是數(shù)據(jù)源的問題，具體來講是由下面的一系列工作組成：

設(shè)計并實現(xiàn)產(chǎn)品中取數(shù)的方法和規(guī)則

產(chǎn)品運行過程中，實時的或周期性的從產(chǎn)品端獲取數(shù)據(jù)。

傳輸、接收、校驗數(shù)據(jù)

格式化歸檔存儲數(shù)據(jù)。

經(jīng)過取數(shù)工作后，就形成了由業(yè)務(wù)運行產(chǎn)生的原始數(shù)據(jù)。原始數(shù)據(jù)是極其豐富的，有很多種分類方法，而從用戶的觀點來看可以大致分為兩種。一種是用戶意識到的主動提供的，如注冊數(shù)據(jù)，發(fā)表的文字等；另一種是用戶不容易意識到的被動提供的，如上網(wǎng)IP地址，操作動作（像PC上的鼠標移動，手機上的滑動）。

之所以用這個數(shù)據(jù)工作者不常用的維度來分類原始數(shù)據(jù)是想提醒產(chǎn)品經(jīng)理在產(chǎn)品設(shè)計時也需要一點數(shù)據(jù)思維。能采用第二種方式得到數(shù)據(jù)，就不用第一種方式去麻煩用戶。

2.理數(shù)

整理數(shù)據(jù)。這一步并不是必須的，尤其對初創(chuàng)企業(yè)來說，直接用原始數(shù)據(jù)是更經(jīng)常的事。一方面因為初創(chuàng)時期的業(yè)務(wù)重點還不在于數(shù)據(jù)問題，另一方面也因為一些原始數(shù)據(jù)是結(jié)構(gòu)化的，直接入數(shù)據(jù)庫的，已經(jīng)能用，比如用戶注冊數(shù)據(jù)。但隨著數(shù)據(jù)的豐富和業(yè)務(wù)重點的變化，理數(shù)就變得越來越重要，因為大部分原始數(shù)據(jù)是無法直接用于分析和再產(chǎn)品化的，比如IP地址，比如文字。

理數(shù)標志性的工作就是對原始數(shù)據(jù)進行多層抽取、歸納、抽象的數(shù)據(jù)倉庫建設(shè)。如果說取數(shù)是從用戶中來，用數(shù)是到業(yè)務(wù)中去，那理數(shù)就是兩者的橋梁，是將來自用戶的數(shù)據(jù)原料轉(zhuǎn)換為可供研究、分析或形成數(shù)據(jù)產(chǎn)品使用的數(shù)據(jù)零部件、半成品。這其中就會涉及數(shù)據(jù)挖掘工作。比如上面提到的IP地址，其本身并不能被直接使用，所以一般就會根據(jù)一個IP地址數(shù)據(jù)庫將IP轉(zhuǎn)換為地區(qū)名稱。這就是將一個原始技術(shù)數(shù)據(jù)轉(zhuǎn)為一個有意義的業(yè)務(wù)信息。

理數(shù)階段的數(shù)據(jù)挖掘與用數(shù)階段的數(shù)據(jù)挖掘并沒有嚴格的區(qū)分，一般認為這個階段的主要任務(wù)是將需求更普遍，應(yīng)用更廣泛的信息從原始數(shù)據(jù)中挖掘出來以減輕后面用數(shù)的工作量。比如像用戶性別、年齡等基本屬性的挖掘。盡管大部分互聯(lián)網(wǎng)產(chǎn)品都會讓用戶填寫這些字段，但用戶填的叫原始數(shù)據(jù)。如果你直接使用原始數(shù)據(jù)，看上去是跳過了理數(shù)工作，但實際你是啟用了一個理數(shù)的規(guī)則或模型，只不過輸入和輸出是一樣的。這個模型的開發(fā)和應(yīng)用成本為0，但機會成本是多少就要自己判斷了。

當(dāng)數(shù)據(jù)庫、數(shù)據(jù)倉庫準備好了零部件、半成品后，數(shù)據(jù)工作就要進入最眼花繚亂的用數(shù)階段了。

3.用數(shù)

使用數(shù)據(jù)有2個方向，一是為企業(yè)內(nèi)部工作提供決策支持，二是直接為用戶提供獨立數(shù)據(jù)產(chǎn)品或數(shù)據(jù)支持下的產(chǎn)品新功能。

說到?jīng)Q策支持可能最先想到的是BI。狹義的傳統(tǒng)BI主要使用企業(yè)運行產(chǎn)生的內(nèi)部數(shù)據(jù)，然后做些表單，柱狀、條形、折線等各式樣的圖，比較無聊的?，F(xiàn)代互聯(lián)網(wǎng)化的決策支持，因為數(shù)據(jù)源的不同而變得有趣的多得多。

比如我們曾經(jīng)給公司人力資源部的招聘提供過一個產(chǎn)品，就是根據(jù)招聘要求利用微博數(shù)據(jù)精準尋找候選人。當(dāng)然找人只是第一步，評估人才能力，行為習(xí)慣，行業(yè)薪資水平等等數(shù)據(jù)工作都能發(fā)揮作用。甚至可以收集多方數(shù)據(jù)來做員工流失預(yù)警。所以互聯(lián)網(wǎng)數(shù)據(jù)基礎(chǔ)上的決策支持是可以支持到企業(yè)方方面面的工作，比如在互聯(lián)網(wǎng)公司中，決策支持類的數(shù)據(jù)應(yīng)用就會有：

產(chǎn)品優(yōu)化決策

產(chǎn)品經(jīng)理最主要的工作就是抓到用戶需求點，然后設(shè)計出產(chǎn)品/服務(wù)來滿足它。雖然說需求點的發(fā)現(xiàn)往往是經(jīng)驗性的定性的工作，但數(shù)據(jù)工作依然可以在兩方面給予優(yōu)化決策：

一是，給出市場中主流用戶或某一分類用戶的總體偏好和習(xí)慣，幫助產(chǎn)品經(jīng)理加深對用戶的理解。比如哪類用戶在什么場景下喜歡聽音頻，在什么場景下喜歡看文字，在什么場景下打開視頻的可能更高等等。這對于產(chǎn)品經(jīng)理選擇用戶群的需求切入點至關(guān)重要。

二是，評估可能的市場規(guī)模和增長曲線。

新產(chǎn)品或新功能上線后，產(chǎn)品經(jīng)理需要數(shù)據(jù)反饋來判斷用戶對自己設(shè)計的接受度。盡管PV、DAU等總體性指標是能反應(yīng)用戶對新產(chǎn)品/功能的態(tài)度，但因為是總體性的指標，它們的變化包含了太多的因素，比如推廣力度、運營活動等等。所以要更精確的看產(chǎn)品，一般更好的選擇是回訪率、使用時長、頻次、退出/跳出、轉(zhuǎn)化等用戶個體性指標的變化來衡量用戶反饋。

除了事后的監(jiān)測，有時還會使用AB測試來檢驗不同設(shè)計的效果，以便提前獲知用戶偏好，降低新產(chǎn)品/功能的市場風(fēng)險。這里就會涉及到與取數(shù)工作的配合，AB測試進行部署時要根據(jù)需要選擇一定條件的兩組類似用戶推送測試內(nèi)容，在用戶不知情的情況下看實際效果。

運營支持

互聯(lián)網(wǎng)產(chǎn)品的運營工作主要包括用戶運營、內(nèi)容運營、活動運營和客戶服務(wù)。在每一塊上數(shù)據(jù)工作都能給予基礎(chǔ)性的支持。

比如用戶促活當(dāng)中有一個重要工作就是防流失。這里就會碰到一個流失判斷標準的問題。多長時間不來算流失？這個課題研究的關(guān)注點實際不是流失的那群用戶，因為你從他們身上是取不出流失時點信息的，我們的關(guān)注點在那些很長時間沒有來，但最終在自然狀態(tài)（注：沒有召回和活動影響）下又回來的非流失用戶。從這群用戶身上我們才能發(fā)現(xiàn)一個用戶最多經(jīng)歷多長時間的沉寂后還有可能回來了，反過來長于這個時間就可以判斷流失。在實際研究中，你會發(fā)現(xiàn)有用戶在半年甚至更長時間后還會回來，這些從經(jīng)驗上來說肯定不是自然狀態(tài)下回流的。于是判斷是否自然狀態(tài)又成為新問題，解決這個問題的一個數(shù)據(jù)來源是訪問來源。

當(dāng)然算出流失標準時間界限對防流失來說并沒有什么直接的作用，這個標準實際的用途是篩出流失研究樣本，通過樣本數(shù)據(jù)來得出流失預(yù)警模型，通過用戶還活躍時的行為變化來預(yù)測他們流失的概率，進而提供給用戶運營來做下一步工作的決策。

市場推廣反作弊

反作弊與作弊是一個工作對，基本上是處在道高一尺魔高一丈不斷相互學(xué)習(xí)相互克制的狀態(tài)中。所以隨著作弊方法的不斷更新，反作弊和識別虛假用戶的方法也累計了很多種。大部分的方法都是基于人工或機器學(xué)習(xí)經(jīng)驗建立起的判別模型。這些方法判別效率高，實施成本低，使用廣泛，但也有致命缺點。因為這些方法都屬于有監(jiān)督的方式，形成的經(jīng)驗來自歷史數(shù)據(jù)，如果渠道作弊方法不變，這些反作弊識別手段就會保持較高的有效性。但問題是當(dāng)你識別渠道作弊并且拒絕為其付費時，渠道立刻就知道你存在針對當(dāng)前作弊方法的識別手段，他們就會進行作弊升級。同時他們還會要求你拿出他們作弊的證據(jù)，如果你告之了他們，就意味著你透露了識別方法，他們就能更容易的繞過你原有的反作弊方法，實現(xiàn)魔高一丈。最后你必須要想出無監(jiān)督的方法來實現(xiàn)反作弊。

此外，銷售、人力、戰(zhàn)略決策等等都會是數(shù)據(jù)應(yīng)用的舞臺。

而除了作為配角的決策支持外，數(shù)據(jù)應(yīng)用也有當(dāng)主角的時候。比如百度搜索風(fēng)云榜，微博熱詞等等數(shù)據(jù)產(chǎn)品。還有更常見的是在數(shù)據(jù)工作的直接支持下呈現(xiàn)給用戶的“猜你喜歡”“相關(guān)商品”這些數(shù)據(jù)類產(chǎn)品。

從上面對數(shù)據(jù)工作的介紹中不知你是否體會到了數(shù)據(jù)工作“從業(yè)務(wù)中來，回業(yè)務(wù)中去”的本質(zhì)或者說根本存在價值。如果你不是一個僅滿足于完成數(shù)據(jù)內(nèi)部技術(shù)處理工作的從業(yè)者，那你必須要對這個本質(zhì)有清晰的認識。