在每個(gè)我曾經(jīng)工作或者指導(dǎo)的組織，總會(huì)發(fā)現(xiàn)數(shù)據(jù)科學(xué)家的影響力和他們的數(shù)量很不相稱。他們可以扮演的角色遍布于以下領(lǐng)域。

決策科學(xué)和商業(yè)智能

長(zhǎng)期以來，數(shù)據(jù)在廣告領(lǐng)域及協(xié)助運(yùn)作及戰(zhàn)略思維中發(fā)揮重要的作用。關(guān)于決策制定支撐(decision-making support)的一個(gè)關(guān)鍵部分便是定義、監(jiān)測(cè)和報(bào)告重要的度量(metric)。盡管這些可能看起來很容易，但是定義合適的度量可以用來幫助一個(gè)商業(yè)組織了解自身的強(qiáng)項(xiàng)和關(guān)鍵項(xiàng)(此處用杠桿和控制按鈕作比喻)。不經(jīng)設(shè)計(jì)的度量會(huì)導(dǎo)致盲點(diǎn)的產(chǎn)生。例如，使用百分位數(shù)，這仍然是觀察原始數(shù)據(jù)的重要方面。同樣也會(huì)跟隨商業(yè)的復(fù)雜化過程不斷增加。舉個(gè)例子，假設(shè)一個(gè)氣象學(xué)家只能測(cè)量溫度。此人的預(yù)測(cè)結(jié)果肯定會(huì)比另外一個(gè)懂得測(cè)量氣壓的氣象學(xué)家的結(jié)果要差。當(dāng)然再來一個(gè)懂得使用濕度進(jìn)行預(yù)測(cè)的人又能產(chǎn)生比前面兩個(gè)更好的預(yù)測(cè)結(jié)果。

一旦度量和報(bào)告建立后，數(shù)據(jù)的傳播就成為至關(guān)重要的部分。目前有大量的發(fā)布數(shù)據(jù)的工具，從簡(jiǎn)單的電子表格和網(wǎng)頁(yè)表格，到更加精密復(fù)雜的商業(yè)智能產(chǎn)品。當(dāng)工具變得越來越精密時(shí)，他們一般會(huì)增加動(dòng)畫和操作的功能來加強(qiáng)對(duì)數(shù)據(jù)的洞察力。

更多龐大的數(shù)據(jù)驅(qū)動(dòng)組織熱衷于數(shù)據(jù)的民主化。數(shù)據(jù)不僅僅是哪個(gè)分析組織或者管理層獨(dú)享的。每個(gè)人都應(yīng)當(dāng)能夠合法地使用到盡可能多的數(shù)據(jù)。Facebook在這個(gè)方面走得很遠(yuǎn)。他們公司允許任何人使用Hive語(yǔ)言來查詢海量的基于Hadoop存儲(chǔ)的數(shù)據(jù)。以這種方法，基本上每個(gè)人都可以通過定期地運(yùn)行腳本建立個(gè)人的數(shù)據(jù)dashboard。Zynga使用完全不同的技術(shù)組合建立過類似的東西。他們有兩個(gè)自己數(shù)據(jù)倉(cāng)庫(kù)的副本。其中一個(gè)用來負(fù)責(zé)需要嚴(yán)格的服務(wù)層協(xié)議來確保報(bào)表和關(guān)鍵度量總是可以獲得的運(yùn)作。另一個(gè)則是可以提供給公司內(nèi)人員使用，當(dāng)然這里的性能并不能保證最優(yōu)。

eBay使用的是更為傳統(tǒng)的模型，一般是像Teradata那樣為每個(gè)團(tuán)隊(duì)建立數(shù)據(jù)立方體。這些立方體就是一些自包含的數(shù)據(jù)集合和存儲(chǔ)，對(duì)應(yīng)的團(tuán)隊(duì)可以與之交互。

當(dāng)組織使用報(bào)表和分析功能愈來愈和諧，就產(chǎn)生了使用數(shù)據(jù)對(duì)于戰(zhàn)略決策制定的需求。我們一直將這個(gè)領(lǐng)域稱為“決策科學(xué)”。這些團(tuán)隊(duì)鉆入已經(jīng)獲得的數(shù)據(jù)中，將這些數(shù)據(jù)和外部數(shù)據(jù)源進(jìn)行整合來了解競(jìng)爭(zhēng)力的全貌，優(yōu)先化一些策略和戰(zhàn)略，并提供對(duì)戰(zhàn)略計(jì)劃影響的假設(shè)的澄清。一個(gè)決策科學(xué)團(tuán)隊(duì)可能會(huì)遇到一個(gè)問題，像下一個(gè)擴(kuò)展國(guó)家的選擇，亦或調(diào)查某一特定的市場(chǎng)已經(jīng)飽和。這種分析可能會(huì)需要綜合內(nèi)部的數(shù)據(jù)建立預(yù)測(cè)模型，可以使用已有的數(shù)據(jù)和欲采集數(shù)據(jù)進(jìn)行測(cè)試。

注意：不熟知數(shù)據(jù)科學(xué)的人們可能會(huì)經(jīng)常尋找一個(gè)銀彈，以此建立整個(gè)系統(tǒng)。如果你找到了，那么恭喜你，不過幸運(yùn)的人沒有幾個(gè)。最好的組織會(huì)尋找能夠產(chǎn)生最大效益的方法，再在此基礎(chǔ)上尋的可能提高商業(yè)價(jià)值的方法。

產(chǎn)品和市場(chǎng)分析

產(chǎn)品分析代表一種相對(duì)新穎的數(shù)據(jù)使用方式。團(tuán)隊(duì)會(huì)建立直接和客戶交互的應(yīng)用，例如:

提供高度個(gè)人化的內(nèi)容(如，一個(gè)新聞feed中的信息的排序)

幫助推動(dòng)公司的價(jià)值主張(value proposition)(例如，“PYMK”和其他一些建議好友或者其他類型關(guān)系的應(yīng)用)

利于介紹另外的產(chǎn)品(如，“Group You May Know”)，將用戶推送至LinkedIn的群體產(chǎn)品區(qū)域)

防止進(jìn)入死胡同(如，協(xié)同過濾技術(shù)促成用戶購(gòu)買新的產(chǎn)品，Amazon的“People who viewed this item also viewed …”)

其他的(如，新聞相關(guān)的Google News和LinkedIn Today等等)

基于快速下降的計(jì)算成本，現(xiàn)在比從前更容易使用到通用的算法和數(shù)值技術(shù)來測(cè)試這些產(chǎn)品的有效性。

類似于產(chǎn)品分析，市場(chǎng)分析使用數(shù)據(jù)來解釋和展示服務(wù)或者產(chǎn)品的價(jià)值主張。OKCupid’s blog就是一個(gè)市場(chǎng)分析的絕佳例子，它使用內(nèi)部和外部數(shù)據(jù)源來探討大趨勢(shì)。例如，有篇關(guān)于使用不同手機(jī)的用戶的性伙伴的數(shù)量的文章。iPhone用戶有更多的樂子?只有OKCup知道。另一個(gè)文章基于產(chǎn)生的新的聯(lián)系，研究了什么類型的個(gè)人簡(jiǎn)介照片是有吸引力的。這些文章得到了傳統(tǒng)媒體的報(bào)道，同時(shí)在社交媒體渠道也得到快速傳播。結(jié)果便是產(chǎn)生了一種市場(chǎng)推廣策略，刺激了新用戶和老客戶數(shù)量增長(zhǎng)。另一些公司將博客作為市場(chǎng)推廣策略，如Mint、LinkedIn、Facebook和Uber。

Email長(zhǎng)期以來便是公司與當(dāng)前客戶及潛在客戶在線交往的基礎(chǔ)。使用分析作為郵件投放策略的一部分不是新出來的手段，但強(qiáng)大的分析的確可以幫助建立提供豐富內(nèi)容的Email推廣項(xiàng)目。例如，LinkedIn周期性地發(fā)送給客戶他們的社交網(wǎng)絡(luò)的變動(dòng)：新工作、重要文章發(fā)布、新的社交關(guān)系等等。如果僅僅是LinkedIn的廣告，那么這類郵件容易被過濾掉。但是事實(shí)上并非如此，這些郵件的信息都是與客戶息息相關(guān)的，它們是與你認(rèn)識(shí)的人相關(guān)的。類似地，當(dāng)用戶有段時(shí)間不活躍時(shí)，F(xiàn)acebook使用郵件來鼓勵(lì)用戶回到社交網(wǎng)站上。這些郵件強(qiáng)調(diào)你最相關(guān)的朋友近期進(jìn)行的活動(dòng)。因?yàn)槲覀儾淮髸?huì)刪除那些告訴你你的朋友的動(dòng)態(tài)的郵件，所以這種方式格外有效。

在線犯罪者不希望被發(fā)現(xiàn)。他們盡可能地藏在數(shù)據(jù)之中。在不斷進(jìn)化的攻擊者和防御者之間的戰(zhàn)爭(zhēng)中有幾個(gè)關(guān)鍵的環(huán)節(jié)：數(shù)據(jù)采集、偵測(cè)、攻擊的緩解(mitigation)和司法科學(xué)(forensics)。這些數(shù)據(jù)科學(xué)家的技巧與這些環(huán)節(jié)無瑕結(jié)合。

任何防止和偵測(cè)欺詐的策略最初都是從數(shù)據(jù)搜集開始。數(shù)據(jù)采集常常是一種挑戰(zhàn)性工作，因?yàn)楹茈y確定多少量的數(shù)據(jù)是足夠的。攻擊者總是在找尋能夠獲得的數(shù)據(jù)的極限，但是成本和存儲(chǔ)容量的限制意味著不可能搜集到所有你想要的數(shù)據(jù)。因此識(shí)別出那些數(shù)據(jù)是我們所需的是至關(guān)重要的。在攻擊中，常常會(huì)有“if only”現(xiàn)象。僅當(dāng)我們搜集到x和y，我們才能知道將發(fā)生什么。

另一個(gè)對(duì)安全事件的反應(yīng)的方面是所需要處理數(shù)據(jù)的時(shí)間。如果攻擊以分鐘為單位進(jìn)行演化，但處理層需要數(shù)小時(shí)來分析數(shù)據(jù)，這樣，就不能高效地作出反應(yīng)。許多組織意識(shí)到他們需要數(shù)據(jù)科學(xué)家和精密的工具來足夠快速地處理和分析數(shù)據(jù)。

一旦知道被攻擊，下一個(gè)動(dòng)作便是緩解攻擊。減輕影響通常需要關(guān)閉一個(gè)資源，或者開發(fā)一個(gè)模型來將壞用戶和正常用戶辨別開來。在這個(gè)環(huán)節(jié)成功需要有將已有數(shù)據(jù)轉(zhuǎn)化為新的可以使用的變量。這是個(gè)微妙而又關(guān)鍵的步驟。例如，IP地址。任何日志功能都可以搜集到訪問你網(wǎng)站的IP地址。IP地址本身并沒多大用。但是IP地址可以轉(zhuǎn)化為下列變量：

在某段時(shí)間內(nèi)從一個(gè)IP地址發(fā)出訪問的壞用戶
一個(gè)IP地址的所屬國(guó)，及其他地理信息
這個(gè)IP地址是否是一天中這段時(shí)間的典型

從數(shù)據(jù)中，我們可以獲得可以構(gòu)造一個(gè)可行的模型的變量。領(lǐng)域?qū)＜胰羰?/span>數(shù)據(jù)科學(xué)家，懂得如何從數(shù)據(jù)中獲得這些變量。用這些變量，你便可以設(shè)計(jì)檢測(cè)方法來找出壞用戶。

最終，司法科學(xué)(forensics)給出一個(gè)工具箱來抵御攻擊者，并幫助你學(xué)到攻擊的本質(zhì)和了解如何避免(或者限制)未來類似的攻擊。司法科學(xué)可能是耗時(shí)的過程，數(shù)據(jù)科學(xué)篩過所有數(shù)據(jù)，最終將結(jié)果組合從而獲得解決方案。一旦問題被擺在一塊，新的工具、工程和監(jiān)測(cè)可以按需設(shè)置。

數(shù)據(jù)服務(wù)和運(yùn)營(yíng)

數(shù)據(jù)服務(wù)和運(yùn)營(yíng)是任何數(shù)據(jù)組織的基礎(chǔ)環(huán)節(jié)之一。這個(gè)團(tuán)隊(duì)負(fù)責(zé)數(shù)據(jù)庫(kù)、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)結(jié)構(gòu)(數(shù)據(jù)模式scheme的設(shè)置)和數(shù)據(jù)倉(cāng)庫(kù)。他們也負(fù)責(zé)監(jiān)測(cè)和保護(hù)這些系統(tǒng)。另一個(gè)功能部分不能離開頂級(jí)數(shù)據(jù)服務(wù)和操作團(tuán)隊(duì);甚至可以這么說，組織的其他團(tuán)隊(duì)都是存在于這個(gè)團(tuán)隊(duì)之上。一些組織中，這些團(tuán)隊(duì)是獨(dú)立于傳統(tǒng)操作團(tuán)隊(duì)的。在我看來，當(dāng)這些系統(tǒng)復(fù)雜性增加，便需要更多地與操作團(tuán)隊(duì)合作。這個(gè)功能領(lǐng)域提供的這些系統(tǒng)和服務(wù)需要被部署在傳統(tǒng)數(shù)據(jù)中心或者云上，也需要被監(jiān)測(cè)以保證穩(wěn)定性;員工也應(yīng)該隨時(shí)待命，以防止系統(tǒng)崩潰。建立好的運(yùn)營(yíng)團(tuán)隊(duì)需要在這些領(lǐng)域有配置，以提供對(duì)應(yīng)的服務(wù)。

當(dāng)一個(gè)組織建立起匯報(bào)需求時(shí)，數(shù)據(jù)服務(wù)和運(yùn)營(yíng)團(tuán)隊(duì)需要對(duì)匯報(bào)層負(fù)責(zé)。當(dāng)團(tuán)隊(duì)成員可能不會(huì)關(guān)注定義度量時(shí)，他們?cè)诖_保報(bào)告準(zhǔn)時(shí)生成至關(guān)重要。因此，數(shù)據(jù)服務(wù)和決策科學(xué)的合作是絕對(duì)根本的。例如，當(dāng)一個(gè)度量可以能在紙上很容易定義，但實(shí)現(xiàn)起來作為一個(gè)規(guī)則話的報(bào)表的一部分時(shí)變得不現(xiàn)實(shí)時(shí)：因?yàn)橥瓿蛇@個(gè)報(bào)表的度量的計(jì)算所需要的數(shù)據(jù)庫(kù)查詢太過復(fù)雜而難以達(dá)到所需頻率。

數(shù)據(jù)工程和基礎(chǔ)架構(gòu)

去輕描淡寫用來規(guī)?；a(chǎn)生、跟蹤、移動(dòng)和處理數(shù)據(jù)的工具的復(fù)雜程度很難。開發(fā)和實(shí)現(xiàn)這些技術(shù)是數(shù)據(jù)工程和基礎(chǔ)架構(gòu)團(tuán)隊(duì)的工作。過去十年，這些技術(shù)已經(jīng)發(fā)生了巨大的變化，其中有若干開源項(xiàng)目的大量合作。這里舉一些例子：

Kafka、Flume和Scribe是搜集流數(shù)據(jù)的工具。盡管這些模型不大相同，主要想法都是從多個(gè)數(shù)據(jù)源獲得數(shù)據(jù);聚合數(shù)據(jù);然后將數(shù)據(jù)交給數(shù)據(jù)庫(kù)，如Hadoop還有其他一些。

Hadoop是目前最廣泛使用的處理數(shù)據(jù)的框架。它是一個(gè)有Google在2004年公開的MapReduce程序設(shè)計(jì)模型的開源實(shí)現(xiàn)。本質(zhì)上是一種批處理;S4和Strom都將目標(biāo)匯聚在一些更新的處理流數(shù)據(jù)的技術(shù)

Azkaban和Oozie是工作調(diào)度器，他們管理和協(xié)調(diào)復(fù)雜的數(shù)據(jù)流

Pig和Hive是大型非關(guān)系型數(shù)據(jù)存儲(chǔ)的查詢語(yǔ)言。Hive與SQL非常類似。Pig則是面向數(shù)據(jù)的腳本語(yǔ)言

Voldmort、Cassandra和Hbase是設(shè)計(jì)為高性能大數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)。

同等重要的是為這些系統(tǒng)建立監(jiān)測(cè)和部署技術(shù)。

除了建立基礎(chǔ)架構(gòu)，數(shù)據(jù)工程和基礎(chǔ)架構(gòu)可以使用產(chǎn)品和市場(chǎng)分析團(tuán)隊(duì)的思想，實(shí)現(xiàn)這些想法以達(dá)到可以規(guī)?；a(chǎn)品操作的目的。例如，視頻推薦引擎可以使用SQL、Pig或者Hive來建立遠(yuǎn)行。如果測(cè)試顯示推薦系統(tǒng)效果很好，那么就可以將推薦系統(tǒng)部署讓它支持SLA，表明合適的可獲得性和潛伏性。將產(chǎn)品從原型向產(chǎn)品化移植可能需要重新實(shí)現(xiàn)使得可以規(guī)?；阅?。如果SQL和一個(gè)關(guān)系型數(shù)據(jù)庫(kù)運(yùn)行得很慢，可能需要移到HBase，使用Hive或則好Pig來進(jìn)行查詢。一旦應(yīng)用被部署好，必須處在監(jiān)測(cè)之下，來保證其持續(xù)滿足需求。同樣也要確保產(chǎn)生合理的結(jié)果。達(dá)到這個(gè)目標(biāo)需要更多高難度的軟件開發(fā)工作。

組織和匯報(bào)合作

一個(gè)組織應(yīng)當(dāng)以根據(jù)我討論過的功能領(lǐng)域設(shè)計(jì)，還是通過其他的機(jī)制?沒簡(jiǎn)單的答案。關(guān)鍵點(diǎn)包含參與的人員、組織的大小和規(guī)模和企業(yè)的組織動(dòng)態(tài)(如，這個(gè)公司是產(chǎn)品驅(qū)動(dòng)、市場(chǎng)驅(qū)動(dòng)還是工程驅(qū)動(dòng))。

在發(fā)展早期，人們必須負(fù)責(zé)很多工作。例如，在一個(gè)初創(chuàng)公司，不可能負(fù)擔(dān)起分析、安全、運(yùn)營(yíng)和架構(gòu)等分開的團(tuán)隊(duì)：一兩個(gè)人可能需要做所有的事情。但是當(dāng)一個(gè)組織變大了，人們自然會(huì)變得專業(yè)化。另外，去除任何簡(jiǎn)單的失敗點(diǎn)很重要。一些組織使用“精英個(gè)體中心模型”，這是一種中心化數(shù)據(jù)團(tuán)隊(duì)。其他的使用一個(gè)集成和說話模型，這種是指有一個(gè)中央團(tuán)隊(duì)，成員被安進(jìn)支撐團(tuán)隊(duì)種(例如，銷售團(tuán)隊(duì)可能會(huì)支持分析團(tuán)隊(duì)來支撐商業(yè)需求)。還有一些組織完全去中心化，每個(gè)團(tuán)隊(duì)自己雇用滿足自身需求的員工。

以下三點(diǎn)是我的感受：

如果團(tuán)隊(duì)較小，成員應(yīng)當(dāng)坐在一起。與數(shù)據(jù)打交道常常有很多理解差異，團(tuán)隊(duì)之間的快速交流可以解決那些折磨人卻很簡(jiǎn)單的問題。

授人以漁——這只會(huì)增強(qiáng)成為更好的數(shù)據(jù)驅(qū)動(dòng)組織。如前面討論過的，像Facebook和Zynga這樣的組織高效地民主化自己的數(shù)據(jù)。于是，這些公司有更多的人員參與到分析和觀察關(guān)鍵度量的工作。這樣的獲得方式在50年前根本不可能聽到。當(dāng)然這樣也有另外一面：對(duì)于基礎(chǔ)架構(gòu)和訓(xùn)練人員的需求提高了?；A(chǔ)架構(gòu)挑戰(zhàn)是技術(shù)問題，最簡(jiǎn)單的達(dá)到訓(xùn)練的方式是開設(shè)辦公室時(shí)間并計(jì)劃數(shù)據(jù)課程。

所有那些功能領(lǐng)域必須有定期的聯(lián)絡(luò)和交流。當(dāng)數(shù)據(jù)科學(xué)的領(lǐng)域不斷擴(kuò)大，技術(shù)和過程創(chuàng)新不可避免同樣得到發(fā)展。為了保持同步性，所有團(tuán)隊(duì)都應(yīng)當(dāng)分享自己的經(jīng)驗(yàn)。即使他們不是同一結(jié)構(gòu)，共同使用的數(shù)據(jù)將他們綁在一起。