在每個我曾經(jīng)工作或者指導(dǎo)的組織，總會發(fā)現(xiàn)數(shù)據(jù)科學(xué)家的影響力和他們的數(shù)量很不相稱。他們可以扮演的角色遍布于以下領(lǐng)域。

決策科學(xué)和商業(yè)智能

長期以來，數(shù)據(jù)在廣告領(lǐng)域及協(xié)助運(yùn)作及戰(zhàn)略思維中發(fā)揮重要的作用。關(guān)于決策制定支撐(decision-making support)的一個關(guān)鍵部分便是定義、監(jiān)測和報(bào)告重要的度量(metric)。盡管這些可能看起來很容易，但是定義合適的度量可以用來幫助一個商業(yè)組織了解自身的強(qiáng)項(xiàng)和關(guān)鍵項(xiàng)(此處用杠桿和控制按鈕作比喻)。不經(jīng)設(shè)計(jì)的度量會導(dǎo)致盲點(diǎn)的產(chǎn)生。例如，使用百分位數(shù)，這仍然是觀察原始數(shù)據(jù)的重要方面。同樣也會跟隨商業(yè)的復(fù)雜化過程不斷增加。舉個例子，假設(shè)一個氣象學(xué)家只能測量溫度。此人的預(yù)測結(jié)果肯定會比另外一個懂得測量氣壓的氣象學(xué)家的結(jié)果要差。當(dāng)然再來一個懂得使用濕度進(jìn)行預(yù)測的人又能產(chǎn)生比前面兩個更好的預(yù)測結(jié)果。

一旦度量和報(bào)告建立后，數(shù)據(jù)的傳播就成為至關(guān)重要的部分。目前有大量的發(fā)布數(shù)據(jù)的工具，從簡單的電子表格和網(wǎng)頁表格，到更加精密復(fù)雜的商業(yè)智能產(chǎn)品。當(dāng)工具變得越來越精密時(shí)，他們一般會增加動畫和操作的功能來加強(qiáng)對數(shù)據(jù)的洞察力。

更多龐大的數(shù)據(jù)驅(qū)動組織熱衷于數(shù)據(jù)的民主化。數(shù)據(jù)不僅僅是哪個分析組織或者管理層獨(dú)享的。每個人都應(yīng)當(dāng)能夠合法地使用到盡可能多的數(shù)據(jù)。Facebook在這個方面走得很遠(yuǎn)。他們公司允許任何人使用Hive語言來查詢海量的基于Hadoop存儲的數(shù)據(jù)。以這種方法，基本上每個人都可以通過定期地運(yùn)行腳本建立個人的數(shù)據(jù)dashboard。Zynga使用完全不同的技術(shù)組合建立過類似的東西。他們有兩個自己數(shù)據(jù)倉庫的副本。其中一個用來負(fù)責(zé)需要嚴(yán)格的服務(wù)層協(xié)議來確保報(bào)表和關(guān)鍵度量總是可以獲得的運(yùn)作。另一個則是可以提供給公司內(nèi)人員使用，當(dāng)然這里的性能并不能保證最優(yōu)。

eBay使用的是更為傳統(tǒng)的模型，一般是像Teradata那樣為每個團(tuán)隊(duì)建立數(shù)據(jù)立方體。這些立方體就是一些自包含的數(shù)據(jù)集合和存儲，對應(yīng)的團(tuán)隊(duì)可以與之交互。

當(dāng)組織使用報(bào)表和分析功能愈來愈和諧，就產(chǎn)生了使用數(shù)據(jù)對于戰(zhàn)略決策制定的需求。我們一直將這個領(lǐng)域稱為“決策科學(xué)”。這些團(tuán)隊(duì)鉆入已經(jīng)獲得的數(shù)據(jù)中，將這些數(shù)據(jù)和外部數(shù)據(jù)源進(jìn)行整合來了解競爭力的全貌，優(yōu)先化一些策略和戰(zhàn)略，并提供對戰(zhàn)略計(jì)劃影響的假設(shè)的澄清。一個決策科學(xué)團(tuán)隊(duì)可能會遇到一個問題，像下一個擴(kuò)展國家的選擇，亦或調(diào)查某一特定的市場已經(jīng)飽和。這種分析可能會需要綜合內(nèi)部的數(shù)據(jù)建立預(yù)測模型，可以使用已有的數(shù)據(jù)和欲采集數(shù)據(jù)進(jìn)行測試。

注意：不熟知數(shù)據(jù)科學(xué)的人們可能會經(jīng)常尋找一個銀彈，以此建立整個系統(tǒng)。如果你找到了，那么恭喜你，不過幸運(yùn)的人沒有幾個。最好的組織會尋找能夠產(chǎn)生最大效益的方法，再在此基礎(chǔ)上尋的可能提高商業(yè)價(jià)值的方法。

產(chǎn)品和市場分析

產(chǎn)品分析代表一種相對新穎的數(shù)據(jù)使用方式。團(tuán)隊(duì)會建立直接和客戶交互的應(yīng)用，例如:

提供高度個人化的內(nèi)容(如，一個新聞feed中的信息的排序)

幫助推動公司的價(jià)值主張(value proposition)(例如，“PYMK”和其他一些建議好友或者其他類型關(guān)系的應(yīng)用)

利于介紹另外的產(chǎn)品(如，“Group You May Know”)，將用戶推送至LinkedIn的群體產(chǎn)品區(qū)域)

防止進(jìn)入死胡同(如，協(xié)同過濾技術(shù)促成用戶購買新的產(chǎn)品，Amazon的“People who viewed this item also viewed …”)

其他的(如，新聞相關(guān)的Google News和LinkedIn Today等等)

基于快速下降的計(jì)算成本，現(xiàn)在比從前更容易使用到通用的算法和數(shù)值技術(shù)來測試這些產(chǎn)品的有效性。

類似于產(chǎn)品分析，市場分析使用數(shù)據(jù)來解釋和展示服務(wù)或者產(chǎn)品的價(jià)值主張。OKCupid’s blog就是一個市場分析的絕佳例子，它使用內(nèi)部和外部數(shù)據(jù)源來探討大趨勢。例如，有篇關(guān)于使用不同手機(jī)的用戶的性伙伴的數(shù)量的文章。iPhone用戶有更多的樂子?只有OKCup知道。另一個文章基于產(chǎn)生的新的聯(lián)系，研究了什么類型的個人簡介照片是有吸引力的。這些文章得到了傳統(tǒng)媒體的報(bào)道，同時(shí)在社交媒體渠道也得到快速傳播。結(jié)果便是產(chǎn)生了一種市場推廣策略，刺激了新用戶和老客戶數(shù)量增長。另一些公司將博客作為市場推廣策略，如Mint、LinkedIn、Facebook和Uber。

Email長期以來便是公司與當(dāng)前客戶及潛在客戶在線交往的基礎(chǔ)。使用分析作為郵件投放策略的一部分不是新出來的手段，但強(qiáng)大的分析的確可以幫助建立提供豐富內(nèi)容的Email推廣項(xiàng)目。例如，LinkedIn周期性地發(fā)送給客戶他們的社交網(wǎng)絡(luò)的變動：新工作、重要文章發(fā)布、新的社交關(guān)系等等。如果僅僅是LinkedIn的廣告，那么這類郵件容易被過濾掉。但是事實(shí)上并非如此，這些郵件的信息都是與客戶息息相關(guān)的，它們是與你認(rèn)識的人相關(guān)的。類似地，當(dāng)用戶有段時(shí)間不活躍時(shí)，F(xiàn)acebook使用郵件來鼓勵用戶回到社交網(wǎng)站上。這些郵件強(qiáng)調(diào)你最相關(guān)的朋友近期進(jìn)行的活動。因?yàn)槲覀儾淮髸h除那些告訴你你的朋友的動態(tài)的郵件，所以這種方式格外有效。

在線犯罪者不希望被發(fā)現(xiàn)。他們盡可能地藏在數(shù)據(jù)之中。在不斷進(jìn)化的攻擊者和防御者之間的戰(zhàn)爭中有幾個關(guān)鍵的環(huán)節(jié)：數(shù)據(jù)采集、偵測、攻擊的緩解(mitigation)和司法科學(xué)(forensics)。這些數(shù)據(jù)科學(xué)家的技巧與這些環(huán)節(jié)無瑕結(jié)合。

任何防止和偵測欺詐的策略最初都是從數(shù)據(jù)搜集開始。數(shù)據(jù)采集常常是一種挑戰(zhàn)性工作，因?yàn)楹茈y確定多少量的數(shù)據(jù)是足夠的。攻擊者總是在找尋能夠獲得的數(shù)據(jù)的極限，但是成本和存儲容量的限制意味著不可能搜集到所有你想要的數(shù)據(jù)。因此識別出那些數(shù)據(jù)是我們所需的是至關(guān)重要的。在攻擊中，常常會有“if only”現(xiàn)象。僅當(dāng)我們搜集到x和y，我們才能知道將發(fā)生什么。

另一個對安全事件的反應(yīng)的方面是所需要處理數(shù)據(jù)的時(shí)間。如果攻擊以分鐘為單位進(jìn)行演化，但處理層需要數(shù)小時(shí)來分析數(shù)據(jù)，這樣，就不能高效地作出反應(yīng)。許多組織意識到他們需要數(shù)據(jù)科學(xué)家和精密的工具來足夠快速地處理和分析數(shù)據(jù)。

一旦知道被攻擊，下一個動作便是緩解攻擊。減輕影響通常需要關(guān)閉一個資源，或者開發(fā)一個模型來將壞用戶和正常用戶辨別開來。在這個環(huán)節(jié)成功需要有將已有數(shù)據(jù)轉(zhuǎn)化為新的可以使用的變量。這是個微妙而又關(guān)鍵的步驟。例如，IP地址。任何日志功能都可以搜集到訪問你網(wǎng)站的IP地址。IP地址本身并沒多大用。但是IP地址可以轉(zhuǎn)化為下列變量：

在某段時(shí)間內(nèi)從一個IP地址發(fā)出訪問的壞用戶
一個IP地址的所屬國，及其他地理信息
這個IP地址是否是一天中這段時(shí)間的典型

從數(shù)據(jù)中，我們可以獲得可以構(gòu)造一個可行的模型的變量。領(lǐng)域?qū)＜胰羰?/span>數(shù)據(jù)科學(xué)家，懂得如何從數(shù)據(jù)中獲得這些變量。用這些變量，你便可以設(shè)計(jì)檢測方法來找出壞用戶。

最終，司法科學(xué)(forensics)給出一個工具箱來抵御攻擊者，并幫助你學(xué)到攻擊的本質(zhì)和了解如何避免(或者限制)未來類似的攻擊。司法科學(xué)可能是耗時(shí)的過程，數(shù)據(jù)科學(xué)篩過所有數(shù)據(jù)，最終將結(jié)果組合從而獲得解決方案。一旦問題被擺在一塊，新的工具、工程和監(jiān)測可以按需設(shè)置。

數(shù)據(jù)服務(wù)和運(yùn)營

數(shù)據(jù)服務(wù)和運(yùn)營是任何數(shù)據(jù)組織的基礎(chǔ)環(huán)節(jié)之一。這個團(tuán)隊(duì)負(fù)責(zé)數(shù)據(jù)庫、數(shù)據(jù)存儲、數(shù)據(jù)結(jié)構(gòu)(數(shù)據(jù)模式scheme的設(shè)置)和數(shù)據(jù)倉庫。他們也負(fù)責(zé)監(jiān)測和保護(hù)這些系統(tǒng)。另一個功能部分不能離開頂級數(shù)據(jù)服務(wù)和操作團(tuán)隊(duì);甚至可以這么說，組織的其他團(tuán)隊(duì)都是存在于這個團(tuán)隊(duì)之上。一些組織中，這些團(tuán)隊(duì)是獨(dú)立于傳統(tǒng)操作團(tuán)隊(duì)的。在我看來，當(dāng)這些系統(tǒng)復(fù)雜性增加，便需要更多地與操作團(tuán)隊(duì)合作。這個功能領(lǐng)域提供的這些系統(tǒng)和服務(wù)需要被部署在傳統(tǒng)數(shù)據(jù)中心或者云上，也需要被監(jiān)測以保證穩(wěn)定性;員工也應(yīng)該隨時(shí)待命，以防止系統(tǒng)崩潰。建立好的運(yùn)營團(tuán)隊(duì)需要在這些領(lǐng)域有配置，以提供對應(yīng)的服務(wù)。

當(dāng)一個組織建立起匯報(bào)需求時(shí)，數(shù)據(jù)服務(wù)和運(yùn)營團(tuán)隊(duì)需要對匯報(bào)層負(fù)責(zé)。當(dāng)團(tuán)隊(duì)成員可能不會關(guān)注定義度量時(shí)，他們在確保報(bào)告準(zhǔn)時(shí)生成至關(guān)重要。因此，數(shù)據(jù)服務(wù)和決策科學(xué)的合作是絕對根本的。例如，當(dāng)一個度量可以能在紙上很容易定義，但實(shí)現(xiàn)起來作為一個規(guī)則話的報(bào)表的一部分時(shí)變得不現(xiàn)實(shí)時(shí)：因?yàn)橥瓿蛇@個報(bào)表的度量的計(jì)算所需要的數(shù)據(jù)庫查詢太過復(fù)雜而難以達(dá)到所需頻率。

數(shù)據(jù)工程和基礎(chǔ)架構(gòu)

去輕描淡寫用來規(guī)?；a(chǎn)生、跟蹤、移動和處理數(shù)據(jù)的工具的復(fù)雜程度很難。開發(fā)和實(shí)現(xiàn)這些技術(shù)是數(shù)據(jù)工程和基礎(chǔ)架構(gòu)團(tuán)隊(duì)的工作。過去十年，這些技術(shù)已經(jīng)發(fā)生了巨大的變化，其中有若干開源項(xiàng)目的大量合作。這里舉一些例子：

Kafka、Flume和Scribe是搜集流數(shù)據(jù)的工具。盡管這些模型不大相同，主要想法都是從多個數(shù)據(jù)源獲得數(shù)據(jù);聚合數(shù)據(jù);然后將數(shù)據(jù)交給數(shù)據(jù)庫，如Hadoop還有其他一些。

Hadoop是目前最廣泛使用的處理數(shù)據(jù)的框架。它是一個有Google在2004年公開的MapReduce程序設(shè)計(jì)模型的開源實(shí)現(xiàn)。本質(zhì)上是一種批處理;S4和Strom都將目標(biāo)匯聚在一些更新的處理流數(shù)據(jù)的技術(shù)

Azkaban和Oozie是工作調(diào)度器，他們管理和協(xié)調(diào)復(fù)雜的數(shù)據(jù)流

Pig和Hive是大型非關(guān)系型數(shù)據(jù)存儲的查詢語言。Hive與SQL非常類似。Pig則是面向數(shù)據(jù)的腳本語言

Voldmort、Cassandra和Hbase是設(shè)計(jì)為高性能大數(shù)據(jù)的數(shù)據(jù)存儲。

同等重要的是為這些系統(tǒng)建立監(jiān)測和部署技術(shù)。

除了建立基礎(chǔ)架構(gòu)，數(shù)據(jù)工程和基礎(chǔ)架構(gòu)可以使用產(chǎn)品和市場分析團(tuán)隊(duì)的思想，實(shí)現(xiàn)這些想法以達(dá)到可以規(guī)模化產(chǎn)品操作的目的。例如，視頻推薦引擎可以使用SQL、Pig或者Hive來建立遠(yuǎn)行。如果測試顯示推薦系統(tǒng)效果很好，那么就可以將推薦系統(tǒng)部署讓它支持SLA，表明合適的可獲得性和潛伏性。將產(chǎn)品從原型向產(chǎn)品化移植可能需要重新實(shí)現(xiàn)使得可以規(guī)?；阅堋Ｈ绻?a href='/map/sql/' style='color:#000;font-size:inherit;'>SQL和一個關(guān)系型數(shù)據(jù)庫運(yùn)行得很慢，可能需要移到HBase，使用Hive或則好Pig來進(jìn)行查詢。一旦應(yīng)用被部署好，必須處在監(jiān)測之下，來保證其持續(xù)滿足需求。同樣也要確保產(chǎn)生合理的結(jié)果。達(dá)到這個目標(biāo)需要更多高難度的軟件開發(fā)工作。

組織和匯報(bào)合作

一個組織應(yīng)當(dāng)以根據(jù)我討論過的功能領(lǐng)域設(shè)計(jì)，還是通過其他的機(jī)制?沒簡單的答案。關(guān)鍵點(diǎn)包含參與的人員、組織的大小和規(guī)模和企業(yè)的組織動態(tài)(如，這個公司是產(chǎn)品驅(qū)動、市場驅(qū)動還是工程驅(qū)動)。

在發(fā)展早期，人們必須負(fù)責(zé)很多工作。例如，在一個初創(chuàng)公司，不可能負(fù)擔(dān)起分析、安全、運(yùn)營和架構(gòu)等分開的團(tuán)隊(duì)：一兩個人可能需要做所有的事情。但是當(dāng)一個組織變大了，人們自然會變得專業(yè)化。另外，去除任何簡單的失敗點(diǎn)很重要。一些組織使用“精英個體中心模型”，這是一種中心化數(shù)據(jù)團(tuán)隊(duì)。其他的使用一個集成和說話模型，這種是指有一個中央團(tuán)隊(duì)，成員被安進(jìn)支撐團(tuán)隊(duì)種(例如，銷售團(tuán)隊(duì)可能會支持分析團(tuán)隊(duì)來支撐商業(yè)需求)。還有一些組織完全去中心化，每個團(tuán)隊(duì)自己雇用滿足自身需求的員工。

以下三點(diǎn)是我的感受：

如果團(tuán)隊(duì)較小，成員應(yīng)當(dāng)坐在一起。與數(shù)據(jù)打交道常常有很多理解差異，團(tuán)隊(duì)之間的快速交流可以解決那些折磨人卻很簡單的問題。

授人以漁——這只會增強(qiáng)成為更好的數(shù)據(jù)驅(qū)動組織。如前面討論過的，像Facebook和Zynga這樣的組織高效地民主化自己的數(shù)據(jù)。于是，這些公司有更多的人員參與到分析和觀察關(guān)鍵度量的工作。這樣的獲得方式在50年前根本不可能聽到。當(dāng)然這樣也有另外一面：對于基礎(chǔ)架構(gòu)和訓(xùn)練人員的需求提高了?；A(chǔ)架構(gòu)挑戰(zhàn)是技術(shù)問題，最簡單的達(dá)到訓(xùn)練的方式是開設(shè)辦公室時(shí)間并計(jì)劃數(shù)據(jù)課程。

所有那些功能領(lǐng)域必須有定期的聯(lián)絡(luò)和交流。當(dāng)數(shù)據(jù)科學(xué)的領(lǐng)域不斷擴(kuò)大，技術(shù)和過程創(chuàng)新不可避免同樣得到發(fā)展。為了保持同步性，所有團(tuán)隊(duì)都應(yīng)當(dāng)分享自己的經(jīng)驗(yàn)。即使他們不是同一結(jié)構(gòu)，共同使用的數(shù)據(jù)將他們綁在一起。