硅谷觀察之大數(shù)據(jù)篇【上】：挖掘機(jī)和“改變世界的”大數(shù)據(jù)公司們

硅谷的這一個(gè)月，我在 startups demo days 和各種大公司一日游中度日，以為會(huì)逃脫國(guó)內(nèi)各種會(huì)上各種“大數(shù)據(jù)”和挖掘機(jī)的梗，但萬(wàn)萬(wàn)沒(méi)想到這里更甚。Hi~ 本文發(fā)自僅次于五道口的宇宙中心硅谷，與你分享大數(shù)據(jù)在這片土地上的真實(shí)生長(zhǎng)狀況。

什么是“改變世界”的大數(shù)據(jù)公司

近兩周硅谷兩場(chǎng)規(guī)模比較大的 demo 大會(huì)上，就有十多家自稱做大數(shù)據(jù)的 startups，有做消費(fèi)者行為的，有做體育分析的，有做 NGO 融資的，有做環(huán)保的，有做 UX 的，有做信貸評(píng)級(jí)的，當(dāng)然還少不了做移動(dòng)端廣告的。乍看都是高大上的產(chǎn)品，但仔細(xì)琢磨一下會(huì)發(fā)現(xiàn)一些沒(méi)那么高大上的細(xì)節(jié)。

比如，有一家介紹時(shí)候說(shuō) "Brings big data to teams, media and fans"，用的是Moneyball作引子。展示結(jié)束后詢問(wèn)他們是如何分析視頻以得到各種數(shù)據(jù)的，demo 的哥們表示他們請(qǐng)了一些人看視頻的。沒(méi)錯(cuò)，是人工。自然地，下一個(gè)問(wèn)題就是：未來(lái)如何擴(kuò)張以應(yīng)對(duì)來(lái)自不同體育項(xiàng)目大量的全長(zhǎng)錄像？他的回答也很簡(jiǎn)單，雇傭更多人。聽(tīng)完我懵了一下，問(wèn)，那打算如何利用收集的數(shù)據(jù)呢？答曰：開(kāi)放 API，自己不做分析。

那么，說(shuō)好的大數(shù)據(jù)呢？難道有數(shù)據(jù)就叫大數(shù)據(jù)公司了？如果慶豐包子留存有這半個(gè)多世紀(jì)以來(lái)的購(gòu)買(mǎi)者和交易記錄它就得叫大數(shù)據(jù)公司了？

是，但也不是。

先歸納了一下硅谷“大數(shù)據(jù)公司”的類型，有補(bǔ)充或修正的請(qǐng)拍磚：

• 數(shù)據(jù)的擁有者、數(shù)據(jù)源：特點(diǎn)是業(yè)務(wù)優(yōu)勢(shì)能收集到大量數(shù)據(jù)，就像煤老板壟斷一個(gè)地區(qū)的礦一樣。其實(shí)大多數(shù)有能力產(chǎn)生或收集數(shù)據(jù)的公司都屬于這類型，比如Vantage Sports和收集了PB級(jí)數(shù)據(jù)的包子鋪。
• 大數(shù)據(jù)咨詢：特點(diǎn)是非常技術(shù)，提供從基礎(chǔ)設(shè)施規(guī)劃建設(shè)維護(hù)到軟件開(kāi)發(fā)和數(shù)據(jù)分析等的服務(wù)，但不擁有數(shù)據(jù)，比如Cloudera這家不到500人的startup是最著名的Hadoop架構(gòu)咨詢公司。
• 做大數(shù)據(jù)工具的：比如AMPLab出來(lái)的Databricks和Yahoo人主導(dǎo)的Hortonworks。
• 整合應(yīng)用型：特點(diǎn)是收集擁有或購(gòu)買(mǎi)一些數(shù)據(jù)，然后結(jié)合AI來(lái)解決更多實(shí)際的痛點(diǎn)。

所以回答之前的問(wèn)題：是，因?yàn)榘愉佒灰占南M(fèi)者數(shù)據(jù)量夠大就能成為數(shù)據(jù)擁有者，有那么大的數(shù)據(jù)就有得到洞見(jiàn)的可能；不是，因?yàn)榭赡軓恼嬲饬x上來(lái)說(shuō)，大數(shù)據(jù)公司應(yīng)該只屬于第四種類型：AI。

對(duì)，我相信未來(lái)是 AI 的，而 AI 的食物是數(shù)據(jù)。就像很多產(chǎn)業(yè)鏈一樣，最困難且最有價(jià)值的創(chuàng)新往往發(fā)生在接近最終用戶的那端，比如 iPhone。大數(shù)據(jù)行業(yè)最有價(jià)值的部分在于如何利用機(jī)器去處理數(shù)據(jù)得到洞見(jiàn)，影響組織和個(gè)人的行為，從而改變世界。收集和整理數(shù)據(jù)在未來(lái)會(huì)變得標(biāo)準(zhǔn)化和自動(dòng)化，而利用 AI 進(jìn)行分析的能力會(huì)變得更為關(guān)鍵。

再看硅谷主打 AI 的公司，現(xiàn)在大致可以分成以下三類了：1. 分析用戶行為，改進(jìn)產(chǎn)品和營(yíng)銷(xiāo)的，比如 LinkedIn 的推薦系統(tǒng)和用 iBeacon 實(shí)現(xiàn)店內(nèi)營(yíng)銷(xiāo)；2. 統(tǒng)籌大量分散個(gè)體，利用大數(shù)據(jù)實(shí)現(xiàn)精確有效的預(yù)測(cè)和規(guī)劃的，比如 Uber 和前段時(shí)間出現(xiàn)的 Amazon Fresh 及 Grub Market；3. 分析識(shí)別各種類型的數(shù)據(jù)，開(kāi)發(fā)更智能的設(shè)備和程序，比如 Google 大腦及無(wú)人車(chē)和以 Nest 為代表的智能設(shè)備等。

這些產(chǎn)品都有一個(gè)很明顯的共性，就是在努力嘗試把機(jī)器變得更智能以減輕人類的工作量。這個(gè)目的與科技發(fā)展的動(dòng)力相符合，因此認(rèn)為之前所說(shuō)的第四種類型的公司是最有希望改變世界的。

這樣的大數(shù)據(jù)公司需要什么樣的人

那么大數(shù)據(jù)公司，或者說(shuō)到真正可以改變世界的大數(shù)據(jù)公司需要什么樣的人才呢？這里要介紹一個(gè)在硅谷被炒得很熱的高頻詞匯：數(shù)據(jù)科學(xué)家。

這個(gè)職位出現(xiàn)的原因并不是因?yàn)閿?shù)據(jù)量變大了需要更好的方式去存取，那是數(shù)據(jù)工程師的活。那產(chǎn)生的原因是什么呢？正是為了匹配上面第四種公司的需要。數(shù)據(jù)是 AI 當(dāng)中不可分割的一部分，而且量越大越好，從數(shù)學(xué)上來(lái)說(shuō)，數(shù)據(jù)越多則我們?cè)侥軌蛴行判陌褟臉颖痉治龀鰜?lái)的結(jié)果推論到未知的數(shù)據(jù)當(dāng)中，也就是說(shuō)機(jī)器學(xué)習(xí)的效果越來(lái)越好，AI 越來(lái)越智能。

由此誕生的數(shù)據(jù)科學(xué)家是一個(gè)非常綜合型的職業(yè)。它所要求的知識(shí)范圍包括分析數(shù)據(jù)的統(tǒng)計(jì)學(xué)，到算法的選擇優(yōu)化，再到對(duì)行業(yè)知識(shí)的深刻理解。這群人是開(kāi)發(fā)數(shù)據(jù)產(chǎn)品的核心。硅谷大部分 startup 已經(jīng)把它當(dāng)成是必需品了，以至于剛?cè)胄械男氯艘材茴I(lǐng)到差不多 $100K 的薪水。而模糊的定義和誤解也讓有的人戲稱，data scientist is a data analyst living in the bay area。

值得一提的是，數(shù)據(jù)本身的飛速發(fā)展從另一個(gè)側(cè)面其實(shí)也給數(shù)據(jù)工程師們的大數(shù)據(jù)處理帶來(lái)了許多挑戰(zhàn)。主要來(lái)源于以下的兩個(gè)方面：

• 數(shù)據(jù)量的急速增長(zhǎng)。如今，數(shù)據(jù)的產(chǎn)生變得異常容易。社交網(wǎng)絡(luò)，移動(dòng)應(yīng)用，幾乎所有的互聯(lián)網(wǎng)相關(guān)產(chǎn)品每時(shí)每刻都在產(chǎn)生眾多數(shù)據(jù)。傳統(tǒng)的集中儲(chǔ)存計(jì)算方式顯然無(wú)法處理如此龐大的數(shù)據(jù)量。這時(shí)，我們就需要新的儲(chǔ)存方式，如云儲(chǔ)存，以及新的處理方案，如Hadoop這樣的分布計(jì)算平臺(tái)。
• 數(shù)據(jù)本身的非結(jié)構(gòu)化。在傳統(tǒng)的數(shù)據(jù)處理領(lǐng)域，我們處理的主要是結(jié)構(gòu)化數(shù)據(jù)，例如，Excel表格可以顯示量化數(shù)據(jù)等。而如今我們面對(duì)著越來(lái)越多的非結(jié)構(gòu)化數(shù)據(jù)，如社交網(wǎng)絡(luò)的評(píng)論，用戶上傳的音頻視頻等。這些數(shù)據(jù)存在于包括文本、圖片、視頻、音頻等眾多的數(shù)據(jù)格式中，這些數(shù)據(jù)中隱含著眾多有價(jià)值的信息，但這些信息卻需要深度的計(jì)算才可以分析出來(lái)。這就需要我們利用智能化分析、圖像識(shí)別等等一系列新的算法來(lái)進(jìn)行數(shù)據(jù)挖掘，這也就是“大數(shù)據(jù)”的挑戰(zhàn)所在。

目前硅谷的創(chuàng)業(yè)公司正在探索新的應(yīng)用領(lǐng)域和方法，比如說(shuō)物聯(lián)網(wǎng)這塊?，F(xiàn)在智能設(shè)備們才剛剛起步，Nest、被 Nest 收購(gòu)的Dropcam、Iotera、emberlight等等都屬于少部分人的玩具。待到家家戶戶都安裝了智能冰箱、智能燈泡、智能桌子、智能沙發(fā)等等的時(shí)候，大數(shù)據(jù)的威力才會(huì)伴隨著巨大的使用規(guī)模而發(fā)揮出來(lái)。

另外一個(gè)角度就是人。如果把之前談的設(shè)備全部置換成個(gè)人的時(shí)候，他們的相互關(guān)系在各種維度上的交錯(cuò)會(huì)產(chǎn)生一張巨大的網(wǎng)絡(luò)，其中的每個(gè)組成部分都由大量的數(shù)據(jù)組成。分析理解預(yù)測(cè)這些社會(huì)關(guān)系將會(huì)是大數(shù)據(jù)另一個(gè)有趣的應(yīng)用方向，即Social Physics。不過(guò)按照從硅谷到全國(guó)的速度，感覺(jué)不管哪一方面的普及起碼得等上五年以上的時(shí)間。

展望一下未來(lái)的話，如果參照以前的技術(shù)革命和行業(yè)發(fā)展來(lái)看大數(shù)據(jù)，那么大數(shù)據(jù)的底層設(shè)施將會(huì)逐漸被隔離，被模塊化和標(biāo)準(zhǔn)化，甚至是自動(dòng)化，而在其上的中間層和應(yīng)用層將成為各大公司的數(shù)據(jù)工程師們激烈攻克的主戰(zhàn)場(chǎng)。

硅谷公司的大數(shù)據(jù)運(yùn)行現(xiàn)狀

目前硅谷各個(gè)公司的數(shù)據(jù)處理水平和模式差別還是蠻大的。除 Facebook 等幾個(gè)很領(lǐng)先的公司外，大部分公司要么還沒(méi)有能力自行處理數(shù)據(jù)，要么就是正在建立單獨(dú)的數(shù)據(jù)處理部門(mén)，主要負(fù)責(zé)從數(shù)據(jù)基本處理到后期分析的各個(gè)環(huán)節(jié)，然后再送到公司內(nèi)部的其他部門(mén)。

對(duì)于這些公司來(lái)說(shuō)，建立一個(gè)單獨(dú)的數(shù)據(jù)處理部門(mén)可能還有還路漫漫其修遠(yuǎn)兮。舉個(gè)例子來(lái)說(shuō)，F(xiàn)acebook 有一個(gè)超過(guò) 30 人的團(tuán)隊(duì)花了近 4 年的時(shí)間才建立了 Facebook 的數(shù)據(jù)處理平臺(tái)。如今，F(xiàn)acebook 仍需要超過(guò) 100 名工程師來(lái)支持這個(gè)平臺(tái)的日常運(yùn)行?？上攵?，光是大數(shù)據(jù)分析的基礎(chǔ)設(shè)施就已經(jīng)是一個(gè)耗時(shí)耗力的項(xiàng)目了。LinkedIn 大數(shù)據(jù)部門(mén)的建設(shè)也已花了整整六年。

普遍來(lái)說(shuō)，各公司自主建立數(shù)據(jù)處理平臺(tái)存在著幾個(gè)難點(diǎn)：

• 沒(méi)有足夠優(yōu)秀的數(shù)據(jù)工程師來(lái)組建團(tuán)隊(duì)
• 沒(méi)有足夠能力整合數(shù)據(jù)
• 沒(méi)有易于操作的基礎(chǔ)軟硬件來(lái)支持?jǐn)?shù)據(jù)分析

這幾個(gè)主要難點(diǎn)使得大數(shù)據(jù)分析越來(lái)越專業(yè)化、服務(wù)化，以至于我們漸漸看到一條“硅谷數(shù)據(jù)處理產(chǎn)業(yè)鏈”的出現(xiàn)。從數(shù)據(jù)的儲(chǔ)存，數(shù)據(jù)分析平臺(tái)建立，到數(shù)據(jù)分析，數(shù)據(jù)可視化等等各個(gè)環(huán)節(jié)的成本越來(lái)越高，這使得本身技術(shù)能力很強(qiáng)的公司都還是使用專業(yè)數(shù)據(jù)處理公司提供的服務(wù)，而將更多的人才和資源放到核心業(yè)務(wù)的開(kāi)發(fā)上。

另外，就是各個(gè)公司對(duì)于數(shù)據(jù)處理的要求也越來(lái)越高。不僅僅需要有效的處理結(jié)果，也需要數(shù)據(jù)處理可以 self-service、self-managing、保證數(shù)據(jù)安全性、完善實(shí)時(shí)分析。這些諸多需求也使得專業(yè)化團(tuán)隊(duì)的優(yōu)勢(shì)更加突出。而這樣一條整合服務(wù)鏈的行程，也給眾多的大數(shù)據(jù)公司提供了機(jī)會(huì)。

硅谷是非常神奇的地方。科技概念在這里也不能免俗會(huì)被追捧，被炒得很熱。但這種激情和關(guān)注某個(gè)程度上講正是硅谷創(chuàng)新的動(dòng)力。即使存在很多投機(jī)貼標(biāo)簽的人，即使一片片的大數(shù)據(jù) startups 被拍死在沙灘上，即使 Gartner 預(yù)測(cè)大數(shù)據(jù)概念將被回歸現(xiàn)實(shí)，但相信會(huì)有更多的人投入到大數(shù)據(jù)這個(gè)行業(yè)，開(kāi)發(fā)出更智能，更有影響力的產(chǎn)品。畢竟，大數(shù)據(jù)本身，不像一個(gè)單純的 pitch 那樣，它能夠保證的是一定可以中看并且中用。

在硅谷觀察之大數(shù)據(jù)篇的【下】中，我采訪了 Evernote AI 部門(mén)負(fù)責(zé)人 Zeesha Currimbhoy、LinkedIn 大數(shù)據(jù)部門(mén)總監(jiān) Simon Zhang，并會(huì)帶來(lái)三家美國(guó)知名公司的大數(shù)據(jù)發(fā)展?fàn)顩r。通過(guò)這些，可以更具體地知道硅谷這些公司在怎么做一個(gè)好的挖掘機(jī)和如何“改變世界”。