數(shù)據(jù)分析師的新發(fā)現(xiàn)：數(shù)據(jù)應(yīng)用催生商業(yè)模式

與點(diǎn)擊廣告相比，Jeff Hammerbacher相信，數(shù)據(jù)應(yīng)用能夠催生更多更好的商業(yè)模式。

　　H= Jeff Hammerbacher Cloudera創(chuàng)始人

　　C= CBNweekly

　　C:你的數(shù)據(jù)挖掘工作始于華爾街投行Bear Stearn，那是怎樣一份工作？

　　H:當(dāng)時(shí)我是固定收益部的數(shù)據(jù)分析師，主要處理有關(guān)債權(quán)、抵押以及其他金融衍生工具的事務(wù)。我為交易員清理外匯期權(quán)的電子數(shù)據(jù)表。清除完成后，我還要通過復(fù)雜的隨機(jī)微分方程把定價(jià)引擎應(yīng)用到這些期權(quán)上。

　　后來我得根據(jù)金融產(chǎn)品價(jià)格變動(dòng)，維護(hù)它的固定收入的期限結(jié)構(gòu)模型。期限結(jié)構(gòu)模型是對(duì)收益率曲線發(fā)展的預(yù)測—很復(fù)雜的算法，每晚都得運(yùn)行。我還開發(fā)了同步模擬通貨膨脹的期限結(jié)構(gòu)模型。

　　空下來的時(shí)候，我會(huì)去維基百科管理一下上面的答案?，F(xiàn)在我是Quora的活躍分子，就知識(shí)交換而言，Quora比維基好得多。

　　C:從你的工作經(jīng)歷來看，你怎么看待數(shù)據(jù)應(yīng)用這個(gè)問題？

　　H:我不是很了解許多大機(jī)構(gòu)的宏偉目標(biāo)，我只能談?wù)勎业念I(lǐng)域。在我開始為數(shù)據(jù)應(yīng)用做貢獻(xiàn)前，還有一大堆的知識(shí)等著我去消化。我一直試圖找出更簡潔和更準(zhǔn)確的模型來處理那些被篩選出來的重要信息。

　　曾有一件事，讓我真正明白了數(shù)據(jù)管理和復(fù)雜模型的價(jià)值。有天，我們丟失了路透社有關(guān)交易所的數(shù)據(jù)反饋，所有的活動(dòng)都被迫停止。但是負(fù)責(zé)數(shù)據(jù)反饋的那個(gè)工程師卻外出午飯去了，在他回到座位之前，我們完全束手無策。那時(shí)我覺得，沒有可靠的數(shù)據(jù)結(jié)構(gòu)，華爾街賺不了錢，不管它有多少數(shù)學(xué)博士。

　　還有另外一件事情讓我感到復(fù)雜模型的局限性。當(dāng)時(shí)我們的一位交易員決定在某個(gè)金融產(chǎn)品上停用我們的模型，原因是模型預(yù)測的價(jià)格和其他交易員預(yù)測的價(jià)格有很大差異。這讓我明白，所有的模型都必須考慮它所針對(duì)的金融工具的背景信息。

　　C:后來你去了Facebook，還組建數(shù)據(jù)團(tuán)隊(duì)，工作性質(zhì)變了嗎？

　　H:2006年，我以研究科學(xué)家的身份進(jìn)入Facebook。就在我加入的前幾個(gè)月，F(xiàn)acebook聘請(qǐng)了他們第一位分析總監(jiān)。他搭建了Facebook第一個(gè)數(shù)據(jù)庫，加入后的頭幾個(gè)月我都在幫他干這個(gè)活。同時(shí)，我也會(huì)負(fù)責(zé)一些數(shù)據(jù)分析項(xiàng)目，尤其是分析在News Feed功能和開放注冊(cè)推出之后網(wǎng)站訪問量的增長情況。

　　幾個(gè)月之后，我便清楚我們的增長速度將使得我們的數(shù)據(jù)結(jié)構(gòu)超出任何當(dāng)時(shí)的商業(yè)軟件處理能力，于是我便向我的老板，F(xiàn)acebook的CTO Adam D'Angleo建議，我們要有自己的、由結(jié)構(gòu)工程師和研究科學(xué)家組成的數(shù)據(jù)團(tuán)隊(duì)。我深刻地覺得，這兩種人一起工作對(duì)于開發(fā)早期數(shù)據(jù)結(jié)構(gòu)軟件太重要了。

　　此后，我的工作主要就是在世界范圍內(nèi)招聘最出色的數(shù)據(jù)結(jié)構(gòu)工程師，一起去證明我們的遠(yuǎn)見。

　　C:你在那些數(shù)據(jù)挖掘里發(fā)現(xiàn)了什么？

　　H:這工作感覺太棒了：News Feed發(fā)布之后的第二天簡直就是瘋狂的一天。一整天我都在把Facebook的流量數(shù)字更新給馬克·扎克伯格，佐證他當(dāng)時(shí)的直覺—不管當(dāng)時(shí)的新聞報(bào)道如何唱衰，News Feed對(duì)于用戶來說會(huì)是個(gè)好東西。最讓我興奮的還要數(shù)推出平臺(tái)的那天。在接下來的那個(gè)星期，我第一次明白Facebook會(huì)成功的，就像它今天一樣的成功。

　　然而最棒的時(shí)刻，是我們終于可以把軟件進(jìn)行開源的那？天。

　　C:但你后來又離開了，還說“最聰明的人都在讓人們把注意力轉(zhuǎn)到點(diǎn)擊廣告上，真糟糕”。你為什么會(huì)這么想？

　　H:正確的引用應(yīng)該是：我一代中最聰明的人都在想著怎么讓更多人點(diǎn)擊廣告，這真是糟糕透了。這很容易理解：在線廣告已經(jīng)成為了過去十年財(cái)富創(chuàng)造最可靠的來源。把消費(fèi)者和銷售者配對(duì)起來，以及創(chuàng)造新的消費(fèi)者和銷售者，這對(duì)于任何市場來說都是最重要的問題。在線瀏覽和在線購買都變得非常容易估量。當(dāng)你有估量方法，你就可以研究科學(xué)。在這種情況下，我這一代中最聰明的人則在推動(dòng)科學(xué)的前？進(jìn)。

　　但不幸的是，我人生中大部分有朝一日可以被解決的問題，都不會(huì)因更精準(zhǔn)的廣告而迎刃而解。我不確定如何整合我們的社會(huì)，才能讓致力于解決長期挑戰(zhàn)的人覺得自己得到了應(yīng)得的回報(bào)，但是這是一個(gè)值得問出口的問題。

　　當(dāng)然，廣告之外現(xiàn)在已經(jīng)有了大量的其他數(shù)據(jù)應(yīng)用，我現(xiàn)在就能脫口而出那些公司的名字：GitHub讓開發(fā)開源軟件變得更容易；Kickstar讓項(xiàng)目可以更快地獲得資金支持；Rock Health和Imagine K-12在教育和資助下一代創(chuàng)業(yè)公司應(yīng)該把更多目光投向醫(yī)療和教育領(lǐng)域的實(shí)際問題；Sage Bionetworks正在創(chuàng)造一個(gè)軟件和數(shù)據(jù)的共享倉庫，幫助疾病模型的建立和藥品的開發(fā)；EyeWire用眾包的方式研究大腦結(jié)構(gòu)。有一些在線廣告公司已經(jīng)開源了工具包，比如Facebook的Open Compute項(xiàng)目就是其中很有意思的一個(gè)。

　　C:你現(xiàn)在工作的Cloudera有什么不一樣？

　　H:Cloudera的特別之處在于，我們的軟件可以和任何形式、任何規(guī)模的數(shù)據(jù)匹配，并且是開源的。我們希望可以在數(shù)據(jù)分析的基礎(chǔ)上創(chuàng)造更為開放的平臺(tái)。

　　我們的主要產(chǎn)品是Cloudera Enterprise，它是我們的資產(chǎn)管理軟件Cloudera Manager最重要的組成部分。它的銷售一路走紅，讓我們得以從小團(tuán)隊(duì)成長為200多人的公司，到今年年底可能會(huì)超過300人。做一個(gè)開源軟件還能賺錢是一個(gè)讓人興奮的事情。最近我們新增了一些企業(yè)用戶功能，比如可以讓企業(yè)把被毀滅的數(shù)據(jù)恢復(fù)過來。

　　Cloudera更讓人興奮之處在于，許多公司的成功是建立在我們所提供的平臺(tái)之上，投資我們的Accel公司很看好這個(gè)平臺(tái)，它催生機(jī)遇，目前Accel在各種大數(shù)據(jù)領(lǐng)域的公司里投資了將近1億美元。

　　C:你在硅谷看到數(shù)據(jù)挖掘的趨勢是什么？

　　H:數(shù)據(jù)收據(jù)和數(shù)據(jù)挖掘最有趣的部分仍然發(fā)生在互聯(lián)網(wǎng)公司之內(nèi)，廣告是構(gòu)成這類公司營收最重要的部分。然而，在過去的幾年里，這些公司當(dāng)中有的已經(jīng)成功地把開源工具商業(yè)化，創(chuàng)造了其他高收益的商業(yè)模式。我希望未來幾年，會(huì)有更多的革新出現(xiàn)在這些公司里。

　　現(xiàn)在發(fā)生了很多有趣的事情。在人工智能方面，許多算法已經(jīng)被隱藏到了開源軟件平易近人的交互界面之下，比如Scikit-Learn，它能讓用戶很方便用各種模型做試驗(yàn)；還有像Vowpal Wabbit、Kaggle等等。

　　瀏覽器已經(jīng)成為了數(shù)據(jù)可視化最棒的平臺(tái)。JAVA Script, HIML5和WebGl，還有像D3和Crossfilter等實(shí)驗(yàn)室都讓數(shù)以億計(jì)的數(shù)據(jù)互動(dòng)性更強(qiáng)、更可視化。當(dāng)數(shù)據(jù)可視化在瀏覽器上實(shí)現(xiàn)了以后，合作將變得更便利，并隨之催生出更多讓人興奮的新技術(shù)和工具。

　　我可以說出許多在數(shù)據(jù)搜集方面很有意思的工具：LearnStructure、SchemaDictionary、密歇根大學(xué)開發(fā)的Fisheye，還有斯坦福和伯克利大學(xué)合作研發(fā)的一個(gè)叫Data Wrangler的工具。

　　C:你現(xiàn)在怎么看待數(shù)據(jù)的價(jià)值？

　　H:我深信科學(xué)是社會(huì)一切美好事物的偉大來源。數(shù)據(jù)則是被科學(xué)管理著的世界的代表，因此收集越多的數(shù)據(jù)，我們就有能力做更多的科學(xué)研究。在廣告于過去十年變得無比成熟的同時(shí)，許多產(chǎn)業(yè)甚至還沒有進(jìn)入數(shù)字時(shí)代。其中最突出的是醫(yī)療產(chǎn)業(yè)。我并不認(rèn)為醫(yī)療產(chǎn)業(yè)在2030年還會(huì)如今天的情況一樣駐足不動(dòng)。在Cloudera，我們已經(jīng)有了許多來自醫(yī)療行業(yè)的客戶，同時(shí)我也希望我們能在這個(gè)進(jìn)程中保持領(lǐng)先地位，因?yàn)獒t(yī)療數(shù)字化這一天一定會(huì)到來。