數(shù)據(jù)分析師的新發(fā)現(xiàn)：數(shù)據(jù)應用催生商業(yè)模式

與點擊廣告相比，Jeff Hammerbacher相信，數(shù)據(jù)應用能夠催生更多更好的商業(yè)模式。

　　H= Jeff Hammerbacher Cloudera創(chuàng)始人

　　C= CBNweekly

　　C:你的數(shù)據(jù)挖掘工作始于華爾街投行Bear Stearn，那是怎樣一份工作？

　　H:當時我是固定收益部的數(shù)據(jù)分析師，主要處理有關債權、抵押以及其他金融衍生工具的事務。我為交易員清理外匯期權的電子數(shù)據(jù)表。清除完成后，我還要通過復雜的隨機微分方程把定價引擎應用到這些期權上。

　　后來我得根據(jù)金融產(chǎn)品價格變動，維護它的固定收入的期限結構模型。期限結構模型是對收益率曲線發(fā)展的預測—很復雜的算法，每晚都得運行。我還開發(fā)了同步模擬通貨膨脹的期限結構模型。

　　空下來的時候，我會去維基百科管理一下上面的答案?，F(xiàn)在我是Quora的活躍分子，就知識交換而言，Quora比維基好得多。

　　C:從你的工作經(jīng)歷來看，你怎么看待數(shù)據(jù)應用這個問題？

　　H:我不是很了解許多大機構的宏偉目標，我只能談談我的領域。在我開始為數(shù)據(jù)應用做貢獻前，還有一大堆的知識等著我去消化。我一直試圖找出更簡潔和更準確的模型來處理那些被篩選出來的重要信息。

　　曾有一件事，讓我真正明白了數(shù)據(jù)管理和復雜模型的價值。有天，我們丟失了路透社有關交易所的數(shù)據(jù)反饋，所有的活動都被迫停止。但是負責數(shù)據(jù)反饋的那個工程師卻外出午飯去了，在他回到座位之前，我們完全束手無策。那時我覺得，沒有可靠的數(shù)據(jù)結構，華爾街賺不了錢，不管它有多少數(shù)學博士。

　　還有另外一件事情讓我感到復雜模型的局限性。當時我們的一位交易員決定在某個金融產(chǎn)品上停用我們的模型，原因是模型預測的價格和其他交易員預測的價格有很大差異。這讓我明白，所有的模型都必須考慮它所針對的金融工具的背景信息。

　　C:后來你去了Facebook，還組建數(shù)據(jù)團隊，工作性質變了嗎？

　　H:2006年，我以研究科學家的身份進入Facebook。就在我加入的前幾個月，F(xiàn)acebook聘請了他們第一位分析總監(jiān)。他搭建了Facebook第一個數(shù)據(jù)庫，加入后的頭幾個月我都在幫他干這個活。同時，我也會負責一些數(shù)據(jù)分析項目，尤其是分析在News Feed功能和開放注冊推出之后網(wǎng)站訪問量的增長情況。

　　幾個月之后，我便清楚我們的增長速度將使得我們的數(shù)據(jù)結構超出任何當時的商業(yè)軟件處理能力，于是我便向我的老板，F(xiàn)acebook的CTO Adam D'Angleo建議，我們要有自己的、由結構工程師和研究科學家組成的數(shù)據(jù)團隊。我深刻地覺得，這兩種人一起工作對于開發(fā)早期數(shù)據(jù)結構軟件太重要了。

　　此后，我的工作主要就是在世界范圍內招聘最出色的數(shù)據(jù)結構工程師，一起去證明我們的遠見。

　　C:你在那些數(shù)據(jù)挖掘里發(fā)現(xiàn)了什么？

　　H:這工作感覺太棒了：News Feed發(fā)布之后的第二天簡直就是瘋狂的一天。一整天我都在把Facebook的流量數(shù)字更新給馬克·扎克伯格，佐證他當時的直覺—不管當時的新聞報道如何唱衰，News Feed對于用戶來說會是個好東西。最讓我興奮的還要數(shù)推出平臺的那天。在接下來的那個星期，我第一次明白Facebook會成功的，就像它今天一樣的成功。

　　然而最棒的時刻，是我們終于可以把軟件進行開源的那？天。

　　C:但你后來又離開了，還說“最聰明的人都在讓人們把注意力轉到點擊廣告上，真糟糕”。你為什么會這么想？

　　H:正確的引用應該是：我一代中最聰明的人都在想著怎么讓更多人點擊廣告，這真是糟糕透了。這很容易理解：在線廣告已經(jīng)成為了過去十年財富創(chuàng)造最可靠的來源。把消費者和銷售者配對起來，以及創(chuàng)造新的消費者和銷售者，這對于任何市場來說都是最重要的問題。在線瀏覽和在線購買都變得非常容易估量。當你有估量方法，你就可以研究科學。在這種情況下，我這一代中最聰明的人則在推動科學的前？進。

　　但不幸的是，我人生中大部分有朝一日可以被解決的問題，都不會因更精準的廣告而迎刃而解。我不確定如何整合我們的社會，才能讓致力于解決長期挑戰(zhàn)的人覺得自己得到了應得的回報，但是這是一個值得問出口的問題。

　　當然，廣告之外現(xiàn)在已經(jīng)有了大量的其他數(shù)據(jù)應用，我現(xiàn)在就能脫口而出那些公司的名字：GitHub讓開發(fā)開源軟件變得更容易；Kickstar讓項目可以更快地獲得資金支持；Rock Health和Imagine K-12在教育和資助下一代創(chuàng)業(yè)公司應該把更多目光投向醫(yī)療和教育領域的實際問題；Sage Bionetworks正在創(chuàng)造一個軟件和數(shù)據(jù)的共享倉庫，幫助疾病模型的建立和藥品的開發(fā)；EyeWire用眾包的方式研究大腦結構。有一些在線廣告公司已經(jīng)開源了工具包，比如Facebook的Open Compute項目就是其中很有意思的一個。

　　C:你現(xiàn)在工作的Cloudera有什么不一樣？

　　H:Cloudera的特別之處在于，我們的軟件可以和任何形式、任何規(guī)模的數(shù)據(jù)匹配，并且是開源的。我們希望可以在數(shù)據(jù)分析的基礎上創(chuàng)造更為開放的平臺。

　　我們的主要產(chǎn)品是Cloudera Enterprise，它是我們的資產(chǎn)管理軟件Cloudera Manager最重要的組成部分。它的銷售一路走紅，讓我們得以從小團隊成長為200多人的公司，到今年年底可能會超過300人。做一個開源軟件還能賺錢是一個讓人興奮的事情。最近我們新增了一些企業(yè)用戶功能，比如可以讓企業(yè)把被毀滅的數(shù)據(jù)恢復過來。

　　Cloudera更讓人興奮之處在于，許多公司的成功是建立在我們所提供的平臺之上，投資我們的Accel公司很看好這個平臺，它催生機遇，目前Accel在各種大數(shù)據(jù)領域的公司里投資了將近1億美元。

　　C:你在硅谷看到數(shù)據(jù)挖掘的趨勢是什么？

　　H:數(shù)據(jù)收據(jù)和數(shù)據(jù)挖掘最有趣的部分仍然發(fā)生在互聯(lián)網(wǎng)公司之內，廣告是構成這類公司營收最重要的部分。然而，在過去的幾年里，這些公司當中有的已經(jīng)成功地把開源工具商業(yè)化，創(chuàng)造了其他高收益的商業(yè)模式。我希望未來幾年，會有更多的革新出現(xiàn)在這些公司里。

　　現(xiàn)在發(fā)生了很多有趣的事情。在人工智能方面，許多算法已經(jīng)被隱藏到了開源軟件平易近人的交互界面之下，比如Scikit-Learn，它能讓用戶很方便用各種模型做試驗；還有像Vowpal Wabbit、Kaggle等等。

　　瀏覽器已經(jīng)成為了數(shù)據(jù)可視化最棒的平臺。JAVA Script, HIML5和WebGl，還有像D3和Crossfilter等實驗室都讓數(shù)以億計的數(shù)據(jù)互動性更強、更可視化。當數(shù)據(jù)可視化在瀏覽器上實現(xiàn)了以后，合作將變得更便利，并隨之催生出更多讓人興奮的新技術和工具。

　　我可以說出許多在數(shù)據(jù)搜集方面很有意思的工具：LearnStructure、SchemaDictionary、密歇根大學開發(fā)的Fisheye，還有斯坦福和伯克利大學合作研發(fā)的一個叫Data Wrangler的工具。

　　C:你現(xiàn)在怎么看待數(shù)據(jù)的價值？

　　H:我深信科學是社會一切美好事物的偉大來源。數(shù)據(jù)則是被科學管理著的世界的代表，因此收集越多的數(shù)據(jù)，我們就有能力做更多的科學研究。在廣告于過去十年變得無比成熟的同時，許多產(chǎn)業(yè)甚至還沒有進入數(shù)字時代。其中最突出的是醫(yī)療產(chǎn)業(yè)。我并不認為醫(yī)療產(chǎn)業(yè)在2030年還會如今天的情況一樣駐足不動。在Cloudera，我們已經(jīng)有了許多來自醫(yī)療行業(yè)的客戶，同時我也希望我們能在這個進程中保持領先地位，因為醫(yī)療數(shù)字化這一天一定會到來。