最新大數(shù)據(jù)產(chǎn)業(yè)地圖及解讀

從我第一次嘗試為繁榮發(fā)展的大數(shù)據(jù)生態(tài)系統(tǒng)繪制一張信息圖已經(jīng)過去了兩年， 而這期間大數(shù)據(jù)行業(yè)發(fā)生了很多巨大的變化。我早就該對(duì)這張圖做一個(gè)更新，現(xiàn)在終于完成了。

從VC的角度，我想談?wù)剬?duì)這張圖以及大數(shù)據(jù)行業(yè)的一些想法：

越來越擁擠：創(chuàng)業(yè)者們蜂擁至這個(gè)行業(yè)， VC們將大筆的資金投資到看起來有機(jī)會(huì)成功的創(chuàng)業(yè)公司，其結(jié)果是，這個(gè)行業(yè)正變得越來越擁擠。一些類別如數(shù)據(jù)庫(kù)（不管是NoSQL還是NewSQL）和社交媒體數(shù)據(jù)分析正趨于成熟，且開始出現(xiàn)并購(gòu)或者淘汰出局（Twitter對(duì)BlueFin和GNIP的收購(gòu)可能意味著在社交媒體數(shù)據(jù)分析領(lǐng)域這種趨勢(shì)早已經(jīng)開始了）。

對(duì)于后來者來說，雖然空間依然存在，但看起來早期的大筆風(fēng)投資金都下注在基礎(chǔ)設(shè)施（infrastructure）和分析（analytics）領(lǐng)域，導(dǎo)致成功的標(biāo)準(zhǔn)變得越來越高。不過， 這并不意味著VC的資金會(huì)停止流入這些領(lǐng)域。

對(duì)于一些領(lǐng)域，公司的數(shù)量之多顯然已經(jīng)達(dá)到了一張地圖所能容納的上限。我相信還有一些不錯(cuò)的公司我們沒能納入進(jìn)來，也許是我們沒有發(fā)現(xiàn)，也許是因?yàn)榈胤讲粔蛄耍?我在此表示非常抱歉，同時(shí)我也希望大家在評(píng)論里對(duì)于應(yīng)當(dāng)納入那些公司提出反饋和意見。

尚處在早期階段： 總體而言，這個(gè)市場(chǎng)還處在發(fā)展的早期階段。 過去幾年，一些被看好的公司失敗了（如Drawn to Scale），一些公司的創(chuàng)業(yè)者提前退出了(例如Precog、Prior Knowledge、Lucky Sort、Rapleaf、Nodeable、Karmasphere等 )，還有一些的結(jié)局稍好(例如Infochimps、Causata、Streambase、ParAccel、Aspera、GNIP、BlueFin labs、BlueKai)。

與此同時(shí)，一些公司看起來正越做越大，并獲得大筆驚人的風(fēng)投注資（比如MongoDB已經(jīng)融資超過2.3億美元， Palantir融資近9億美元， Cloudera近10億美元。一些大公司正積極出擊進(jìn)行并購(gòu)（Oracle收購(gòu)BlueKai， IBM收購(gòu)Cloudant），但是總體而言，多數(shù)公司離成功實(shí)現(xiàn)IPO和投資者功成身退還差的很遠(yuǎn)（雖然Splunk和Tableau做到了）。在很多類別，創(chuàng)業(yè)公司和大公司互相競(jìng)爭(zhēng)，但并沒有出現(xiàn)市場(chǎng)領(lǐng)導(dǎo)者。

市場(chǎng)宣傳遭遇現(xiàn)實(shí)：在經(jīng)歷這些年狂轟濫炸的市場(chǎng)宣傳之后，大數(shù)據(jù)還是焦點(diǎn)么？未來幾年，也許大數(shù)據(jù)不再是媒體的熱門，但對(duì)于大數(shù)據(jù)市場(chǎng)而言卻是至關(guān)重要的，因?yàn)槠髽I(yè)將要開始把大數(shù)據(jù)項(xiàng)目從試驗(yàn)轉(zhuǎn)而全面的部署實(shí)施。

雖然這意味著一些大數(shù)據(jù)提供商的利潤(rùn)會(huì)迅猛增長(zhǎng)，但同時(shí)這些項(xiàng)目也將成為大數(shù)據(jù)是否能帶來它所宣傳的價(jià)值的一塊試金石。與此同時(shí)，隨著“物聯(lián)網(wǎng)”行業(yè)的迅速崛起，數(shù)據(jù)將會(huì)如潮水般加速增長(zhǎng)，進(jìn)一步推高市場(chǎng)對(duì)大數(shù)據(jù)技術(shù)的需求。

基礎(chǔ)設(shè)施：Hadoop似乎已經(jīng)奠定了其作為整個(gè)大數(shù)據(jù)生態(tài)系統(tǒng)的關(guān)鍵部分，一些競(jìng)爭(zhēng)者依然雖在，這一領(lǐng)域也許會(huì)進(jìn)一步發(fā)展和整合。 Sprak是另一個(gè)的基于Hadoop分布式文件系統(tǒng)（HDFS）的開源框架，它試圖填補(bǔ)Hadoop的弱項(xiàng)，提供更快的的數(shù)據(jù)分析和良好的編程接口，目前正吸引大量關(guān)注（一些跡象顯示它做的還不錯(cuò)）。

一些主題（比如實(shí)時(shí)數(shù)據(jù)處理）依然是重中之重，同時(shí)新的主題也在不斷涌現(xiàn)（比如新一代處理、變換、清洗數(shù)據(jù)的工具，包括Trifacta、Paxata 和 DataTamer）。企業(yè)數(shù)據(jù)是否會(huì)真正的放到云里（公共云或私有云），如果是，還有多久才發(fā)生，將是另一個(gè)大的話題。很多人認(rèn)為財(cái)富500公司在接下來的幾年來會(huì)繼續(xù)把數(shù)據(jù)（以及處理數(shù)據(jù)的軟件）放在機(jī)房里。一批云服務(wù) Hadoop的創(chuàng)業(yè)公司則認(rèn)為長(zhǎng)期來看，所有的數(shù)據(jù)最終都會(huì)放到云中。

分析工具：從創(chuàng)業(yè)公司和VC投資的數(shù)量來看，這一領(lǐng)域最為活躍。從excel表格式的用戶界面，到時(shí)間軸動(dòng)畫和3D動(dòng)畫，創(chuàng)業(yè)公司提供各種各樣的數(shù)據(jù)分析工具和用戶界面，而不同的客戶也確實(shí)有不同的需求，所以這一領(lǐng)域大概依然有足夠的發(fā)展空間。

推廣產(chǎn)品的策略也不盡相同 — 有些創(chuàng)業(yè)公司更針對(duì)于數(shù)據(jù)科學(xué)家，這群人目前不多但增長(zhǎng)迅速。另一些則正好相反，他們銷售自動(dòng)化的解決方案給一般商業(yè)用戶，完全忽略數(shù)據(jù)科學(xué)家的存在。

大數(shù)據(jù)應(yīng)用： 正如之前預(yù)測(cè)的，大數(shù)據(jù)緩慢但的確朝著應(yīng)用層面發(fā)展。這張圖列出了一些令人興奮的創(chuàng)業(yè)公司——他們本質(zhì)上都是基于大數(shù)據(jù)技術(shù)和工具（當(dāng)然我們無法把所有的相關(guān)公司都在這里列出來）。一些公司提供橫向應(yīng)用——如基于大數(shù)據(jù)的營(yíng)銷系統(tǒng)，客戶關(guān)系管理系統(tǒng)和欺詐甄別解決方案。

金融業(yè)和廣告科技業(yè)一直是大數(shù)據(jù)推廣的領(lǐng)導(dǎo)者和最早的擁躉，甚至早于大數(shù)據(jù)被稱作大數(shù)據(jù)。慢慢的，大數(shù)據(jù)推廣到各行各業(yè)，如醫(yī)療行業(yè)和生化行業(yè)（特別是基因研究領(lǐng)域）和教育行業(yè)?，F(xiàn)在才剛剛開始。

特別感謝我在FirstMark的同事Sutian Dong，她為這張圖做了很多的基礎(chǔ)工作。以及我在彭博Beta的前同事Shivon Zilis，他對(duì)這張圖的之前版本做了巨大的貢獻(xiàn)。