大數(shù)據(jù)不是神話，不是泡沫，是在其上構建的創(chuàng)意和生意

最近10年，沒有一個技術名詞能像大數(shù)據(jù)一樣深入社會每個階層，獲得這么廣泛的關注。大數(shù)據(jù)被討論得如此泛濫已經引起警覺，以至于2013年后，真正從事大數(shù)據(jù)行業(yè)的人盡量避免提及這三個字。本文無意對大數(shù)據(jù)概念做任何修正，評判，或專家論調。只是一些事實，和來自20年數(shù)據(jù)分析從業(yè)經驗的一些感想。

1 輝煌的十年

大數(shù)據(jù)浪潮來自三股力量推動：技術社區(qū)，市場，學術圈。

2004, Google 發(fā)表了 “MapReduce: Simplified Data Processing on Large Clusters”，明確提出 MapReduce。值得注意的是，Google 并沒有發(fā)明什么，’分布執(zhí)行-中央?yún)R總’ 是最樸素古老的并行思想，Google 這篇文章價值在于，把這種并行思想流程化、規(guī)范化了，并提出了可能的實現(xiàn)架構。市場迅速對此作出反應，很多軟件實現(xiàn)涌現(xiàn)出來，其中最成功的是 Hadoop, 雅虎慷慨地把它交給Apache 軟件基金會。之后數(shù)年經過無數(shù)人努力發(fā)展成了完整的工具棧。

2008年前后以安卓手機為代表的智能設備開始普及，信息采集成本前所未有得低，物聯(lián)網，大數(shù)據(jù)變現(xiàn)前景變得樂觀。眾包思想，自媒體概念深入人心。

2010年，無人駕駛汽車開始測試，2012年3月到2013年12月，美國先后有四個州通過了自動駕駛汽車可上路測試的法律。

2011年，IBM 機器人 Watson，參加美國智力節(jié)目Jeopardy，挑戰(zhàn)兩位人類選手Ken和Brad，獲勝。

2011年，深度學習(Deep Learning) 引爆了學界，深度神經網絡，ensemble learning, 增強學習這些高度依賴數(shù)據(jù)規(guī)模的算法得到應用。 年度大事件是 “谷歌大腦” 項目實現(xiàn)了機器系統(tǒng)對各種不同類型貓圖像的自動識別，正確率與人類判斷接近。

2012年11月，大型國際科研合作項目“千人基因組計劃” 二期目標完成，這一成果將有助于更廣泛地分析與疾病有關的基因變異，改善全球人類健康狀況。 2013 IBM Watson 系統(tǒng)，微軟小冰，蘋果Siri 全面開花，標志著大數(shù)據(jù)進入深層價值階段。

2014 年中，善解人意會聊天的微軟機器人小冰出生。

2015 年底，Google 開源智能引擎 Tensorflow。 我只列舉了我熟悉的領域標志性事件，實際上每一年每個領域這個列表可以鋪滿一頁。

2 大數(shù)據(jù)仍然是巨人游戲

每次重要的技術革新都帶給市場一次重新洗牌的機會。這次革新體現(xiàn)尤為突出，值得注意的是這次變革開源社區(qū)一開始就參與進來，并且始終在技術層面上推動。這一點不同造成影響非常深刻，甚至改變了游戲規(guī)則。

第一就是傳統(tǒng)巨頭和初創(chuàng)公司之間的硬件資源壁壘變的不明顯了。Hadoop 問世之初被稱為’窮人的大數(shù)據(jù)’，因為可以低成本使用廉價硬件堆疊計算能力，給那些買不起 IBM 小型機的企業(yè)，特別是創(chuàng)業(yè)公司，與巨頭競爭的機會。另外網絡和智能設備的普及讓數(shù)據(jù)的流通屬性發(fā)揮的淋漓盡致，一個熱門服務短時間就能吸收巨大的數(shù)據(jù)流量。 這其間很多創(chuàng)業(yè)公司迅速從幾人小團隊發(fā)展成獨角獸公司。

相對小公司的熱情擁抱，大公司用謹慎的步伐適應這個轉變，特別是傳統(tǒng)行業(yè)。第一懷疑開源產品的穩(wěn)定性和安全性，第二大家習慣了付費從廠商得到支持，而不是自己參與到工具維護開發(fā)，甚至回饋技術社區(qū)?？墒且坏┒冗^轉型期，大公司充分利用自己的渠道優(yōu)勢，資源優(yōu)勢，會想盡辦法把大數(shù)據(jù)變成巨人游戲。技術只是入場劵，在所有門檻里，這是最低的一道。巨人的游戲考驗的是裝備，耐力，人力，業(yè)務積累，那些成功的小公司的絕不是憑技術勝出。

大公司的優(yōu)勢之一是積累深厚，后勁足。大公司還有個優(yōu)勢是，有足夠體量消化大數(shù)據(jù)的能量。如果公司業(yè)務線豐富，比如阿里、騰訊、百度、平安等，同一份數(shù)據(jù)在多個業(yè)務部門都可以釋放一次能量，這給了大公司更多空間對數(shù)據(jù)精耕細作。

3 不要把數(shù)據(jù)本身當作唯一壁壘，建立自己的數(shù)據(jù)閉環(huán)

數(shù)據(jù)是非常脆弱的核心競爭力，數(shù)據(jù)本身不管多么大，無法支撐一個公司的長久運營。脆弱的原因是收集成本與復制成本極度不對等，特別是當前監(jiān)管落后市場很多，一家電商網站一年的交易情況一個盤陣就可以塞滿；在線地圖廠商走遍每條街道手工采集的POI數(shù)據(jù)一個星期就被爬蟲收入囊中。公司在制定數(shù)據(jù)戰(zhàn)略的時候要認真考慮這種不對等，多層布局要把數(shù)據(jù)資產持久化運營和精細化運營。這方面的例子很多，實際上回顧 2010-2015 的互聯(lián)網的圈地狂潮，大伙兒都在做的兩件事就是：搶占入口，自建閉環(huán)。為了搶占入口各種地推燒錢，明爭暗斗無需多言。入口搶到了閉環(huán)的建立更困難。典型的數(shù)據(jù)閉環(huán)是：數(shù)據(jù)在消費端生成，通過交易、服務渠道完成采集，經過清洗匯總進入倉庫，加工分析應用到業(yè)務流程，市場反饋再通過消費端回來。這個閉環(huán)對業(yè)務流程的增量改進意義重大。

說到閉環(huán)建設，亞馬遜和 eBay 5年間的地位更替很有代表性。 2015年，亞馬遜值剛剛超過了3000億美元，eBay 曾經是亞馬遜的主要競爭對手，在金融危機的2008年，兩家公司的市值還不相上下，但是現(xiàn)在只是它市值的四分之一。這5年發(fā)生了什么？亞馬遜是非常在意渠道建設和閉環(huán)打造，除了在線交易，在云計算，物流，支付，智能硬件，電子出版，新媒體都有大量投入，相比之下 eBay 的資源高度集中在自己的主營業(yè)務上。1995~2000年互聯(lián)網剛剛起步，亞馬遜采取的直營方式便于培養(yǎng)早期的用戶，但到2001~2007年電商快速發(fā)展，搶到流量就是搶到錢，eBay這樣的輕資產模式很快就能實現(xiàn)變現(xiàn)，所以它也是最先盈利的電商之一，此時亞馬遜是落后的。2008年的金融危機之后，電商行業(yè)又經歷了新的變化，交易額高速增長的時代告一段落，公司價值的競爭由過去的單純交易額和用戶驅動變成了價值鏈經營驅動，而實現(xiàn)了閉環(huán)經營的亞馬遜的市值又實現(xiàn)了反超。2015年第二季度，亞馬遜服務收入已經超過60億美元，其中三分之一來自云服務，其他的來源還包括云平臺、物流、廣告，這部分業(yè)務可能會成為亞馬遜未來盈利能力的主要來源。

4 讓大數(shù)據(jù)工作落地

大數(shù)據(jù)最關鍵的一個環(huán)節(jié)是數(shù)據(jù)解讀。如果并不懂數(shù)據(jù)的作用時，他們就不會參與，當他們不參與時，數(shù)據(jù)就沒有價值。數(shù)據(jù)團隊的工作如果不能落在實處，前面所有環(huán)節(jié)都是徒勞。

Airbnb 公司的例子為數(shù)據(jù)團隊如何推廣工作結果提供了很好的范本。

Airbnb是成立于2008年8月的旅行房屋租賃公司，Aifbnd 非常有遠見，在團隊只有7個人的時候就有了專職大數(shù)據(jù)工程師，公司發(fā)展中每一次重大決策，數(shù)據(jù)團隊都發(fā)揮了重要作用。在早期團隊規(guī)模小的時候，大數(shù)據(jù)團隊工作模式是集中式的，分析團隊的意見可以很快傳達到決策層，業(yè)務端的反饋也同樣。隨著公司成長，溝通鏈條變得越來越長，數(shù)據(jù)團隊有被懸掛的感覺。其他同事不明白如何和我們互動，其他人對我們沒有完全的理解。隨著時間的推移，數(shù)據(jù)團隊被看成一種靜態(tài)資源，被要求提供數(shù)據(jù)，而沒有能夠主動思考未來的機會。隨后數(shù)據(jù)團隊被重新組織。仍然遵循集中的管理，但是走出自己的小組，進入每個需求部門，直接同工程師、設計師、產品經理、營銷人員等等溝通。這樣做增加了整個公司的數(shù)據(jù)利用率，也使數(shù)據(jù)科學家成為積極的合作伙伴。如今Airbnb用戶遍布190個國家近34000個城市，2015年2月28日，估值將達到200億美元。

5 相信數(shù)據(jù)，不憑感覺決策

以往的分析模型大多是大模型＋小數(shù)據(jù)，我們對模型本身做很多的假設和約束，人為干預在抽樣環(huán)節(jié)已經開始，在結果出來前就已經針對預期輸出準備好可能的解釋。大數(shù)據(jù)時代有個明顯的特點是分析手段趨向粗暴簡單。無需抽樣，也不對分布做太多假設，用全樣本輸入；以深度神經網絡為代表的大數(shù)據(jù)模型對解釋性的要求降到最低。這種大數(shù)據(jù)＋小模型在很多領域取得了成功，特別是在決策短的情況下，只要數(shù)據(jù)量足夠大，可以得到一些直接的洞見。

2006年以前，賽林格受命用大數(shù)據(jù)為亞馬遜增加營收，那時亞馬遜作為單純的在線零售商并不為起平臺上的商家做廣告，塞林格認為在廣告銷售有很大的利潤潛力，于是將這件事匯報給了自己的老板貝索斯，后者認為這是個愚蠢的主意 “我們是零售商。為什么要銷售展示廣告？”。盡管貝索斯不喜歡也不支持這個想法，但是他允許賽林格的團隊在網站上進行小規(guī)模測試，結果成為了亞馬遜有史以來最盈利的項目，他們把協(xié)同過濾，結構最簡單的推薦算法，做成了大數(shù)據(jù)一個經典案例。

6 大數(shù)據(jù)不是良藥 大數(shù)據(jù)還在進化

大數(shù)據(jù)決策的另一個極端是過分專注于大數(shù)據(jù)的技術討論，而忽略了一個基本事實：大數(shù)據(jù)不會改變業(yè)務維度的復雜性。盡管大的趨勢是很多業(yè)務問題可以變成技術問題來解決，但是經歷十年快速發(fā)展，我們仍然處于大數(shù)據(jù)的初期階段。這個時期大數(shù)據(jù)的解決問題思路仍然是橫向的，試圖從量上突破。已經積累了大量數(shù)據(jù)的企業(yè)，可以快速兌現(xiàn)歷史紅利，當前的火爆很大程度是確實很大一部分過去二三十年甚至更久數(shù)據(jù)積累的一次集中釋放。當淺層數(shù)據(jù)價值挖掘干凈后，如果沒有健康持久的業(yè)務模式，問題還在哪里?，F(xiàn)在我們的大數(shù)據(jù)在五年后會變成小數(shù)據(jù)，MapReduce，Hadoop，stream computing 等概念會變成理所當然的基本操作，甚至集成在語言本身，在業(yè)務層面感知不到它們的存在?，F(xiàn)在或許是大數(shù)據(jù)最熱鬧的時代，當在大數(shù)據(jù)真正回歸業(yè)務的時候，才是大數(shù)據(jù)最好的時代。能活到那一天的都是從現(xiàn)在開始把大數(shù)據(jù)往深處做的人。

大數(shù)據(jù)不是神話，不是泡沫，它是一些實在的工具和方法的綜合，是在其上構建的創(chuàng)意和生意。大數(shù)據(jù)已經走過十年輝煌，讓我們繼續(xù)期待。