大數(shù)據(jù)時代出現(xiàn)的必然性

大數(shù)據(jù)是當下非?；鸨囊粋€詞，人人都在談論大數(shù)據(jù)。但大數(shù)據(jù)的定義是什么？它到底是如何出現(xiàn)的？它有什么特別之處？它最大的應用領域在哪里？它的發(fā)展方向是什么？對于以上問題，其實大多數(shù)人是弄不清楚的。
   1）大數(shù)據(jù)時代出現(xiàn)的必然性
   大數(shù)據(jù)和云計算這兩個詞經(jīng)常被同時提到，很多人誤以為大數(shù)據(jù)和云計算是同時誕生的、具有強綁定關系。其實這兩者之間既有關聯(lián)性，也有區(qū)別。云計算指的是一種以互聯(lián)網(wǎng)方式來提供服務的計算模式，而大數(shù)據(jù)指的是基于多源異構、跨域關聯(lián)的海量數(shù)據(jù)分析所產(chǎn)生的決策流程、商業(yè)模式、科學范式、生活方式和關聯(lián)形態(tài)上的顛覆性變化的總和。大數(shù)據(jù)處理會利用到云計算領域的很多技術，但大數(shù)據(jù)并非完全依賴于云計算；反過來，云計算之上也并非只有大數(shù)據(jù)這一種應用。
   云計算的起源可以追溯到 2003 年末 Amazon 公司工程師 Chris Pinkham 提交給 CEO Jeff Bezos 的一篇論文中的一個設想：將 Amazon 內部使用的計算基礎設施開放給全世界的開發(fā)者。次年 11 月，Amazon 發(fā)布了第一版云計算服務：Simple Queue Service。Simple Queue Service 再往后發(fā)展至 2006 年，演變成立今天著名的 AWS（Amazon Web Sercice）。同在 2006 年，Google 公司 CEO Eric Schmidt 首次公開提出了“云計算”（Cloud Computing）的這一概念，云計算也在這一年開始變得廣為人知。
   大數(shù)據(jù)這個詞的流行卻晚了好幾年——直到 2009 年，大數(shù)據(jù)這個說法才逐漸開始在互聯(lián)網(wǎng)圈內傳播。但僅僅在互聯(lián)網(wǎng)領域流行，仍然不足以引起普遍關注，因為純互聯(lián)網(wǎng)經(jīng)濟畢竟只占全球經(jīng)濟總量的很小一部分。而大數(shù)據(jù)概念真正變得火爆，卻是因為美國奧巴馬政府在 2012 年高調宣布了其“大數(shù)據(jù)研究和開發(fā)計劃”——美國政府希望利用大數(shù)據(jù)解決一些政府部門面臨的非常重要的問題，該計劃由橫跨 6 個政府部門的 84 個子課題組成。這標志著大數(shù)據(jù)真正開始進入主流的傳統(tǒng)線下經(jīng)濟。
   大數(shù)據(jù)出現(xiàn)的時間點自有它深刻的原因。2009 年至 2012 年這段時間正是電子商務在包括中國在內的全球全面開花的幾年。眾所周知，互聯(lián)網(wǎng)領域有 3 大類商業(yè)模式：廣告、游戲和電子商務。而電子商務又是第 1 個真正將純互聯(lián)網(wǎng)經(jīng)濟與傳統(tǒng)經(jīng)濟嫁接在一起誕生的混合模式。準確地說，正是互聯(lián)網(wǎng)與傳統(tǒng)經(jīng)濟的碰撞，才真正催生出了今天幾乎全民關注的“大數(shù)據(jù)”。大數(shù)據(jù)橫跨了互聯(lián)網(wǎng)產(chǎn)業(yè)與傳統(tǒng)產(chǎn)業(yè)，而且大數(shù)據(jù)真正廣闊的應用領域其實也正是比純互聯(lián)網(wǎng)經(jīng)濟大得多的傳統(tǒng)產(chǎn)業(yè)。
    從數(shù)據(jù)量的角度來看，在電子商務模式出現(xiàn)以前，傳統(tǒng)企業(yè)的數(shù)量增長緩慢。傳統(tǒng)企業(yè)的數(shù)據(jù)倉庫中的數(shù)據(jù)大多數(shù)來自于交易型數(shù)據(jù)，而交易這種行為處于用戶消費決策漏斗的最底部，這就決定了交易前的各種瀏覽、搜索、比較等用戶行為數(shù)據(jù)的都量遠遠超過交易數(shù)據(jù)。電子商務模式使得企業(yè)可以采集到用戶的瀏覽、搜索、比較等行為，這就導致企業(yè)的數(shù)據(jù)規(guī)至少提升了一個數(shù)量級?，F(xiàn)在日益流行的移動互聯(lián)網(wǎng)以及將來會流行的物聯(lián)網(wǎng)又必將使數(shù)據(jù)量提高兩三個數(shù)量級。從這個角度來講，大數(shù)據(jù)時代是必然會出現(xiàn)的。
    從 IT 產(chǎn)業(yè)的發(fā)展來看，第一代 IT 巨頭大多是 2B 的，比如 IBM、Microsoft、Oracle、SAP 這類傳統(tǒng) IT 企業(yè)；第二代 IT 巨頭大多是 2C 的，比如 Yahoo、Google、Amazon、Facebook 這類互聯(lián)網(wǎng)企業(yè)。一個有意思的現(xiàn)象是：大數(shù)據(jù)時代前，這兩類公司彼此之間基本是井水不犯河水，我們很少看見這兩類公司的老板們在一起坐而論道；但在當前這個大數(shù)據(jù)時代，這兩類公司已經(jīng)開始直接競爭。比如 Amazon 已經(jīng)開始提供云模式的數(shù)據(jù)倉庫服務，直接搶占 IBM、Oracle 的市場。這個現(xiàn)象出現(xiàn)的本質原因是：在互聯(lián)網(wǎng)巨頭的帶動下，傳統(tǒng) IT 巨頭的客戶普遍開始從事電子商務業(yè)務，正是由于客戶進入了互聯(lián)網(wǎng)，所以傳統(tǒng) IT 巨頭們不情愿地被拖入了互聯(lián)網(wǎng)領域。如果他們不進入互聯(lián)網(wǎng)，他們業(yè)務必將萎縮。所以第三代 IT 巨頭可能會是 2B 與 2C 融合的 IT 公司。
  2）大數(shù)據(jù)的核心內涵
   大數(shù)據(jù)概念雖然非?；鸨儆腥苏嬲斫獯髷?shù)據(jù)的核心內容。一個普遍而且嚴重的誤解就是：大數(shù)據(jù)= 數(shù)據(jù)大，即大數(shù)據(jù)就是量大的數(shù)據(jù)。事實上，除了數(shù)據(jù)量大這個字面意義，大數(shù)據(jù)還有兩個更重要的特征：
    1） 跨領域數(shù)據(jù)的交叉融合。相同領域數(shù)據(jù)量的增加是加法效應，不同領域數(shù)據(jù)的融合是乘法效應
    2） 數(shù)據(jù)的流動。數(shù)據(jù)必須流動，流動產(chǎn)生價值
    對于第 1） 點，百分點推薦系統(tǒng)研究中心實驗結果顯示：百分點公司有 3 家客戶，分別是從事服裝、化妝品和箱包銷售的電商，百分點向這 3 家客戶提供個性化商品推薦服務，即：百分點挖掘用戶的偏好，不同的用戶上同一家電商網(wǎng)站時，向他們展現(xiàn)不同的服裝、化妝品或箱包，從而提高電商的轉化率和客單價。我們做過兩種測試：
    a） 將每家網(wǎng)站的數(shù)據(jù)隔離。當每家網(wǎng)站自身的數(shù)據(jù)量增加到以前的 4 倍時，推薦效果大約能提高 5%；
    b） 將三家網(wǎng)站的數(shù)據(jù)在去除敏感信息之后進行某種融合。融合后的數(shù)據(jù)大致是與單家網(wǎng)站的數(shù)據(jù)的 3 倍，比第一種情況數(shù)據(jù)量還少。但利用融合后的數(shù)據(jù)進行數(shù)據(jù)挖掘時，推薦效果能提升 30%，而且推薦商品并未發(fā)生變化，仍然是：用戶上服飾類網(wǎng)站時只看見服裝、上化妝品網(wǎng)站時只看見化妝品、上箱包網(wǎng)站時只看見箱包。
    解釋得詳細一點，上述實驗說明：對同一個消費者，如果我們要向其推薦服裝。第一種方法是我們根據(jù)他過去的 4 次購買服裝的行為來預測其下一次可能會購買的服飾；第二種方法是我們根據(jù)他過去分別購買服裝、化妝品和箱包的各 1 次行為來預測其下一次可能會購買的服飾。兩種方法的基于的用戶行數(shù)分別是 4 次和 3 次，但第二種方法的效果明顯更好。
    對于第 2） 點，其實 10 多年前傳統(tǒng)企業(yè)開始做數(shù)據(jù)倉庫時，數(shù)據(jù)倉庫從業(yè)者經(jīng)常強調一個觀點：企業(yè)級數(shù)據(jù)倉庫的目標是讓不同部門的數(shù)據(jù)流動起來，各個部門數(shù)據(jù)割裂，數(shù)據(jù)的價值就得不到發(fā)揮。到了今天的互聯(lián)網(wǎng)時代，我們發(fā)現(xiàn)即使企業(yè)已經(jīng)打通了內部各個部門之間的數(shù)據(jù)，但與整個互聯(lián)網(wǎng)比起來，數(shù)據(jù)量仍然微乎其微，數(shù)據(jù)應該以互聯(lián)網(wǎng)為媒介在企業(yè)之間某種形式的流動。參照“企業(yè)級數(shù)據(jù)倉庫”的概念，現(xiàn)在已經(jīng)開始出現(xiàn)了“互聯(lián)網(wǎng)數(shù)據(jù)倉庫”的概念：就是企業(yè)通過互聯(lián)網(wǎng)渠道將與自己相關的外部數(shù)據(jù)與內部數(shù)據(jù)進行整合，從而形成“互聯(lián)網(wǎng)數(shù)據(jù)倉庫”。百分點已經(jīng)在零售與媒體領域比較成功地打造了“開放數(shù)據(jù)聯(lián)盟”，該聯(lián)盟的成員可以在公允、安全的情況下基于該聯(lián)盟建立起自己的“互聯(lián)網(wǎng)數(shù)據(jù)倉庫”，從而享用海量數(shù)據(jù)的價值。
   3）大數(shù)據(jù)的應用領域
   大數(shù)據(jù)的起源要歸功于互聯(lián)網(wǎng)與電子商務，但大數(shù)據(jù)最大的應用前景卻在傳統(tǒng)產(chǎn)業(yè)。一是因為幾乎所有傳統(tǒng)產(chǎn)業(yè)都在互聯(lián)網(wǎng)化，二是因為傳統(tǒng)產(chǎn)業(yè)仍然占據(jù)了國家 GDP 的絕大部分份額。
    哪些傳統(tǒng)企業(yè)最需要大數(shù)據(jù)服務呢？至少有 3 類企業(yè)：
    1） 對大量消費者提供產(chǎn)品或服務的企業(yè)
    2） 做小而美模式的中長尾企業(yè)
    3） 面臨互聯(lián)網(wǎng)壓力之下必須轉型的傳統(tǒng)企業(yè)
    第 1） 類企業(yè)都需要利用大數(shù)據(jù)精準分析不同消費者的偏好，提高營銷和服務的質量；第 1） 類企業(yè)都需要利用大數(shù)據(jù)分析精準定位自己的客戶群；第 3） 類企業(yè)主要指哪些正在遭受來自互聯(lián)網(wǎng)的新玩家沖擊的傳統(tǒng)企業(yè)，此類企業(yè)自然都需要利用互聯(lián)網(wǎng)和大數(shù)據(jù)作為自我進化的工具。當然，第 3） 類企業(yè)與前 2 類企業(yè)有重疊。
    具體來講，中國最需要大數(shù)據(jù)服務的行業(yè)就是受互聯(lián)網(wǎng)沖擊最大的產(chǎn)業(yè)，首先是線下零售業(yè)，其次是金融業(yè)。
    受電商的沖擊，國內很多零售巨頭都增長嚴重放緩，甚至遭遇負增長，線下零售已經(jīng)到了不得不變革的危機關頭。我們也看到了銀泰百貨、王府井百貨、萬達集團這些具有創(chuàng)新意識的傳統(tǒng)巨頭開始利用互聯(lián)網(wǎng)和大數(shù)據(jù)來改造線下商業(yè)。其中銀泰百貨以手機為載體、利用 O2O 方式進行雙線數(shù)據(jù)挖掘的創(chuàng)新非常值得借鑒。
    而金融行業(yè)就更加特殊：金融業(yè)并不銷售任何實體商品，它自誕生起就是基于數(shù)據(jù)的產(chǎn)業(yè)。由于國家管制，金融業(yè)在前幾年享受了非常好的政策紅利，內部變革動力不足。而目前金融業(yè)已經(jīng)逐漸開始放松管制，新興的金融機構必將利用互聯(lián)網(wǎng)以及大數(shù)據(jù)工具向傳統(tǒng)金融巨頭發(fā)起猛烈攻擊。而傳統(tǒng)金融機構在互聯(lián)網(wǎng)方面的技術積累和數(shù)據(jù)積累都不足，要快速應對新進入者的挑戰(zhàn)，必然需要大數(shù)據(jù)服務。我們也看到了中信銀行信用卡中心、招商銀行信用卡中心已經(jīng)在開始利用互聯(lián)網(wǎng)大數(shù)據(jù)進行創(chuàng)新。
    那么傳統(tǒng)產(chǎn)業(yè)需要什么樣的大數(shù)據(jù)服務呢？這主要包括 3 層：
    1） 基于大數(shù)據(jù)的行業(yè)垂直應用。每個行業(yè)都有自己的特點，所以自然會存在行業(yè)應用的需求；
    2） 顧客標簽與商品標簽的整理。不管什么行業(yè)，都需要精細化整理自己顧客的屬性標簽以及商品屬性標簽，而且這些標簽必須能夠細化到單個顧客和單個商品。標簽是行業(yè)應用的基礎；
    3） 企業(yè)內部和外部數(shù)據(jù)的整合與管理。要給顧客和商品打標簽，首先必須整合企業(yè)內部和外部數(shù)據(jù)，尤其是日益重要和龐大的外部數(shù)據(jù)。

圖：傳統(tǒng)企業(yè)需要的大數(shù)據(jù)服務
    第 3 層和第 2 層的方法相對比較通用，行業(yè)特殊性相對較少。百分點已經(jīng)在第 3 層和第 2 層做出了比較成熟的產(chǎn)品，并且也開始在第 1 層做出了一些具體的行業(yè)應用產(chǎn)品，比如針對服飾行業(yè)的時尚服飾搭配系統(tǒng)。
   4）大數(shù)據(jù)的發(fā)展方向
   大數(shù)據(jù)產(chǎn)業(yè)未來會向什么方向發(fā)展？隨著數(shù)據(jù)逐漸成為企業(yè)的一種資產(chǎn)，數(shù)據(jù)產(chǎn)業(yè)會向傳統(tǒng)企業(yè)的供應鏈模式發(fā)展，最終形成“數(shù)據(jù)供應鏈”。拿鋼鐵產(chǎn)業(yè)來講，鐵礦石公司從礦場中挖出礦石，經(jīng)過粗加工，賣給鋼鐵企業(yè)；鋼鐵企業(yè)再進行精細一點的加工，將板材、鋼條賣給下游制造業(yè)公司；這些制造業(yè)公司做出汽車、飛機、門窗、電腦等產(chǎn)品賣給下游公司。這個產(chǎn)業(yè)鏈中存在找礦、運輸、加工等諸多環(huán)節(jié)，每個環(huán)節(jié)都有對應的企業(yè)。

圖：傳統(tǒng)企業(yè)的供應鏈
    在“數(shù)據(jù)供應鏈”中，存在數(shù)據(jù)、數(shù)據(jù)整合與挖掘工具以及數(shù)據(jù)應用這 3 大環(huán)節(jié)。數(shù)據(jù)就好比礦場的礦石；數(shù)據(jù)整合與挖掘工具就好比鋼廠的冶煉爐；而精準營銷、服飾搭配等數(shù)據(jù)應用就好比汽車、電腦等可以出售給消費者的產(chǎn)品。企業(yè)在數(shù)據(jù)供應、數(shù)據(jù)整合與挖掘、數(shù)據(jù)應用等所有環(huán)節(jié)都需要專業(yè)的服務。這里尤其有兩個明顯的現(xiàn)象：
    1） 外部數(shù)據(jù)的重要性日益超過內部數(shù)據(jù)。在互聯(lián)互通的互聯(lián)網(wǎng)時代，單一企業(yè)的內部數(shù)據(jù)與整個互聯(lián)網(wǎng)數(shù)據(jù)比較起來只是滄海一粟；
    2） 能提供包括數(shù)據(jù)供應、數(shù)據(jù)整合與加工、數(shù)據(jù)應用等多環(huán)節(jié)服務的公司會有明顯的綜合競爭優(yōu)勢。
   5） 什么樣的大數(shù)據(jù)企業(yè)會勝出
    常有大數(shù)據(jù)從業(yè)者以及投資人和我們探討一個問題：大數(shù)據(jù)產(chǎn)業(yè)中，什么樣的企業(yè)會最終勝出？這是一個很難回答的問題，而且即使回答了，三五年內可能都無法判斷其正確性。但從“數(shù)據(jù)供應鏈”中的各個環(huán)節(jié)來分析，還是可以得出一些具有參考價值的結論。
    1） 數(shù)據(jù)供應。在互聯(lián)網(wǎng)沒有流行的時代，企業(yè)做數(shù)據(jù)倉庫、商業(yè)智能、數(shù)據(jù)挖掘等系統(tǒng)時采用的數(shù)據(jù)基本都來自于企業(yè)內部，企業(yè)幾乎無法獲取外部數(shù)據(jù)，所以很少有專業(yè)的數(shù)據(jù)供應商。互聯(lián)網(wǎng)改變了這一局面，將來會有專業(yè)的數(shù)據(jù)供應商。但既然是因為互聯(lián)網(wǎng)的出現(xiàn)導致了數(shù)據(jù)供應商的出現(xiàn)，那么反過來數(shù)據(jù)供應商就必須具有很強的互聯(lián)網(wǎng)基因；
    2） 數(shù)據(jù)整合與挖掘。數(shù)據(jù)挖掘工具供應商在非互聯(lián)網(wǎng)時代就早已存在。但互聯(lián)網(wǎng)時代使得企業(yè)的數(shù)據(jù)量激增、數(shù)據(jù)類型發(fā)生極大變化（不同于傳統(tǒng)的來自于單一領域的結構化數(shù)據(jù)，互聯(lián)網(wǎng)數(shù)據(jù)以跨域的非結構化數(shù)據(jù)為主），傳統(tǒng)的數(shù)據(jù)挖掘工具供應商的技術和方法已經(jīng)很難適應。要跟上時代的變化，數(shù)據(jù)挖掘技術與工具應用商必須具備互聯(lián)網(wǎng)公司的海量數(shù)據(jù)處理和挖掘的能力；
    3） 數(shù)據(jù)應用。具體的行業(yè)應用與傳統(tǒng)行業(yè)的業(yè)務關系密切，要做好行業(yè)應用，最好需要有服務傳統(tǒng)行業(yè)的經(jīng)驗，了解傳統(tǒng)行業(yè)的內部運作模式。這時候僅僅具有 2C 經(jīng)驗的互聯(lián)網(wǎng)基因的公司又稍顯不足。
    綜合起來看，如果一家大數(shù)據(jù)從業(yè)公司同時兼?zhèn)浠ヂ?lián)網(wǎng)數(shù)據(jù)獲取能力、互聯(lián)網(wǎng)技術、互聯(lián)網(wǎng)執(zhí)行力，又有做 2B 服務的經(jīng)驗，那么這家公司將比較容易取得領先優(yōu)勢。這個結論其實一點也不奇怪：如本文開篇所述，大數(shù)據(jù)本來就是互聯(lián)網(wǎng)與傳統(tǒng)產(chǎn)業(yè)碰撞時的產(chǎn)物。
    用“方興未艾”這個詞來形容大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展階段都還為時過早，目前的大數(shù)據(jù)產(chǎn)業(yè)只能說是小荷才露尖尖角。國內企業(yè)在第 1 代 IT 產(chǎn)業(yè)（硬件和軟件產(chǎn)業(yè)）中是明顯落后國外企業(yè)的；在第 2 代 IT 產(chǎn)業(yè)（互聯(lián)網(wǎng)產(chǎn)業(yè)）中，國內企業(yè)已經(jīng)與國外企業(yè)差距不大甚至在很多方面超過了國外企業(yè)；希望在第 3 代 IT 產(chǎn)業(yè)（云計算和大數(shù)據(jù)）浪潮中，國內企業(yè)能夠完全趕上并且超過國外企業(yè)，我們也認為這是很有可能的。