一個大數(shù)據(jù)首席科學家眼中的大數(shù)據(jù)產(chǎn)業(yè)2016年終總結(jié)

大數(shù)據(jù)產(chǎn)業(yè)發(fā)展了兩年后，從探索階段進入了應用階段。數(shù)據(jù)被定義成重要的資源，正在得到企業(yè)的重視，在經(jīng)營過程中發(fā)揮著重要的作用。企業(yè)看到了數(shù)據(jù)價值，從被動了解走向主動擁抱。

2016大數(shù)據(jù)產(chǎn)業(yè)保持高增長，2017進入智能數(shù)據(jù)時代大數(shù)據(jù)產(chǎn)業(yè)發(fā)展了兩年后，從探索階段進入了應用階段。數(shù)據(jù)被定義成重要的資源，正在得到企業(yè)的重視，在經(jīng)營過程中發(fā)揮著重要的作用。企業(yè)看到了數(shù)據(jù)價值，從被動了解走向主動擁抱。數(shù)據(jù)如何同業(yè)務場景結(jié)合，如何變成生產(chǎn)力，如何指導業(yè)務決策成為企業(yè)最關心的問題。數(shù)據(jù)本身是沒有價值的，必須同商業(yè)需求結(jié)合在一起，才能夠產(chǎn)生化學反映，體現(xiàn)商業(yè)價值。大多數(shù)企業(yè)還是將精力放在數(shù)據(jù)架構(gòu)、技術平臺、數(shù)據(jù)采集等探索工作，沒有理順數(shù)據(jù)價值應用的發(fā)展路徑，也沒有從數(shù)據(jù)中看到真正的商業(yè)價值，看到智慧的力量。

大數(shù)據(jù)時代，企業(yè)面臨海量的數(shù)據(jù)，其中 80% 的數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù)。企業(yè)需要對所有數(shù)據(jù)進行整合，將數(shù)據(jù)作為一種資產(chǎn)進行管理。數(shù)據(jù)的商業(yè)價值在很大程度上是同數(shù)據(jù)的實效性正向相關的，硅谷 80% 大數(shù)據(jù)公司正在從事數(shù)據(jù)清洗和整理的工作，一方面說明大數(shù)據(jù)的清洗加工是個巨大市場，另一方面也說明了海量數(shù)據(jù)的實時處理是個難題。我們先回顧一下2016年中國大數(shù)據(jù)產(chǎn)業(yè)發(fā)展情況。

1. 大數(shù)據(jù)產(chǎn)業(yè)發(fā)展概況

2015年中國大數(shù)據(jù)產(chǎn)業(yè)進入爆發(fā)增長的元年，2016年大數(shù)據(jù)產(chǎn)業(yè)保持高速增長，其中典型的事件有：貴州獲批建設首個國家級大數(shù)據(jù)試驗區(qū);貴陽數(shù)博會上升為國家級博覽會;李克強總理到現(xiàn)場支持大數(shù)據(jù)產(chǎn)業(yè)發(fā)展;國務院印發(fā)《促進大數(shù)據(jù)發(fā)展行動綱要》系統(tǒng)部署大數(shù)據(jù)發(fā)展工作;在國家工信部的牽頭帶領下，《大數(shù)據(jù)產(chǎn)業(yè)“十三五”發(fā)展規(guī)劃》正式頒布。工業(yè)大數(shù)據(jù)、大數(shù)據(jù)資源開放共享、大數(shù)據(jù)交易、大數(shù)據(jù)安全、大數(shù)據(jù)標準、大數(shù)據(jù)行業(yè)應用等領域稱為研究重點，首次提出了將大數(shù)據(jù)產(chǎn)業(yè)分為金融大數(shù)據(jù)、能源大數(shù)據(jù)、農(nóng)業(yè)大數(shù)據(jù)、醫(yī)療大數(shù)據(jù)等三十多個分支行業(yè)，代表了大數(shù)據(jù)正在更深融入各行業(yè)產(chǎn)業(yè)。

2. 大數(shù)據(jù)產(chǎn)業(yè)融資情況

2016 年是中國市場的資本寒冬，很多創(chuàng)業(yè)公司深感融資困難，大數(shù)據(jù)領域企業(yè)的融資也受到一些影響，融資總額有所下降，具有技術和商業(yè)模式優(yōu)勢的大數(shù)據(jù)企業(yè)融資影響不大，但是初創(chuàng)型企業(yè)融資比較困難。2015年有超過50家大數(shù)據(jù)相關的創(chuàng)業(yè)公司獲得40多億元投資，中國大數(shù)據(jù)市場一片欣欣向榮。2016年全年預估有30多家企業(yè)獲得融資，融資總額不會超過2015年。

考慮到中國降低 IOE 等國外技術廠商的需要，云計算技術和商業(yè)模式成熟，信息化技術平臺換代到需求，數(shù)據(jù)商業(yè)價值的逐步體現(xiàn)，大數(shù)據(jù)產(chǎn)業(yè)仍然是未來風險投資的重點領域，特別是2016年人工智能在的崛起，讓大數(shù)據(jù)產(chǎn)業(yè)未來發(fā)展的前景越來越樂觀。大數(shù)據(jù)產(chǎn)業(yè)是一個基礎產(chǎn)業(yè)，覆蓋各個領域，其中人工智能是解決具體商業(yè)問題的手段，是大數(shù)據(jù)產(chǎn)業(yè)發(fā)展中支撐和衍生出的一個產(chǎn)業(yè)。

3. 大數(shù)據(jù)產(chǎn)業(yè)的技術發(fā)展

2016最重要的一個事件是Spark 2.0版的發(fā)布，將大數(shù)據(jù)開源產(chǎn)品的商業(yè)化推進了一大步，Spark 2.0 對標準的SQL支持，統(tǒng)一DataFrame和Dataset API?，F(xiàn)在已經(jīng)可以運行TPC-DS所有的99個查詢，這99個查詢需要SQL 2003的許多特性;采用第二代Tungsten engine，建立在現(xiàn)代編譯器和MPP數(shù)據(jù)庫的想法上，并且把它們應用于數(shù)據(jù)的處理過程中，最高性能提升10倍;一種新穎的流處理方式，Structured Streaming APIs，利用Catalyst優(yōu)化器來發(fā)現(xiàn)什么時候可以透明的將靜態(tài)的程序轉(zhuǎn)到增量執(zhí)行的動態(tài)工作或者無限數(shù)據(jù)流中。從實用性的角度，Spark提升的幾個功能確實是企業(yè)用戶特別看重的內(nèi)容，Databricks以及社區(qū)開始重視商業(yè)需求，Spark向商業(yè)產(chǎn)品化的方向轉(zhuǎn)變正在加速，企業(yè)對大數(shù)據(jù)平臺穩(wěn)定性和一致性要求將很快解決。

4. 大數(shù)據(jù)應用案例

在大數(shù)據(jù)應用領域，我們看了更多成熟的大數(shù)據(jù)案例。大數(shù)據(jù)正在技術主導型產(chǎn)業(yè)發(fā)展轉(zhuǎn)向價值應用型產(chǎn)業(yè)：

1、實時圖像處理和識別技術幫助公安系統(tǒng)將違章車輛車牌識別的準確度提升了幾十倍;借助于實時監(jiān)控和圖像識別，民警及時解救出多名被拐賣的兒童;刑事案件破案周期在技術進步的驅(qū)動下，正在逐步縮短。

2、交通大數(shù)據(jù)正在幫助城市管理者優(yōu)化紅綠燈，機動車的通行效率提升了30%。

3、金融行業(yè)，借助于數(shù)據(jù)采集和分析，識別出惡意欺詐分子，提升了風險管理水平，降低了營銷成本。

4、地產(chǎn)行業(yè)，利用外部數(shù)據(jù)進行項目土地投策分析和商鋪配置分析，優(yōu)化了商業(yè)地產(chǎn)投資，提升了項目回報率。

5、養(yǎng)殖業(yè)通過測算在欄母豬的數(shù)量，預測未來生豬供應量和豬飼料的價格，幫助養(yǎng)殖戶提前進行飼料準備和定制生豬出欄計劃。

6、零售行業(yè)依據(jù)客戶消費紀錄，借助于線上和線下數(shù)據(jù)的打通，為客戶推薦喜歡的產(chǎn)品。

7、旅游景點和旅游局參考景區(qū)人流熱度來引導客戶游覽路線，提升了游客瀏覽體驗，降低了事故的發(fā)生。

5. 智能時代的到來

我們不再鼓吹大數(shù)據(jù)的魔力，我們提倡掌握智能數(shù)據(jù)，一種經(jīng)過處理和分析，可以幫助企業(yè)實現(xiàn)商業(yè)價值的數(shù)據(jù)。智能數(shù)據(jù)來源于我們企業(yè)生產(chǎn)經(jīng)營，也來源于行為數(shù)據(jù)等非結(jié)構(gòu)化數(shù)據(jù)，還來源外部商業(yè)環(huán)境生產(chǎn)出來第三方數(shù)據(jù)。大數(shù)據(jù)時代提升了人們對數(shù)據(jù)價值的認識，智能數(shù)據(jù)幫助實現(xiàn)數(shù)據(jù)對商業(yè)的價值。

數(shù)據(jù)過去分散在企業(yè)的各個系統(tǒng)中，是企業(yè)流程中的副產(chǎn)品，企業(yè)主要利用數(shù)據(jù)進行 ROI 分析和財務分析。但即使是信息化程度較高的金融行業(yè)，也僅僅利用了不到 40% 的數(shù)據(jù)。大量數(shù)據(jù)的價值沒有被發(fā)現(xiàn)，數(shù)據(jù)還沒有被當作一種資產(chǎn)去管理和挖掘價值。數(shù)據(jù)的積累和人工智能的發(fā)展相輔相成。按照人工智能專家吳恩達(Andrew Ng)的說法，“數(shù)據(jù)是人工智能的燃料，如果只有很大的引擎(算法)而沒有充足的數(shù)據(jù)作為燃料，人工智能這艘火箭是無法實現(xiàn)騰飛的”。同時人工智能帶來更多的應用場景，比如聊天機器人和自動駕駛汽車，這些應用場景也在不斷產(chǎn)生新的數(shù)據(jù)?，F(xiàn)在，數(shù)據(jù)已經(jīng)不僅僅只是“大”，它還變得更加“智能”，更加有用——我們已經(jīng)進入智能數(shù)據(jù)時代!

 

數(shù)據(jù)、人工智能和人類智慧，成為智能數(shù)據(jù)時代的三大要素。數(shù)據(jù)的積累，可以為人類提供更多更細的洞察分析，人類經(jīng)驗得以增強，人類智慧得以增長。比如，通過更多來自于手機的用戶行為分析，企業(yè)可以對自己的用戶有更多了解，包括他們的生活喜好、消費習慣等，以此產(chǎn)生更多的營銷的機會。并且人工智能本身也需要人類智慧的介入，以引導人工智能的方向，提高人工智能的效率。比如，AlphaGo 也需要不斷的和人類圍棋高手對戰(zhàn)，依靠人類智慧的輔助，才能持續(xù)提升棋力。

6. 智能時代企業(yè)面臨的挑戰(zhàn)

智能數(shù)據(jù)時代之前，企業(yè)接觸客戶的方式都以線下為主，企業(yè)直接可以面對客戶，從客戶的反饋中了解產(chǎn)品需求，并利用大量客戶調(diào)研數(shù)據(jù)來制定商業(yè)決策。智能數(shù)據(jù)時代，商業(yè)行為正在逐步向線上遷移，客戶選擇商品的決策時間在逐漸縮短，企業(yè)必須適應客戶快速決策的方式，讓產(chǎn)品營銷適應客戶的需求節(jié)奏。另外客戶購買產(chǎn)品和服務時，除了考慮產(chǎn)品的性價比之外，還更加重視購買過程的用戶體驗，這都需要大量數(shù)據(jù)來幫助企業(yè)了解客戶體驗，提升客戶滿意度。

智能數(shù)據(jù)時代，客戶和企業(yè)被各種數(shù)據(jù)包圍著，客戶數(shù)據(jù)、交易數(shù)據(jù)、社交數(shù)據(jù)、行為數(shù)據(jù)、傳感器數(shù)據(jù)等等。數(shù)據(jù)之間具有較強的商業(yè)關聯(lián)關系，同客戶需求具有直接和間接的商業(yè)關系。復雜而海量的數(shù)據(jù)依靠傳統(tǒng)的統(tǒng)計分析和數(shù)據(jù)挖掘，已經(jīng)不能夠在時間和效果兩個方面來滿足企業(yè)的商業(yè)需求，必須需要利用新的技術和新的平臺來解決問題。

智能數(shù)據(jù)時代企業(yè)在數(shù)據(jù)和運營面臨多種挑戰(zhàn)，不僅包括數(shù)據(jù)思維的挑戰(zhàn)，還有數(shù)據(jù)價值和數(shù)據(jù)場景的挑戰(zhàn)。在數(shù)據(jù)的處理方式和技術，以及數(shù)據(jù)資產(chǎn)管理方面，企業(yè)都面臨著現(xiàn)實和巨大的挑戰(zhàn)。

1 )數(shù)據(jù)商業(yè)化思維的挑戰(zhàn)

智能數(shù)據(jù)時代，商業(yè)發(fā)展非常迅速，企業(yè)必須在快節(jié)奏中找到自己的位置，加快決策。過去一個企業(yè)的產(chǎn)品從設計到推向市場需要三到六個月的周期，產(chǎn)品的生命周期大概為六個月，這樣一年下來企業(yè)推出的新產(chǎn)品的節(jié)奏基本穩(wěn)定在九個月左右。但是現(xiàn)在這種產(chǎn)品節(jié)奏無法適應競爭和客戶的需要，新產(chǎn)品推出的周期要縮短到以周或天為單位，產(chǎn)品自身的生命周期也在不斷地縮小。

例如，過去一雙鞋子從設計到推向市場需要三個月，現(xiàn)在僅僅需要一星期。意大利某個展覽會推出的鞋子款式，電商會在一個星期之內(nèi)將產(chǎn)品生產(chǎn)出來，并直接發(fā)給客戶。這背后的原因是商家的商業(yè)敏感度和商業(yè)思維，但是支撐這一切的商業(yè)行為發(fā)生的卻是數(shù)據(jù)思維。從產(chǎn)品展示到客戶需求，從產(chǎn)品模型到廠家生產(chǎn)，從產(chǎn)品量產(chǎn)到客戶訂單，所有這一切都必須需要嚴格的數(shù)據(jù)作為支撐，缺少任何一個環(huán)節(jié)或者任何一個數(shù)據(jù)差錯都會導致這個商業(yè)行為的失敗。智能數(shù)據(jù)時代，高速商業(yè)決策節(jié)奏的背后支撐的是數(shù)據(jù)商業(yè)化思維。

2 )數(shù)據(jù)資產(chǎn)管理和數(shù)據(jù)技術的挑戰(zhàn)

在過去，數(shù)據(jù)只是商業(yè)活動中的副產(chǎn)品，并沒有被認為是一種資產(chǎn)，企業(yè)沒有將數(shù)據(jù)匯聚在一起，進行集中管理。數(shù)據(jù)資產(chǎn)這個概念是智能數(shù)據(jù)時代被重點提出的，特別是經(jīng)濟活動節(jié)奏越來越快，客戶需求變化越來越快，數(shù)據(jù)對經(jīng)濟活動的反饋對商業(yè)決策影響越來越大。海量數(shù)據(jù)必須作為數(shù)據(jù)資產(chǎn)進行統(tǒng)一管理才能夠幫助企業(yè)了解客戶需求和企業(yè)經(jīng)營情況，企業(yè)也可以從數(shù)據(jù)資產(chǎn)發(fā)現(xiàn)新的商業(yè)機會和營銷場景。

多種數(shù)據(jù)源實時處理、數(shù)據(jù)之間打通、數(shù)據(jù)資產(chǎn)標識和管理、數(shù)據(jù)調(diào)用和邏輯組合等數(shù)據(jù)處理技術是一個巨大挑戰(zhàn)。高效的數(shù)據(jù)處理技術為數(shù)據(jù)資產(chǎn)管理帶來了可能，也為企業(yè)管理和應用這些數(shù)據(jù)帶來了巨大的商業(yè)價值。金融行業(yè)中的花旗銀行，其25%的零售銀行收入來源于對數(shù)據(jù)資產(chǎn)的挖掘和應用。移動互聯(lián)網(wǎng)企業(yè)，數(shù)據(jù)處理技術正在成為其業(yè)務經(jīng)營的基礎，亞馬遜Amazon，其40%的業(yè)務收入來源于推薦引擎技術。

3)數(shù)據(jù)價值和數(shù)據(jù)應用的挑戰(zhàn)

數(shù)據(jù)是對經(jīng)濟和用戶需求的反饋，利用數(shù)據(jù)分析和數(shù)據(jù)挖掘可以幫助企業(yè)發(fā)現(xiàn)商業(yè)機會并實現(xiàn)數(shù)據(jù)價值。數(shù)據(jù)價值可以簡單總結(jié)為：幫助企業(yè)提高效率降低成本、增加商業(yè)收入和指導商業(yè)決策。數(shù)據(jù)應用是數(shù)據(jù)價值的具體體現(xiàn)，智能數(shù)據(jù)時代的數(shù)據(jù)應用主要集中在客戶分析、數(shù)字運營、精準營銷、風險控制、智能決策等幾個方面。

商業(yè)競爭的激烈讓時間的價值凸顯，很多產(chǎn)品決策和商業(yè)決策必須要在短時間內(nèi)作出，否則將會失去市場先機，并有可能被競爭對手模仿、超越。數(shù)據(jù)對商業(yè)決策的影響力正在不斷加強，數(shù)據(jù)支撐的商業(yè)決策分析對時間和準確度的要求越來越敏感。在這種情況下，智能數(shù)據(jù)時代對企業(yè)對要求越來越高，對數(shù)據(jù)處理技術、數(shù)據(jù)分析、數(shù)據(jù)決策要求也將越來越嚴格。

2017年大數(shù)據(jù)將進入智能數(shù)據(jù)時代

2017年隨著人工智能的高速發(fā)展，大數(shù)據(jù)時代將進入到智能數(shù)據(jù)時代。數(shù)據(jù)既是一個金礦需要企業(yè)去挖掘價值，同時也是一個巨大的噪音，干擾著企業(yè)的商業(yè)分析和決策。智能時代，企業(yè)需要從包含噪音的海量數(shù)據(jù)中發(fā)現(xiàn)具有商業(yè)價值的智能數(shù)據(jù)，同業(yè)務深度結(jié)合，利用數(shù)據(jù)應用幫助企業(yè)實現(xiàn)智能決策。