一個(gè)大數(shù)據(jù)首席科學(xué)家眼中的大數(shù)據(jù)產(chǎn)業(yè)2016年終總結(jié)

大數(shù)據(jù)產(chǎn)業(yè)發(fā)展了兩年后，從探索階段進(jìn)入了應(yīng)用階段。數(shù)據(jù)被定義成重要的資源，正在得到企業(yè)的重視，在經(jīng)營過程中發(fā)揮著重要的作用。企業(yè)看到了數(shù)據(jù)價(jià)值，從被動(dòng)了解走向主動(dòng)擁抱。

2016大數(shù)據(jù)產(chǎn)業(yè)保持高增長，2017進(jìn)入智能數(shù)據(jù)時(shí)代大數(shù)據(jù)產(chǎn)業(yè)發(fā)展了兩年后，從探索階段進(jìn)入了應(yīng)用階段。數(shù)據(jù)被定義成重要的資源，正在得到企業(yè)的重視，在經(jīng)營過程中發(fā)揮著重要的作用。企業(yè)看到了數(shù)據(jù)價(jià)值，從被動(dòng)了解走向主動(dòng)擁抱。數(shù)據(jù)如何同業(yè)務(wù)場景結(jié)合，如何變成生產(chǎn)力，如何指導(dǎo)業(yè)務(wù)決策成為企業(yè)最關(guān)心的問題。數(shù)據(jù)本身是沒有價(jià)值的，必須同商業(yè)需求結(jié)合在一起，才能夠產(chǎn)生化學(xué)反映，體現(xiàn)商業(yè)價(jià)值。大多數(shù)企業(yè)還是將精力放在數(shù)據(jù)架構(gòu)、技術(shù)平臺、數(shù)據(jù)采集等探索工作，沒有理順數(shù)據(jù)價(jià)值應(yīng)用的發(fā)展路徑，也沒有從數(shù)據(jù)中看到真正的商業(yè)價(jià)值，看到智慧的力量。

大數(shù)據(jù)時(shí)代，企業(yè)面臨海量的數(shù)據(jù)，其中 80% 的數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù)。企業(yè)需要對所有數(shù)據(jù)進(jìn)行整合，將數(shù)據(jù)作為一種資產(chǎn)進(jìn)行管理。數(shù)據(jù)的商業(yè)價(jià)值在很大程度上是同數(shù)據(jù)的實(shí)效性正向相關(guān)的，硅谷 80% 大數(shù)據(jù)公司正在從事數(shù)據(jù)清洗和整理的工作，一方面說明大數(shù)據(jù)的清洗加工是個(gè)巨大市場，另一方面也說明了海量數(shù)據(jù)的實(shí)時(shí)處理是個(gè)難題。我們先回顧一下2016年中國大數(shù)據(jù)產(chǎn)業(yè)發(fā)展情況。

1. 大數(shù)據(jù)產(chǎn)業(yè)發(fā)展概況

2015年中國大數(shù)據(jù)產(chǎn)業(yè)進(jìn)入爆發(fā)增長的元年，2016年大數(shù)據(jù)產(chǎn)業(yè)保持高速增長，其中典型的事件有：貴州獲批建設(shè)首個(gè)國家級大數(shù)據(jù)試驗(yàn)區(qū);貴陽數(shù)博會(huì)上升為國家級博覽會(huì);李克強(qiáng)總理到現(xiàn)場支持大數(shù)據(jù)產(chǎn)業(yè)發(fā)展;國務(wù)院印發(fā)《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》系統(tǒng)部署大數(shù)據(jù)發(fā)展工作;在國家工信部的牽頭帶領(lǐng)下，《大數(shù)據(jù)產(chǎn)業(yè)“十三五”發(fā)展規(guī)劃》正式頒布。工業(yè)大數(shù)據(jù)、大數(shù)據(jù)資源開放共享、大數(shù)據(jù)交易、大數(shù)據(jù)安全、大數(shù)據(jù)標(biāo)準(zhǔn)、大數(shù)據(jù)行業(yè)應(yīng)用等領(lǐng)域稱為研究重點(diǎn)，首次提出了將大數(shù)據(jù)產(chǎn)業(yè)分為金融大數(shù)據(jù)、能源大數(shù)據(jù)、農(nóng)業(yè)大數(shù)據(jù)、醫(yī)療大數(shù)據(jù)等三十多個(gè)分支行業(yè)，代表了大數(shù)據(jù)正在更深融入各行業(yè)產(chǎn)業(yè)。

2. 大數(shù)據(jù)產(chǎn)業(yè)融資情況

2016 年是中國市場的資本寒冬，很多創(chuàng)業(yè)公司深感融資困難，大數(shù)據(jù)領(lǐng)域企業(yè)的融資也受到一些影響，融資總額有所下降，具有技術(shù)和商業(yè)模式優(yōu)勢的大數(shù)據(jù)企業(yè)融資影響不大，但是初創(chuàng)型企業(yè)融資比較困難。2015年有超過50家大數(shù)據(jù)相關(guān)的創(chuàng)業(yè)公司獲得40多億元投資，中國大數(shù)據(jù)市場一片欣欣向榮。2016年全年預(yù)估有30多家企業(yè)獲得融資，融資總額不會(huì)超過2015年。

考慮到中國降低 IOE 等國外技術(shù)廠商的需要，云計(jì)算技術(shù)和商業(yè)模式成熟，信息化技術(shù)平臺換代到需求，數(shù)據(jù)商業(yè)價(jià)值的逐步體現(xiàn)，大數(shù)據(jù)產(chǎn)業(yè)仍然是未來風(fēng)險(xiǎn)投資的重點(diǎn)領(lǐng)域，特別是2016年人工智能在的崛起，讓大數(shù)據(jù)產(chǎn)業(yè)未來發(fā)展的前景越來越樂觀。大數(shù)據(jù)產(chǎn)業(yè)是一個(gè)基礎(chǔ)產(chǎn)業(yè)，覆蓋各個(gè)領(lǐng)域，其中人工智能是解決具體商業(yè)問題的手段，是大數(shù)據(jù)產(chǎn)業(yè)發(fā)展中支撐和衍生出的一個(gè)產(chǎn)業(yè)。

3. 大數(shù)據(jù)產(chǎn)業(yè)的技術(shù)發(fā)展

2016最重要的一個(gè)事件是Spark 2.0版的發(fā)布，將大數(shù)據(jù)開源產(chǎn)品的商業(yè)化推進(jìn)了一大步，Spark 2.0 對標(biāo)準(zhǔn)的SQL支持，統(tǒng)一DataFrame和Dataset API?，F(xiàn)在已經(jīng)可以運(yùn)行TPC-DS所有的99個(gè)查詢，這99個(gè)查詢需要SQL 2003的許多特性;采用第二代Tungsten engine，建立在現(xiàn)代編譯器和MPP數(shù)據(jù)庫的想法上，并且把它們應(yīng)用于數(shù)據(jù)的處理過程中，最高性能提升10倍;一種新穎的流處理方式，Structured Streaming APIs，利用Catalyst優(yōu)化器來發(fā)現(xiàn)什么時(shí)候可以透明的將靜態(tài)的程序轉(zhuǎn)到增量執(zhí)行的動(dòng)態(tài)工作或者無限數(shù)據(jù)流中。從實(shí)用性的角度，Spark提升的幾個(gè)功能確實(shí)是企業(yè)用戶特別看重的內(nèi)容，Databricks以及社區(qū)開始重視商業(yè)需求，Spark向商業(yè)產(chǎn)品化的方向轉(zhuǎn)變正在加速，企業(yè)對大數(shù)據(jù)平臺穩(wěn)定性和一致性要求將很快解決。

4. 大數(shù)據(jù)應(yīng)用案例

在大數(shù)據(jù)應(yīng)用領(lǐng)域，我們看了更多成熟的大數(shù)據(jù)案例。大數(shù)據(jù)正在技術(shù)主導(dǎo)型產(chǎn)業(yè)發(fā)展轉(zhuǎn)向價(jià)值應(yīng)用型產(chǎn)業(yè)：

1、實(shí)時(shí)圖像處理和識別技術(shù)幫助公安系統(tǒng)將違章車輛車牌識別的準(zhǔn)確度提升了幾十倍;借助于實(shí)時(shí)監(jiān)控和圖像識別，民警及時(shí)解救出多名被拐賣的兒童;刑事案件破案周期在技術(shù)進(jìn)步的驅(qū)動(dòng)下，正在逐步縮短。

2、交通大數(shù)據(jù)正在幫助城市管理者優(yōu)化紅綠燈，機(jī)動(dòng)車的通行效率提升了30%。

3、金融行業(yè)，借助于數(shù)據(jù)采集和分析，識別出惡意欺詐分子，提升了風(fēng)險(xiǎn)管理水平，降低了營銷成本。

4、地產(chǎn)行業(yè)，利用外部數(shù)據(jù)進(jìn)行項(xiàng)目土地投策分析和商鋪配置分析，優(yōu)化了商業(yè)地產(chǎn)投資，提升了項(xiàng)目回報(bào)率。

5、養(yǎng)殖業(yè)通過測算在欄母豬的數(shù)量，預(yù)測未來生豬供應(yīng)量和豬飼料的價(jià)格，幫助養(yǎng)殖戶提前進(jìn)行飼料準(zhǔn)備和定制生豬出欄計(jì)劃。

6、零售行業(yè)依據(jù)客戶消費(fèi)紀(jì)錄，借助于線上和線下數(shù)據(jù)的打通，為客戶推薦喜歡的產(chǎn)品。

7、旅游景點(diǎn)和旅游局參考景區(qū)人流熱度來引導(dǎo)客戶游覽路線，提升了游客瀏覽體驗(yàn)，降低了事故的發(fā)生。

5. 智能時(shí)代的到來

我們不再鼓吹大數(shù)據(jù)的魔力，我們提倡掌握智能數(shù)據(jù)，一種經(jīng)過處理和分析，可以幫助企業(yè)實(shí)現(xiàn)商業(yè)價(jià)值的數(shù)據(jù)。智能數(shù)據(jù)來源于我們企業(yè)生產(chǎn)經(jīng)營，也來源于行為數(shù)據(jù)等非結(jié)構(gòu)化數(shù)據(jù)，還來源外部商業(yè)環(huán)境生產(chǎn)出來第三方數(shù)據(jù)。大數(shù)據(jù)時(shí)代提升了人們對數(shù)據(jù)價(jià)值的認(rèn)識，智能數(shù)據(jù)幫助實(shí)現(xiàn)數(shù)據(jù)對商業(yè)的價(jià)值。

數(shù)據(jù)過去分散在企業(yè)的各個(gè)系統(tǒng)中，是企業(yè)流程中的副產(chǎn)品，企業(yè)主要利用數(shù)據(jù)進(jìn)行 ROI 分析和財(cái)務(wù)分析。但即使是信息化程度較高的金融行業(yè)，也僅僅利用了不到 40% 的數(shù)據(jù)。大量數(shù)據(jù)的價(jià)值沒有被發(fā)現(xiàn)，數(shù)據(jù)還沒有被當(dāng)作一種資產(chǎn)去管理和挖掘價(jià)值。數(shù)據(jù)的積累和人工智能的發(fā)展相輔相成。按照人工智能專家吳恩達(dá)(Andrew Ng)的說法，“數(shù)據(jù)是人工智能的燃料，如果只有很大的引擎(算法)而沒有充足的數(shù)據(jù)作為燃料，人工智能這艘火箭是無法實(shí)現(xiàn)騰飛的”。同時(shí)人工智能帶來更多的應(yīng)用場景，比如聊天機(jī)器人和自動(dòng)駕駛汽車，這些應(yīng)用場景也在不斷產(chǎn)生新的數(shù)據(jù)。現(xiàn)在，數(shù)據(jù)已經(jīng)不僅僅只是“大”，它還變得更加“智能”，更加有用——我們已經(jīng)進(jìn)入智能數(shù)據(jù)時(shí)代!

 

數(shù)據(jù)、人工智能和人類智慧，成為智能數(shù)據(jù)時(shí)代的三大要素。數(shù)據(jù)的積累，可以為人類提供更多更細(xì)的洞察分析，人類經(jīng)驗(yàn)得以增強(qiáng)，人類智慧得以增長。比如，通過更多來自于手機(jī)的用戶行為分析，企業(yè)可以對自己的用戶有更多了解，包括他們的生活喜好、消費(fèi)習(xí)慣等，以此產(chǎn)生更多的營銷的機(jī)會(huì)。并且人工智能本身也需要人類智慧的介入，以引導(dǎo)人工智能的方向，提高人工智能的效率。比如，AlphaGo 也需要不斷的和人類圍棋高手對戰(zhàn)，依靠人類智慧的輔助，才能持續(xù)提升棋力。

6. 智能時(shí)代企業(yè)面臨的挑戰(zhàn)

智能數(shù)據(jù)時(shí)代之前，企業(yè)接觸客戶的方式都以線下為主，企業(yè)直接可以面對客戶，從客戶的反饋中了解產(chǎn)品需求，并利用大量客戶調(diào)研數(shù)據(jù)來制定商業(yè)決策。智能數(shù)據(jù)時(shí)代，商業(yè)行為正在逐步向線上遷移，客戶選擇商品的決策時(shí)間在逐漸縮短，企業(yè)必須適應(yīng)客戶快速?zèng)Q策的方式，讓產(chǎn)品營銷適應(yīng)客戶的需求節(jié)奏。另外客戶購買產(chǎn)品和服務(wù)時(shí)，除了考慮產(chǎn)品的性價(jià)比之外，還更加重視購買過程的用戶體驗(yàn)，這都需要大量數(shù)據(jù)來幫助企業(yè)了解客戶體驗(yàn)，提升客戶滿意度。

智能數(shù)據(jù)時(shí)代，客戶和企業(yè)被各種數(shù)據(jù)包圍著，客戶數(shù)據(jù)、交易數(shù)據(jù)、社交數(shù)據(jù)、行為數(shù)據(jù)、傳感器數(shù)據(jù)等等。數(shù)據(jù)之間具有較強(qiáng)的商業(yè)關(guān)聯(lián)關(guān)系，同客戶需求具有直接和間接的商業(yè)關(guān)系。復(fù)雜而海量的數(shù)據(jù)依靠傳統(tǒng)的統(tǒng)計(jì)分析和數(shù)據(jù)挖掘，已經(jīng)不能夠在時(shí)間和效果兩個(gè)方面來滿足企業(yè)的商業(yè)需求，必須需要利用新的技術(shù)和新的平臺來解決問題。

智能數(shù)據(jù)時(shí)代企業(yè)在數(shù)據(jù)和運(yùn)營面臨多種挑戰(zhàn)，不僅包括數(shù)據(jù)思維的挑戰(zhàn)，還有數(shù)據(jù)價(jià)值和數(shù)據(jù)場景的挑戰(zhàn)。在數(shù)據(jù)的處理方式和技術(shù)，以及數(shù)據(jù)資產(chǎn)管理方面，企業(yè)都面臨著現(xiàn)實(shí)和巨大的挑戰(zhàn)。

1 )數(shù)據(jù)商業(yè)化思維的挑戰(zhàn)

智能數(shù)據(jù)時(shí)代，商業(yè)發(fā)展非常迅速，企業(yè)必須在快節(jié)奏中找到自己的位置，加快決策。過去一個(gè)企業(yè)的產(chǎn)品從設(shè)計(jì)到推向市場需要三到六個(gè)月的周期，產(chǎn)品的生命周期大概為六個(gè)月，這樣一年下來企業(yè)推出的新產(chǎn)品的節(jié)奏基本穩(wěn)定在九個(gè)月左右。但是現(xiàn)在這種產(chǎn)品節(jié)奏無法適應(yīng)競爭和客戶的需要，新產(chǎn)品推出的周期要縮短到以周或天為單位，產(chǎn)品自身的生命周期也在不斷地縮小。

例如，過去一雙鞋子從設(shè)計(jì)到推向市場需要三個(gè)月，現(xiàn)在僅僅需要一星期。意大利某個(gè)展覽會(huì)推出的鞋子款式，電商會(huì)在一個(gè)星期之內(nèi)將產(chǎn)品生產(chǎn)出來，并直接發(fā)給客戶。這背后的原因是商家的商業(yè)敏感度和商業(yè)思維，但是支撐這一切的商業(yè)行為發(fā)生的卻是數(shù)據(jù)思維。從產(chǎn)品展示到客戶需求，從產(chǎn)品模型到廠家生產(chǎn)，從產(chǎn)品量產(chǎn)到客戶訂單，所有這一切都必須需要嚴(yán)格的數(shù)據(jù)作為支撐，缺少任何一個(gè)環(huán)節(jié)或者任何一個(gè)數(shù)據(jù)差錯(cuò)都會(huì)導(dǎo)致這個(gè)商業(yè)行為的失敗。智能數(shù)據(jù)時(shí)代，高速商業(yè)決策節(jié)奏的背后支撐的是數(shù)據(jù)商業(yè)化思維。

2 )數(shù)據(jù)資產(chǎn)管理和數(shù)據(jù)技術(shù)的挑戰(zhàn)

在過去，數(shù)據(jù)只是商業(yè)活動(dòng)中的副產(chǎn)品，并沒有被認(rèn)為是一種資產(chǎn)，企業(yè)沒有將數(shù)據(jù)匯聚在一起，進(jìn)行集中管理。數(shù)據(jù)資產(chǎn)這個(gè)概念是智能數(shù)據(jù)時(shí)代被重點(diǎn)提出的，特別是經(jīng)濟(jì)活動(dòng)節(jié)奏越來越快，客戶需求變化越來越快，數(shù)據(jù)對經(jīng)濟(jì)活動(dòng)的反饋對商業(yè)決策影響越來越大。海量數(shù)據(jù)必須作為數(shù)據(jù)資產(chǎn)進(jìn)行統(tǒng)一管理才能夠幫助企業(yè)了解客戶需求和企業(yè)經(jīng)營情況，企業(yè)也可以從數(shù)據(jù)資產(chǎn)發(fā)現(xiàn)新的商業(yè)機(jī)會(huì)和營銷場景。

多種數(shù)據(jù)源實(shí)時(shí)處理、數(shù)據(jù)之間打通、數(shù)據(jù)資產(chǎn)標(biāo)識和管理、數(shù)據(jù)調(diào)用和邏輯組合等數(shù)據(jù)處理技術(shù)是一個(gè)巨大挑戰(zhàn)。高效的數(shù)據(jù)處理技術(shù)為數(shù)據(jù)資產(chǎn)管理帶來了可能，也為企業(yè)管理和應(yīng)用這些數(shù)據(jù)帶來了巨大的商業(yè)價(jià)值。金融行業(yè)中的花旗銀行，其25%的零售銀行收入來源于對數(shù)據(jù)資產(chǎn)的挖掘和應(yīng)用。移動(dòng)互聯(lián)網(wǎng)企業(yè)，數(shù)據(jù)處理技術(shù)正在成為其業(yè)務(wù)經(jīng)營的基礎(chǔ)，亞馬遜Amazon，其40%的業(yè)務(wù)收入來源于推薦引擎技術(shù)。

3)數(shù)據(jù)價(jià)值和數(shù)據(jù)應(yīng)用的挑戰(zhàn)

數(shù)據(jù)是對經(jīng)濟(jì)和用戶需求的反饋，利用數(shù)據(jù)分析和數(shù)據(jù)挖掘可以幫助企業(yè)發(fā)現(xiàn)商業(yè)機(jī)會(huì)并實(shí)現(xiàn)數(shù)據(jù)價(jià)值。數(shù)據(jù)價(jià)值可以簡單總結(jié)為：幫助企業(yè)提高效率降低成本、增加商業(yè)收入和指導(dǎo)商業(yè)決策。數(shù)據(jù)應(yīng)用是數(shù)據(jù)價(jià)值的具體體現(xiàn)，智能數(shù)據(jù)時(shí)代的數(shù)據(jù)應(yīng)用主要集中在客戶分析、數(shù)字運(yùn)營、精準(zhǔn)營銷、風(fēng)險(xiǎn)控制、智能決策等幾個(gè)方面。

商業(yè)競爭的激烈讓時(shí)間的價(jià)值凸顯，很多產(chǎn)品決策和商業(yè)決策必須要在短時(shí)間內(nèi)作出，否則將會(huì)失去市場先機(jī)，并有可能被競爭對手模仿、超越。數(shù)據(jù)對商業(yè)決策的影響力正在不斷加強(qiáng)，數(shù)據(jù)支撐的商業(yè)決策分析對時(shí)間和準(zhǔn)確度的要求越來越敏感。在這種情況下，智能數(shù)據(jù)時(shí)代對企業(yè)對要求越來越高，對數(shù)據(jù)處理技術(shù)、數(shù)據(jù)分析、數(shù)據(jù)決策要求也將越來越嚴(yán)格。

2017年大數(shù)據(jù)將進(jìn)入智能數(shù)據(jù)時(shí)代

2017年隨著人工智能的高速發(fā)展，大數(shù)據(jù)時(shí)代將進(jìn)入到智能數(shù)據(jù)時(shí)代。數(shù)據(jù)既是一個(gè)金礦需要企業(yè)去挖掘價(jià)值，同時(shí)也是一個(gè)巨大的噪音，干擾著企業(yè)的商業(yè)分析和決策。智能時(shí)代，企業(yè)需要從包含噪音的海量數(shù)據(jù)中發(fā)現(xiàn)具有商業(yè)價(jià)值的智能數(shù)據(jù)，同業(yè)務(wù)深度結(jié)合，利用數(shù)據(jù)應(yīng)用幫助企業(yè)實(shí)現(xiàn)智能決策。