云消費時代大數(shù)據(jù)與商業(yè)智能的應(yīng)用

云消費時代隨著電子商務(wù)的普及與電子身份識別、傳感技術(shù)的快速發(fā)展，越來越多的經(jīng)濟行為被記錄下來，例如淘寶網(wǎng)站單日數(shù)據(jù)產(chǎn)生量超過5萬GB，百度公司每天大約要處理60億次搜索請求，目前數(shù)據(jù)總量超過10億GB，而一個8Mbps的攝像頭一小時就能產(chǎn)生3.6GB的數(shù)據(jù)，一個城市每月產(chǎn)生的數(shù)據(jù)則高達上千萬GB?！秶H數(shù)據(jù)公司（IDC）全球大數(shù)據(jù)研究報告》指出，過去3年人類社會產(chǎn)生的數(shù)據(jù)總量被以往4萬年還多，到2020年數(shù)據(jù)量將增長10倍，達到44ZB（ZB：十萬億億字節(jié)=1024*1024*1024TB）。這些數(shù)據(jù)不但在數(shù)量上十分龐大，包含的信息類型也越來越繁雜，相較于過去的數(shù)據(jù)量被稱之為大數(shù)據(jù)。

云消費時代的大數(shù)據(jù)發(fā)展趨勢

1、大數(shù)據(jù)的技術(shù)應(yīng)用特征

大數(shù)據(jù)其表現(xiàn)的特征如下：首先是數(shù)據(jù)來源多，這其中包括企業(yè)內(nèi)部多個應(yīng)用系統(tǒng)的數(shù)據(jù)、互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的興起，帶來了微博、社交網(wǎng)站、傳感器等多種來源；其次是數(shù)據(jù)類型多，表現(xiàn)為保存在關(guān)系數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù)只占少數(shù)，80%以上數(shù)據(jù)是如圖片、音頻、視頻、模型、連接信息、文檔等非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)；以及關(guān)聯(lián)性強，表現(xiàn)為數(shù)據(jù)之間頻繁交互，比如游客在旅行途中上傳的圖片和日志，就與游客的位置、行程等信息有了很強的關(guān)聯(lián)性。

圖1結(jié)構(gòu)化數(shù)據(jù)與非/半結(jié)構(gòu)化數(shù)據(jù)比例

在商業(yè)領(lǐng)域，這些信息不僅僅包括交易行為本身，還包括消費者線上交易從搜索、對比、選擇、購買、一直到售后評價等一系列操作數(shù)據(jù)，以及消費者線下交易通過手機電子標簽、商場的識別裝置等記錄的瀏覽軌跡、停留時間、商品購買頻率等一系列活動數(shù)據(jù)。這些數(shù)據(jù)與以往以字段為基本數(shù)據(jù)單位的結(jié)構(gòu)化數(shù)據(jù)大不相同，被稱為非結(jié)構(gòu)化數(shù)據(jù)，而對非結(jié)構(gòu)化讀取、處理的技術(shù)，即是大數(shù)據(jù)技術(shù)的重要組成。在小數(shù)據(jù)時代，依靠傳統(tǒng)商業(yè)智能的計算方法以批處理為主，采用離線計算、集中式運行。而在云消費時代，海量數(shù)據(jù)的查詢、分析與利用所需要的時間從量變到質(zhì)變，1s響應(yīng)時間成為臨界點。對于大數(shù)據(jù)應(yīng)用而言，必須要在1秒鐘內(nèi)形成答案，否則處理結(jié)果就是過時和無效的。因此支持流計算，能夠?qū)崟r分析，數(shù)據(jù)庫采用分布式結(jié)構(gòu)，成為云消費時代商業(yè)智能的主流處理方式。而在的計算方式上，傳統(tǒng)數(shù)據(jù)分析依靠企業(yè)報表系統(tǒng)，通過特定數(shù)值的比對、增長分析、交叉分析、回歸分析等，數(shù)據(jù)向算法靠攏，將數(shù)據(jù)套入到固定的算法當中，對數(shù)據(jù)進行整合分析與報送。而云消費時代，海量數(shù)據(jù)處理的最終結(jié)果不再僅僅是對一組或幾組數(shù)據(jù)的趨勢性概況與分析，而是通過更加深入的智能挖掘，算法向數(shù)據(jù)靠攏，根據(jù)數(shù)據(jù)的形式與結(jié)構(gòu)采用更加靈活也更加復(fù)雜的算法，從而將過去的歷史數(shù)據(jù)報送轉(zhuǎn)變?yōu)閷ξ磥砼c結(jié)果的預(yù)測。以上就是區(qū)別大數(shù)據(jù)以及云消費時代的商業(yè)智能與傳統(tǒng)數(shù)據(jù)倉庫技術(shù)、商業(yè)智能技術(shù)的關(guān)鍵差別。

2、大數(shù)據(jù)的發(fā)展規(guī)模與前景

據(jù)國際數(shù)據(jù)公司（IDC）預(yù)計，全球大數(shù)據(jù)技術(shù)及服務(wù)市場2016年收入將達238億美元，接近1500億元人民幣，中國市場規(guī)模未來5年將增長近7倍。據(jù)中國產(chǎn)業(yè)發(fā)展研究網(wǎng)報告，2014年，中國大數(shù)據(jù)應(yīng)用市場規(guī)模為80.54億元，同比增長3.2%，預(yù)計2015年市場規(guī)模將增長37.3%，至110.56億元，預(yù)計到2020年，中國大數(shù)據(jù)應(yīng)用市場規(guī)模將增長至5019.58億元。2015-2017年復(fù)合增速為87.8%，這也是中國大數(shù)據(jù)應(yīng)用市場預(yù)計增長最快的三年。

圖2  2014-2020年中國大數(shù)據(jù)產(chǎn)業(yè)規(guī)模市場及預(yù)測

以大數(shù)據(jù)為核心的變革正在商業(yè)領(lǐng)域掀起巨大波瀾，從搜索引擎、社交網(wǎng)絡(luò)、電子商務(wù)平臺等IT企業(yè)，到批發(fā)、零售、商業(yè)服務(wù)等流通領(lǐng)域企業(yè)，無不感到變革帶來的巨大機遇與挑戰(zhàn)。大數(shù)據(jù)與云消費時代的商業(yè)智能助力企業(yè)優(yōu)化運營、簡化組織、智能決策以及創(chuàng)造更大的客戶價值，大數(shù)據(jù)應(yīng)用越來越成為商業(yè)企業(yè)創(chuàng)新發(fā)展、制勝未來的重要因素。