深度 | 大數(shù)據(jù)產(chǎn)業(yè)現(xiàn)狀和未來發(fā)展方向分析

大數(shù)據(jù)是新資源、新技術(shù)和新理念的混合體。從資源視角來看，大數(shù)據(jù)是新資源，體現(xiàn)了一種全新的資源觀。1990 年以來，在摩爾定律的推動(dòng)下，計(jì)算存儲(chǔ)和傳輸數(shù)據(jù)的能力在以指數(shù)速度增長(zhǎng)，每GB 存儲(chǔ)器的價(jià)格每年下降 40%。2000 年以來，以 Hadoop 為代表的分布式存儲(chǔ)和計(jì)算技術(shù)迅猛發(fā)展，極大的提升了互聯(lián)網(wǎng)企業(yè)數(shù)據(jù)管理能力，互聯(lián)網(wǎng)企業(yè)對(duì)“數(shù)據(jù)廢氣”(Data Exhaust)的挖掘利用大獲成功，引發(fā)全社會(huì)開始重新審視“數(shù)據(jù)”的價(jià)值，開始把數(shù)據(jù)當(dāng)作一種獨(dú)特的戰(zhàn)略資源對(duì)待。大數(shù)據(jù)的所謂 3V 特征(體量大、結(jié)構(gòu)多樣、產(chǎn)生處理速度快)主要是從這個(gè)角度描述的。

從技術(shù)視角看，大數(shù)據(jù)代表了新一代數(shù)據(jù)管理與分析技術(shù)。傳統(tǒng)的數(shù)據(jù)管理與分析技術(shù)以結(jié)構(gòu)化數(shù)據(jù)為管理對(duì)象、在小數(shù)據(jù)集上進(jìn)行分析、以集中式架構(gòu)為主，成本高昂。與“貴族化”的數(shù)據(jù)分析技術(shù)相比，源于互聯(lián)網(wǎng)的，面向多源異構(gòu)數(shù)據(jù)、在超大規(guī)模數(shù)據(jù)集(PB量級(jí))上進(jìn)行分析、以分布式架構(gòu)為主的新一代數(shù)據(jù)管理技術(shù)，與開源軟件潮流疊加，在大幅提高處理效率的同時(shí)(數(shù)據(jù)分析從 T+1 到T+0 甚至實(shí)時(shí))，成百倍的降低了數(shù)據(jù)應(yīng)用成本。

從理念的視角看，大數(shù)據(jù)打開了一種全新的思維角度。大數(shù)據(jù)的應(yīng)用，賦予了“實(shí)事求是”新的內(nèi)涵，其一是“數(shù)據(jù)驅(qū)動(dòng)”，即經(jīng)營(yíng)管理決策可以自下而上地由數(shù)據(jù)來驅(qū)動(dòng)，甚至像量化股票交易、實(shí)時(shí)競(jìng)價(jià)廣告等場(chǎng)景中那樣，可以由機(jī)器根據(jù)數(shù)據(jù)直接決策;其二是“數(shù)據(jù)閉環(huán)”，觀察互聯(lián)網(wǎng)行業(yè)大數(shù)據(jù)案例，它們往往能夠構(gòu)造起包括數(shù)據(jù)采集、建模分析、效果評(píng)估到反饋修正各個(gè)環(huán)節(jié)在內(nèi)的完整“數(shù)據(jù)閉環(huán)”，從而能夠不斷地自我升級(jí)，螺旋上升。目前很多“大數(shù)據(jù)應(yīng)用”，要么數(shù)據(jù)量不夠大，要么并非必須使用新一代技術(shù)，但體現(xiàn)了數(shù)據(jù)驅(qū)動(dòng)和數(shù)據(jù)閉環(huán)的思維，改進(jìn)了生產(chǎn)管理效率，這是大數(shù)據(jù)思維理念應(yīng)用的體現(xiàn)。

如何界定大數(shù)據(jù)產(chǎn)業(yè)

大數(shù)據(jù)本身既能形成新興產(chǎn)業(yè)，也能推動(dòng)其他產(chǎn)業(yè)發(fā)展。當(dāng)前，國(guó)內(nèi)外缺乏對(duì)大數(shù)據(jù)產(chǎn)業(yè)的公認(rèn)界定。我們認(rèn)為，大數(shù)據(jù)產(chǎn)業(yè)可以從狹義和廣義兩個(gè)層次界定。

從狹義看，當(dāng)前全球圍繞大數(shù)據(jù)采集、存儲(chǔ)、管理和挖掘，正在逐漸形成了一個(gè)“小生態(tài)”，即大數(shù)據(jù)核心產(chǎn)業(yè)。大數(shù)據(jù)核心產(chǎn)業(yè)為全社會(huì)大數(shù)據(jù)應(yīng)用提供數(shù)據(jù)資源、產(chǎn)品工具和應(yīng)用服務(wù)，支撐各個(gè)領(lǐng)域的大數(shù)據(jù)應(yīng)用，是大數(shù)據(jù)在各個(gè)領(lǐng)域應(yīng)用的基石。應(yīng)該注意到，狹義大數(shù)據(jù)產(chǎn)業(yè)仍然圍繞信息的采集加工構(gòu)建，屬于信息產(chǎn)業(yè)的一部分。

圖：大數(shù)據(jù)核心產(chǎn)業(yè)構(gòu)成

數(shù)據(jù)資源部分負(fù)責(zé)原始數(shù)據(jù)的供給和交換，根據(jù)數(shù)據(jù)來源的不同，可以細(xì)分為數(shù)據(jù)資源提供者和數(shù)據(jù)交易平臺(tái)兩種角色。數(shù)據(jù)基礎(chǔ)能力部分負(fù)責(zé)與數(shù)據(jù)生產(chǎn)加工相關(guān)的基礎(chǔ)設(shè)施和技術(shù)要素供應(yīng)，根據(jù)數(shù)據(jù)加工和價(jià)值提升的生產(chǎn)流程，數(shù)據(jù)基礎(chǔ)能力部分主要包括數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理和數(shù)據(jù)庫(數(shù)據(jù)管理)等多個(gè)角色。

數(shù)據(jù)分析/可視化部分負(fù)責(zé)數(shù)據(jù)隱含價(jià)值的挖掘、數(shù)據(jù)關(guān)聯(lián)分析和可視化展現(xiàn)等，既包括傳統(tǒng)意義上的 BI、可視化和通用數(shù)據(jù)分析工具，也包括面向非結(jié)構(gòu)化數(shù)據(jù)提供的語音、圖像等媒體識(shí)別服務(wù)。

數(shù)據(jù)應(yīng)用部分根據(jù)數(shù)據(jù)分析和加工的結(jié)果，面向電商、金融、交通、氣象、安全等細(xì)分行業(yè)提供精準(zhǔn)營(yíng)銷、信用評(píng)估、出行引導(dǎo)、信息防護(hù)等企業(yè)或公眾服務(wù)。

根據(jù) IDC、Wikibon 等咨詢機(jī)構(gòu)預(yù)測(cè)，2016 年，全球的大數(shù)據(jù)核心產(chǎn)業(yè)規(guī)模約為 300 億美元。

圖：全球大數(shù)據(jù)產(chǎn)業(yè)規(guī)模(2011-2026)

目前大數(shù)據(jù)產(chǎn)業(yè)的統(tǒng)計(jì)口徑尚未建立。對(duì)于我國(guó)大數(shù)據(jù)產(chǎn)業(yè)的規(guī)模，各個(gè)研究機(jī)構(gòu)均采取間接方法估算。中國(guó)信息通信研究院結(jié)合對(duì)大數(shù)據(jù)相關(guān)企業(yè)的調(diào)研測(cè)算，2015 年我國(guó)大數(shù)據(jù)核心產(chǎn)業(yè)的市場(chǎng)規(guī)模達(dá)到 115.9 億元，增速達(dá) 38%，預(yù)計(jì) 2016 年將達(dá)到 168 億元，2017-2018 年還將維持 40%左右的高速增長(zhǎng)。

圖：中國(guó)大數(shù)據(jù)產(chǎn)業(yè)規(guī)模估計(jì)

從廣義看，大數(shù)據(jù)具有通用技術(shù)的屬性，能夠提升運(yùn)作效率，提高決策水平，從而形成由數(shù)據(jù)驅(qū)動(dòng)經(jīng)濟(jì)發(fā)的“大生態(tài)”，即廣義大數(shù)據(jù)產(chǎn)業(yè)。廣義大數(shù)據(jù)產(chǎn)業(yè)包含了大數(shù)據(jù)在各個(gè)領(lǐng)域的應(yīng)用，已經(jīng)超出了信息產(chǎn)業(yè)的范疇。

據(jù)華沙經(jīng)濟(jì)研究所測(cè)算，歐盟 27 國(guó)因大數(shù)據(jù)的引進(jìn)，至 2020 年將獲得 1.9%的額外 GDP 增長(zhǎng)。美國(guó)麥肯錫預(yù)計(jì)，到 2020 年美國(guó)大數(shù)據(jù)應(yīng)用帶來的增加值將占 2020 年 GDP 的 2%-4%。中國(guó)信息通信研究院預(yù)計(jì)，到2020年大數(shù)據(jù)將帶動(dòng)中國(guó)GDP 2.8-4.2%。

大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的要面臨的挑戰(zhàn)

我國(guó)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展已具備一定基礎(chǔ)，但要實(shí)現(xiàn)從“數(shù)據(jù)大國(guó)”向“數(shù)據(jù)強(qiáng)國(guó)”轉(zhuǎn)變，還面臨諸多挑戰(zhàn)。

一是對(duì)數(shù)據(jù)資源及其價(jià)值的認(rèn)識(shí)不足。

全社會(huì)尚未形成對(duì)大數(shù)據(jù)客觀、科學(xué)的認(rèn)識(shí)，對(duì)數(shù)據(jù)資源及其在人類生產(chǎn)、生活和社會(huì)管理方面的價(jià)值利用認(rèn)識(shí)不足，存在盲目追逐硬件設(shè)施投資、輕視數(shù)據(jù)資源積累和價(jià)值挖掘利用等現(xiàn)象。

二是技術(shù)創(chuàng)新與支撐能力不夠。

大數(shù)據(jù)需要從底層芯片到基礎(chǔ)軟件再到應(yīng)用分析軟件等信息產(chǎn)業(yè)全產(chǎn)業(yè)鏈的支撐，無論是新型計(jì)算平臺(tái)、分布式計(jì)算架構(gòu)，還是大數(shù)據(jù)處理、分析和呈現(xiàn)方面與國(guó)外均存在較大差距，對(duì)開源技術(shù)和相關(guān)生態(tài)系統(tǒng)的影響力仍然較弱，總體上難以滿足各行各業(yè)大數(shù)據(jù)應(yīng)用需求。

三是數(shù)據(jù)資源建設(shè)和應(yīng)用水平不高。

用戶普遍不重視數(shù)據(jù)資源的建設(shè)，即使有數(shù)據(jù)意識(shí)的機(jī)構(gòu)也大多只重視數(shù)據(jù)的簡(jiǎn)單存儲(chǔ)，很少針對(duì)后續(xù)應(yīng)用需求進(jìn)行加工整理。數(shù)據(jù)資源普遍存在質(zhì)量差，標(biāo)準(zhǔn)規(guī)范缺乏，管理能力弱等現(xiàn)象?？绮块T、跨行業(yè)的數(shù)據(jù)共享仍不順暢，有價(jià)值的公共信息資源和商業(yè)數(shù)據(jù)開放程度低。數(shù)據(jù)價(jià)值難以被有效挖掘利用，大數(shù)據(jù)應(yīng)用整體上處于起步階段，潛力遠(yuǎn)未釋放。

四是信息安全和數(shù)據(jù)管理體系尚未建立。

數(shù)據(jù)所有權(quán)、隱私權(quán)等相關(guān)法律法規(guī)和信息安全、開放共享等標(biāo)準(zhǔn)規(guī)范缺乏，技術(shù)安全防范和管理能力不夠，尚未建立起兼顧安全與發(fā)展的數(shù)據(jù)開放、管理和信息安全保障體系。

五是人才隊(duì)伍建設(shè)亟需加強(qiáng)。

綜合掌握數(shù)學(xué)、統(tǒng)計(jì)學(xué)、計(jì)算機(jī)等相關(guān)學(xué)科及應(yīng)用領(lǐng)域知識(shí)的綜合性數(shù)據(jù)科學(xué)人才缺乏，遠(yuǎn)不能滿足發(fā)展需要，尤其是缺乏既熟悉行業(yè)業(yè)務(wù)需求，又掌握大數(shù)據(jù)技術(shù)與管理的綜合型人才。

三大方向預(yù)測(cè)大數(shù)據(jù)技術(shù)發(fā)展未來趨勢(shì)

(一)社交網(wǎng)絡(luò)和物聯(lián)網(wǎng)技術(shù)拓展了數(shù)據(jù)采集技術(shù)渠道

經(jīng)過行業(yè)信息化建設(shè)，醫(yī)療、交通、金融等領(lǐng)域已經(jīng)積累了許多內(nèi)部數(shù)據(jù)，構(gòu)成大數(shù)據(jù)資源的“存量”;而移動(dòng)互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的發(fā)展，大大豐富了大數(shù)據(jù)的采集渠道，來自外部社交網(wǎng)絡(luò)、可穿戴設(shè)備、車聯(lián)網(wǎng)、物聯(lián)網(wǎng)及政府公開信息平臺(tái)的數(shù)據(jù)將成為大數(shù)據(jù)增量數(shù)據(jù)資源的主體。當(dāng)前，移動(dòng)互聯(lián)網(wǎng)的深度普及，為大數(shù)據(jù)應(yīng)用提供了豐富的數(shù)據(jù)源。

根據(jù)中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心(CNNIC)第 38 次《中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》，截至 2016 年 6 月，我國(guó)網(wǎng)民規(guī)模達(dá) 7.1 億，互中國(guó)信息通信研究院 聯(lián)網(wǎng)普及率達(dá)到 51.7%，超過全球平均水平 3.1 個(gè)百分點(diǎn)。其中，我國(guó)手機(jī)網(wǎng)民規(guī)模達(dá) 6.65 億。網(wǎng)民中使用手機(jī)上網(wǎng)的人群占比提升至92.5%。線下企業(yè)通過與互聯(lián)網(wǎng)企業(yè)的合作，或者利用開放的應(yīng)用編程接口(API，Application Programming Interface)或網(wǎng)絡(luò)爬蟲，可以采集到豐富的網(wǎng)絡(luò)數(shù)據(jù)可以作為內(nèi)容數(shù)據(jù)的有效補(bǔ)充。

另外，快速發(fā)展的物聯(lián)網(wǎng)，也將成為越來越重要的大數(shù)據(jù)資源提供者。相對(duì)于現(xiàn)有互聯(lián)網(wǎng)數(shù)據(jù)雜亂無章和價(jià)值密度低的特點(diǎn)，通過可穿戴、車聯(lián)網(wǎng)等多種數(shù)據(jù)采集終端，定向采集的數(shù)據(jù)資源更具利用價(jià)值。例如，智能化的可穿戴設(shè)備經(jīng)過幾年的發(fā)展，智能手環(huán)、腕帶、手表等可穿戴正在走向成熟，智能鑰匙扣、自行車、筷子等設(shè)備層出窮，國(guó)外 Intel、Google、Facebook，國(guó)內(nèi)百度、京東、小米等有所布局。

根據(jù) IDC 公司預(yù)計(jì)，到 2016 年底，全球可穿戴設(shè)備的出貨量將達(dá)到 1.019 億臺(tái)，較 2015 年增長(zhǎng) 29.0%。到 2020 年之前，可穿戴設(shè)備市場(chǎng)的年復(fù)合增長(zhǎng)率將為 20.3%，而 2020 年將達(dá)到 2.136 億臺(tái)?？纱┐髟O(shè)備可7×24 小時(shí)不間斷地收集個(gè)人健康數(shù)據(jù)，在醫(yī)療保健領(lǐng)域有廣闊的應(yīng)用前景，一旦技術(shù)成熟，設(shè)備測(cè)量精度達(dá)到醫(yī)用要求，電池續(xù)航能力也有顯著增強(qiáng)，就很可能會(huì)進(jìn)入大規(guī)模應(yīng)用階段，從而成為重要的大數(shù)據(jù)來源。再如，車聯(lián)網(wǎng)已經(jīng)進(jìn)入快速成長(zhǎng)期。

據(jù) StrategyAnalytics 公司預(yù)計(jì)，2016 年前裝車聯(lián)網(wǎng)市場(chǎng)滲透率將達(dá)到 19%，在未來 5 年內(nèi)迎來發(fā)展黃金時(shí)期，2020 年將達(dá)到 49%。不過，值得注意的是，即便外部數(shù)據(jù)越來越豐富，但可獲取性還不夠高，一方面受目前技術(shù)水平所限，車聯(lián)網(wǎng)、可穿戴設(shè)備等數(shù)據(jù)采集精度、數(shù)據(jù)清洗技術(shù)和數(shù)據(jù)質(zhì)量還達(dá)不到實(shí)用要求;另一方面，由于體制機(jī)制原因，導(dǎo)致行業(yè)和區(qū)域上的條塊分割，數(shù)據(jù)割據(jù)和孤島普遍存在，跨企業(yè)跨行業(yè)數(shù)據(jù)資源的融合仍然面臨諸多障礙。

根據(jù)中國(guó)信息通信研究院 2015 年對(duì)國(guó)內(nèi) 800 多家企業(yè)的調(diào)研來看，有 50%以上的企業(yè)把內(nèi)部業(yè)務(wù)平臺(tái)數(shù)據(jù)、客戶數(shù)據(jù)和管理平臺(tái)數(shù)據(jù)作為大數(shù)據(jù)應(yīng)用最主要的數(shù)據(jù)來源。企業(yè)內(nèi)部數(shù)據(jù)仍是大數(shù)據(jù)主要來源，但對(duì)外部數(shù)據(jù)的需求日益強(qiáng)烈。當(dāng)前，有 32%的企業(yè)通過外部購(gòu)買所獲得的數(shù)據(jù);只有18%的企業(yè)使用政府開放數(shù)據(jù)。如何促進(jìn)大數(shù)據(jù)資源建設(shè)，提高數(shù)據(jù)質(zhì)量，推動(dòng)跨界融合流通，是推動(dòng)大數(shù)據(jù)應(yīng)用進(jìn)一步發(fā)展的關(guān)鍵問題之一。

總體來看，各行業(yè)都在致力于在用好存量資源的基礎(chǔ)之上，積極拓展新興數(shù)據(jù)收集的技術(shù)渠道，開發(fā)增量資源。社交媒體、物聯(lián)網(wǎng)等大大豐富了數(shù)據(jù)采集的潛在渠道，理論上，數(shù)據(jù)獲取將變得越來越容易。

(二) 分布式存儲(chǔ)和計(jì)算技術(shù)夯實(shí)了大數(shù)據(jù)處理的技術(shù)基礎(chǔ)

大數(shù)據(jù)存儲(chǔ)和計(jì)算技術(shù)是整個(gè)大數(shù)據(jù)系統(tǒng)的基礎(chǔ)。

在存儲(chǔ)方面，2000 年左右谷歌等提出的文件系統(tǒng)(GFS)、以及隨后的 Hadoop 的分布式文件系統(tǒng) HDFS(Hadoop Distributed File System)奠定了大數(shù)據(jù)存儲(chǔ)技術(shù)的基礎(chǔ)。

與傳統(tǒng)系統(tǒng)相比，GFS/HDFS 將計(jì)算和存儲(chǔ)節(jié)點(diǎn)在物理上結(jié)合在一起，從而避免在數(shù)據(jù)密集計(jì)算中易形成的 I/O吞吐量的制約，同時(shí)這類分布式存儲(chǔ)系統(tǒng)的文件系統(tǒng)也采用了分布式架構(gòu)，能達(dá)到較高的并發(fā)訪問能力。

在計(jì)算方面，谷歌在 2004 年公開的 MapReduce 分布式并行計(jì)算技術(shù)，是新型分布式計(jì)算技術(shù)的代表。一個(gè) MapReduce 系統(tǒng)由廉價(jià)的通用服務(wù)器構(gòu)成，通過添加服務(wù)器節(jié)點(diǎn)可線性擴(kuò)展系統(tǒng)的總處理能力(Scale Out)，在成本和可擴(kuò)展性上都有巨大的優(yōu)勢(shì)。

(三) 深度神經(jīng)網(wǎng)絡(luò)等新興技術(shù)開辟大數(shù)據(jù)分析技術(shù)的新時(shí)代

大數(shù)據(jù)數(shù)據(jù)分析技術(shù)，一般分為聯(lián)機(jī)分析處理(OLAP，OnlineAnalytical Processing)和數(shù)據(jù)挖掘(Data Mining)兩大類。

OLAP技術(shù)，一般基于用戶的一系列假設(shè)，在多維數(shù)據(jù)集上進(jìn)行交互式的數(shù)據(jù)集查詢、關(guān)聯(lián)等操作(一般使用 SQL 語句)來驗(yàn)證這些假設(shè)，代表了演繹推理的思想方法。

數(shù)據(jù)挖掘技術(shù)，一般是在海量數(shù)據(jù)中主動(dòng)尋找模型，自動(dòng)發(fā)展隱藏在數(shù)據(jù)中的模式(Pattern)，代表了歸納的思想方法。

傳統(tǒng)的數(shù)據(jù)挖掘算法主要有：

(1)聚類，又稱群分析，是研究(樣品或指標(biāo))分類問題的一種統(tǒng)計(jì)分析方法，針對(duì)數(shù)據(jù)的相似性和差異性將一組數(shù)據(jù)分為幾個(gè)類別。屬于同一類別的數(shù)據(jù)間的相似性很大，但不同類別之間數(shù)據(jù)的相似性很小，跨類的數(shù)據(jù)關(guān)聯(lián)性很低。企業(yè)通過使用聚類分析算法可以進(jìn)行客戶分群，在不明確客戶群行為特征的情況下對(duì)客戶數(shù)據(jù)從不同維度進(jìn)行分群，再對(duì)分群客戶進(jìn)行特征提取和分析，從而抓住客戶特點(diǎn)推薦相應(yīng)的產(chǎn)品和服務(wù)。

(2)分類，類似于聚類，但是目的不同，分類可以使用聚類預(yù)先生成的模型，也可以通過經(jīng)驗(yàn)數(shù)據(jù)找出一組數(shù)據(jù)對(duì)象的共同點(diǎn)，將數(shù)據(jù)劃分成不同的類，其目的是通過分類模型將數(shù)據(jù)項(xiàng)映射到某個(gè)給定的類別中，代表算法是 CART(分類與回歸樹)。企業(yè)可以將用戶、產(chǎn)品、服務(wù)等各業(yè)務(wù)數(shù)據(jù)進(jìn)行分類，構(gòu)建分類模型，再對(duì)新的數(shù)據(jù)進(jìn)行預(yù)測(cè)分析，使之歸于已有類中。分類算法比較成熟，分類準(zhǔn)確率也比較高，對(duì)于客戶的精準(zhǔn)定位、營(yíng)銷和服務(wù)有著非常好的預(yù)測(cè)能力，幫助企業(yè)進(jìn)行決策。

(3)回歸，反映了數(shù)據(jù)的屬性值的特征，通過函數(shù)表達(dá)數(shù)據(jù)映射的關(guān)系來發(fā)現(xiàn)屬性值之間的一覽關(guān)系。它可以應(yīng)用到對(duì)數(shù)據(jù)序列的預(yù)測(cè)和相關(guān)關(guān)系的研究中。企業(yè)可以利用回歸模型對(duì)市場(chǎng)銷售情況進(jìn)行分析和預(yù)測(cè)，及時(shí)作出對(duì)應(yīng)策略調(diào)整。在風(fēng)險(xiǎn)防范、反欺詐等方面也可以通過回歸模型進(jìn)行預(yù)警。

傳統(tǒng)的數(shù)據(jù)方法，不管是傳統(tǒng)的 OLAP 技術(shù)還是數(shù)據(jù)挖掘技術(shù)，都難以應(yīng)付大數(shù)據(jù)的挑戰(zhàn)。首先是執(zhí)行效率低。傳統(tǒng)數(shù)據(jù)挖掘技術(shù)都是基于集中式的底層軟件架構(gòu)開發(fā)，難以并行化，因而在處理 TB 級(jí)以上數(shù)據(jù)的效率低。其次是數(shù)據(jù)分析精度難以隨著數(shù)據(jù)量提升而得到改進(jìn)，特別是難以應(yīng)對(duì)非結(jié)構(gòu)化數(shù)據(jù)。

在人類全部數(shù)字化數(shù)據(jù)中，僅有非常小的一部分(約占總數(shù)據(jù)量的 1%)數(shù)值型數(shù)據(jù)得到了深入分析和挖掘(如回歸、分類、聚類)，大型互聯(lián)網(wǎng)企業(yè)對(duì)網(wǎng)頁索引、社交數(shù)據(jù)等半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行了淺層分析(如排序)，占總量近 60%的語音、圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)還難以進(jìn)行有效的分析。

所以，大數(shù)據(jù)分析技術(shù)的發(fā)展需要在兩個(gè)方面取得突破，一是對(duì)體量龐大的結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行高效率的深度分析，挖掘隱性知識(shí)，如從自然語言構(gòu)成的文本網(wǎng)頁中理解和識(shí)別語義、情感、意圖等;二是對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析，將海量復(fù)雜多源的語音、圖像和視頻數(shù)據(jù)轉(zhuǎn)化為機(jī)器可識(shí)別的、具有明確語義的信息，進(jìn)而從中提取有用的知識(shí)。

目前來看，以深度神經(jīng)網(wǎng)絡(luò)等新興技術(shù)為代表的大數(shù)據(jù)分析技術(shù)已經(jīng)得到一定發(fā)展。

神經(jīng)網(wǎng)絡(luò)是一種先進(jìn)的人工智能技術(shù)，具有自身自行處理、分布存儲(chǔ)和高度容錯(cuò)等特性，非常適合處理非線性的以及那些以模糊、不完整、不嚴(yán)密的知識(shí)或數(shù)據(jù)，十分適合解決大數(shù)據(jù)挖掘的問題。

典型的神經(jīng)網(wǎng)絡(luò)模型主要分為三大類：第一類是以用于分類預(yù)測(cè)和模式識(shí)別的前饋式神經(jīng)網(wǎng)絡(luò)模型，其主要代表為函數(shù)型網(wǎng)絡(luò)、感知機(jī);第二類是用于聯(lián)想記憶和優(yōu)化算法的反饋式神經(jīng)網(wǎng)絡(luò)模型，以 Hopfield的離散模型和連續(xù)模型為代表。第三類是用于聚類的自組織映射方法，以 ART 模型為代表。不過，雖然神經(jīng)網(wǎng)絡(luò)有多種模型及算法，但在特定領(lǐng)域的數(shù)據(jù)挖掘中使用何種模型及算法并沒有統(tǒng)一的規(guī)則，而且人們很難理解網(wǎng)絡(luò)的學(xué)習(xí)及決策過程。

隨著互聯(lián)網(wǎng)與傳統(tǒng)行業(yè)融合程度日益加深，對(duì)于 web 數(shù)據(jù)的挖掘和分析成為了需求分析和市場(chǎng)預(yù)測(cè)的重要段。Web 數(shù)據(jù)挖掘是一項(xiàng)綜合性的技術(shù)，可以從文檔結(jié)構(gòu)和使用集合中發(fā)現(xiàn)隱藏的輸入到輸出的映射過程。

目前研究和應(yīng)用比較多的是 PageRank 算法。PageRank是Google算法的重要內(nèi)容，于2001年9月被授予美國(guó)專利，以Google創(chuàng)始人之一拉里·佩奇(Larry Page)命名。PageRank 根據(jù)網(wǎng)站的外部鏈接和內(nèi)部鏈接的數(shù)量和質(zhì)量衡量網(wǎng)站的價(jià)值。這個(gè)概念的靈感，來自于學(xué)術(shù)研究中的這樣一種現(xiàn)象，即一篇論文的被引述的頻度越多，一般會(huì)判斷這篇論文的共識(shí)性和質(zhì)量越高。

需要指出的是，數(shù)據(jù)挖掘與分析的行業(yè)與企業(yè)特點(diǎn)強(qiáng)，除了一些最基本的數(shù)據(jù)分析工具外，目前還缺少針對(duì)性的、一般化的建模與分析工具。各個(gè)行業(yè)與企業(yè)需要根據(jù)自身業(yè)務(wù)構(gòu)建特定數(shù)據(jù)模型。數(shù)據(jù)分析模型構(gòu)建的能力強(qiáng)弱，成為不同企業(yè)在大數(shù)據(jù)競(jìng)爭(zhēng)中取勝的關(guān)鍵。