剖析大數(shù)據(jù)市場(chǎng)：繼續(xù)發(fā)展并逐漸遷移云端

大數(shù)據(jù)市場(chǎng)呈一片欣欣向榮的景象，近年來(lái)，隨著技術(shù)的不斷發(fā)展創(chuàng)新，大數(shù)據(jù)順著時(shí)代發(fā)展的潮流，發(fā)展迅猛?！按髷?shù)據(jù)”一詞最早出現(xiàn)在1990年的一本科技詞典中，當(dāng)時(shí)這個(gè)詞是用于形容龐大且增長(zhǎng)猛烈的企業(yè)數(shù)據(jù)，利用當(dāng)時(shí)的技術(shù)，人們很難存儲(chǔ)并分析這些數(shù)據(jù)。

2001年，分析師DougLaney提出了大數(shù)據(jù)的定義，它包含三個(gè)“V”的維度：數(shù)量(volume)、速度(velocity)和種類(variety)。在隨后的幾年里，Laney的定義成為了行業(yè)通用的標(biāo)準(zhǔn)，有些人還加入了第四個(gè)V來(lái)定義它——可變性(variability)。

2014年，IDC和EMC發(fā)布了最新版本的《數(shù)字世界研究報(bào)告》，其中指出全球數(shù)字化系統(tǒng)中存儲(chǔ)的數(shù)據(jù)量正在以每年40%的速度增長(zhǎng)著。報(bào)告還預(yù)測(cè)，到2020年，整個(gè)數(shù)字化世界中將存儲(chǔ)44澤字節(jié)的信息。這些數(shù)據(jù)就如同宇宙中的繁星一樣多，要把這些信息裝進(jìn)2014年代的數(shù)據(jù)表里，表格的長(zhǎng)度是日月距離的6.6倍。

現(xiàn)如今，大數(shù)據(jù)依然在快速地發(fā)展，不過(guò)人們已經(jīng)漸漸不去把數(shù)據(jù)存儲(chǔ)量的增長(zhǎng)當(dāng)成焦點(diǎn)。相反地，越來(lái)越多的組織開(kāi)始把目光放在數(shù)據(jù)分析、數(shù)據(jù)科學(xué)以及機(jī)器學(xué)習(xí)上。他們直接把管理大數(shù)據(jù)當(dāng)做是業(yè)務(wù)的一部分，如果想要在競(jìng)爭(zhēng)中獲得勝利，他們就需要找到將存儲(chǔ)的大數(shù)據(jù)轉(zhuǎn)化為高價(jià)值洞察的方式。

大數(shù)據(jù)市場(chǎng)概況

根據(jù)IDC報(bào)告，全球大數(shù)據(jù)及商業(yè)分析的收入可能將從2017年的1508億美元增長(zhǎng)到2020年的2100億美元，復(fù)合年增長(zhǎng)率高達(dá)11.9%。這也意味著，在大數(shù)據(jù)發(fā)展的這些年，企業(yè)在大數(shù)據(jù)技術(shù)上的花費(fèi)越來(lái)越多。

IDC集團(tuán)副總裁DanVesset說(shuō)：“在經(jīng)歷了S型曲線式的多年發(fā)展以后，大數(shù)據(jù)和商業(yè)分析解決方案已經(jīng)完全成為了主流?！?

大部分組織和企業(yè)認(rèn)為大數(shù)據(jù)項(xiàng)目對(duì)他們的營(yíng)收有積極的影響。在《NewVantage Partners 大數(shù)據(jù)管理調(diào)查》中，80.7%的受訪者反饋針對(duì)大數(shù)據(jù)的投資是成功的，48.4%的人認(rèn)為他們通過(guò)大數(shù)據(jù)項(xiàng)目實(shí)現(xiàn)了可以被計(jì)量的好處。

這樣的結(jié)果可能會(huì)鼓勵(lì)企業(yè)繼續(xù)向大數(shù)據(jù)投資，但他們所采納的大數(shù)據(jù)解決方案的類型正在發(fā)生轉(zhuǎn)變。根據(jù)Forrester的一項(xiàng)調(diào)查，“大數(shù)據(jù)正在向云端遷移。事實(shí)上，全球范圍內(nèi)，通過(guò)云端訂閱購(gòu)買大數(shù)據(jù)解決方案的增長(zhǎng)速度是本地化訂閱的7.5倍。”Forrester還補(bǔ)充道，“此外，根據(jù)我們2016-2017年針對(duì)數(shù)據(jù)分析專家的調(diào)查，公有云是大數(shù)據(jù)領(lǐng)域首選的技術(shù)?！?

對(duì)于依賴機(jī)器學(xué)習(xí)技術(shù)的大數(shù)據(jù)分析而言，云端解決方案特別受歡迎。機(jī)器學(xué)習(xí)需要高級(jí)且昂貴的計(jì)算機(jī)硬件，但在云端進(jìn)行機(jī)器學(xué)習(xí)的方式能夠令企業(yè)以極少的成本實(shí)現(xiàn)這一過(guò)程，這樣的成本只是自行安裝數(shù)據(jù)中心的一小部分。雖然企業(yè)面臨著和云端分析相關(guān)的種種困難，但專家認(rèn)為云端分析發(fā)展的趨勢(shì)未來(lái)幾年將會(huì)加快。

大數(shù)據(jù)技術(shù)

隨著大數(shù)據(jù)市場(chǎng)的逐漸成熟，供應(yīng)商們也開(kāi)發(fā)出了各式各樣不同的大數(shù)據(jù)技術(shù)來(lái)滿足企業(yè)的需求。這是一個(gè)非常廣闊的市場(chǎng)，但大部分大數(shù)據(jù)解決方案都可以根據(jù)以下標(biāo)準(zhǔn)進(jìn)行分類：

商業(yè)智能(BI)：商業(yè)智能解決方案能夠基于存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)中的業(yè)務(wù)數(shù)據(jù)提供分析及報(bào)告能力。根據(jù)Gartner報(bào)告，BI和分析的市場(chǎng)預(yù)計(jì)將從2017年的183億美元增長(zhǎng)到2020年的228億美元。但是，它們的增長(zhǎng)速率比以前更慢。

數(shù)據(jù)湖：數(shù)據(jù)湖能夠消化各種來(lái)源渠道的數(shù)據(jù)，并以數(shù)據(jù)源原始的格式進(jìn)行存儲(chǔ)。它與數(shù)據(jù)倉(cāng)庫(kù)之間的差別在于，數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)都是經(jīng)過(guò)清洗并且調(diào)整到可分析格式的數(shù)據(jù)。對(duì)于那些希望同時(shí)進(jìn)行結(jié)構(gòu)化和非結(jié)構(gòu)化分析的組織而言，數(shù)據(jù)湖非常受歡迎。

數(shù)據(jù)整合：大數(shù)據(jù)分析技術(shù)面臨的一個(gè)巨大挑戰(zhàn)就是要從各個(gè)分散的數(shù)據(jù)源收集各種相關(guān)的數(shù)據(jù)，并把他們統(tǒng)一到一個(gè)能夠輕松實(shí)現(xiàn)分析的格式。這為我們帶來(lái)了很多的數(shù)據(jù)整合解決方案，有時(shí)大家把它叫做ETL(數(shù)據(jù)提取、轉(zhuǎn)換、加載)解決方案。根據(jù)Markets and Markets的研究報(bào)告，數(shù)據(jù)整合業(yè)務(wù)的收入到2022年可能會(huì)增長(zhǎng)到124億美元。

數(shù)據(jù)管理：這類型的解決方案中包含了能夠幫助企業(yè)整合、清洗、存儲(chǔ)、維護(hù)并保證數(shù)字數(shù)據(jù)質(zhì)量的各種工具。Markets and Markets預(yù)計(jì)這類型大數(shù)據(jù)工具到2022年將產(chǎn)生1052億美元的收入。

數(shù)據(jù)挖掘：數(shù)據(jù)挖掘的范圍很廣，其中包括了各式各樣的找到大數(shù)據(jù)模式與規(guī)律的技術(shù)。雖然很多大數(shù)據(jù)解決方案依然在異同數(shù)據(jù)挖掘的能力，但這個(gè)概念已經(jīng)不太受到供應(yīng)商的歡迎了，因?yàn)樗麄冮_(kāi)始用“預(yù)測(cè)性分析”和“機(jī)器學(xué)習(xí)”來(lái)形容自己的解決方案。

開(kāi)源技術(shù)：很多市面上最常用的大數(shù)據(jù)技術(shù)都是通過(guò)開(kāi)源的授權(quán)來(lái)實(shí)現(xiàn)的。特別像Hadoop和Spark這樣以Apache為基礎(chǔ)進(jìn)行管理的技術(shù)，已經(jīng)非常受歡迎。很多供應(yīng)商都能夠提供這些開(kāi)源大數(shù)據(jù)技術(shù)的商業(yè)化支持版本。

NoSQL數(shù)據(jù)庫(kù)：不同于關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)(RDBMSes)，NoSQL數(shù)據(jù)庫(kù)不通過(guò)傳統(tǒng)的行列表格形式存儲(chǔ)信息，而是通過(guò)各種模型，例如行列、文件、數(shù)據(jù)追蹤圖等改格式進(jìn)行存儲(chǔ)。很多企業(yè)都在使用NoSQL數(shù)據(jù)庫(kù)用于非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和分析

預(yù)測(cè)性分析：這是目前最受歡迎的大數(shù)據(jù)分析形勢(shì)。預(yù)測(cè)性分析關(guān)注過(guò)往的歷史趨勢(shì)，目的是對(duì)未來(lái)會(huì)發(fā)生什么做出預(yù)測(cè)。很多現(xiàn)代的預(yù)測(cè)性分析解決方案都加入了機(jī)器學(xué)習(xí)的能力，目的是隨著時(shí)間的增加提高預(yù)測(cè)的準(zhǔn)確性。Zion的一項(xiàng)市場(chǎng)調(diào)研報(bào)告指出，預(yù)測(cè)性分析的指出將從2016年的34.9億美元增長(zhǎng)到2022年的109.5億美元。

診斷分析：診斷分析在預(yù)測(cè)性分析上更進(jìn)了一步。除了告訴企業(yè)未來(lái)可能會(huì)發(fā)生什么，這樣的解決方案還能夠基于事件發(fā)生的原因提出建議，達(dá)成期望的結(jié)果。專家認(rèn)為，目前市面上只有少數(shù)的大數(shù)據(jù)分析解決方案擁有真正的預(yù)測(cè)性分析能力，但很多供應(yīng)商都在大力研究這個(gè)領(lǐng)域。

內(nèi)存數(shù)據(jù)庫(kù)：內(nèi)存技術(shù)大大提升了大數(shù)據(jù)分析的速度。在任何的計(jì)算機(jī)系統(tǒng)中，內(nèi)存數(shù)據(jù)的存取(有時(shí)也叫RAM)相比存儲(chǔ)在硬件或?qū)嶓w硬盤中的數(shù)據(jù)存取都是快的多的。內(nèi)存數(shù)據(jù)庫(kù)能夠幫助用戶在內(nèi)存中存儲(chǔ)大量的數(shù)據(jù)，大幅提升速度。

數(shù)據(jù)科學(xué)平臺(tái)：很多供應(yīng)商都開(kāi)始將他們的大數(shù)據(jù)分析解決方案標(biāo)榜為“數(shù)據(jù)科學(xué)平臺(tái)”。這個(gè)領(lǐng)域的產(chǎn)品通常而言都把很多不同的功能整合到了同一個(gè)平臺(tái)上。這個(gè)領(lǐng)域里幾乎所有的產(chǎn)品都有一些分析或者機(jī)器學(xué)習(xí)的功能，很多也有數(shù)據(jù)整合和數(shù)據(jù)管理的能力。

人工智能和機(jī)器學(xué)習(xí)：很多新一代的大數(shù)據(jù)分析工具都加入了機(jī)器學(xué)習(xí)能力，這是人工智能(AI)領(lǐng)域的一個(gè)子集。機(jī)器學(xué)習(xí)利用算法幫助系統(tǒng)隨著時(shí)間的增長(zhǎng)優(yōu)化任務(wù)處理的能力，并且不需要直接的編程行動(dòng)。這是大數(shù)據(jù)領(lǐng)域中發(fā)展最快的部分。

在2018年的大數(shù)據(jù)市場(chǎng)中，大數(shù)據(jù)還將繼續(xù)發(fā)展，而重心也逐漸遷移向云端。