再談大數(shù)據(jù)的特征,感受數(shù)據(jù)之大

2001年，高德納分析員道格·萊尼在一份與其2001年的研究相關(guān)的演講中指出，數(shù)據(jù)增長(zhǎng)有三個(gè)方向的挑戰(zhàn)和機(jī)遇：量（Volume），即數(shù)據(jù)多少；速（Velocity），即資料輸入、輸出的速度；類（Variety），即多樣性。

在萊尼的理論基礎(chǔ)上，IBM提出大數(shù)據(jù)的4V特征?得到了業(yè)界的廣泛認(rèn)可。第一，數(shù)量（Volume），即數(shù)據(jù)巨大，從TB級(jí)別躍升到PB級(jí)別；第二，多樣性（Variety），即數(shù)據(jù)類型繁多，不僅包括傳統(tǒng)的格式化數(shù)據(jù)，還包括來自互聯(lián)網(wǎng)的網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等；第三，速度（Velocity），即處理速度快；第四，真實(shí)性（Veracity），即追求高質(zhì)量的數(shù)據(jù)。雖然不同學(xué)者、不同研究機(jī)構(gòu)對(duì)大數(shù)據(jù)的定義不盡相同，但都廣泛提及了這4個(gè)基本特征。

大容量

天文學(xué)和基因?qū)W是最早產(chǎn)生大數(shù)據(jù)變革的領(lǐng)域。2000年，斯隆數(shù)字巡天項(xiàng)目啟動(dòng)時(shí)，位于新墨西哥州的望遠(yuǎn)鏡在短短幾周內(nèi)搜集到的數(shù)據(jù)已經(jīng)比天文學(xué)歷史上總共搜集的數(shù)據(jù)還要多；在智利的大型視場(chǎng)全景巡天望遠(yuǎn)鏡一旦于2016年投入使用，其在5天之內(nèi)搜集到的信息量將相當(dāng)于前者10年的信息檔案。2003年，人類第一次破譯人體基因密碼時(shí)，用了10年才完成了30億對(duì)堿基對(duì)的排序；而在10年之后，世界范圍內(nèi)的基因儀15分鐘就可以完成同樣的工作量。

伴隨著各種隨身設(shè)備、物聯(lián)網(wǎng)和云計(jì)算、云存儲(chǔ)等技術(shù)的發(fā)展，人和物的所有軌跡都可以被記錄，數(shù)據(jù)因此被大量生產(chǎn)出來。移動(dòng)互聯(lián)網(wǎng)的核心網(wǎng)絡(luò)節(jié)點(diǎn)是人，不再是網(wǎng)頁。人人都成為數(shù)據(jù)制造者，短信、微博、照片、錄像都是其數(shù)據(jù)產(chǎn)品；數(shù)據(jù)來自無數(shù)自動(dòng)化傳感器、自動(dòng)記錄設(shè)施、生產(chǎn)監(jiān)測(cè)、環(huán)境監(jiān)測(cè)、交通監(jiān)測(cè)、安防監(jiān)測(cè)等；來自自動(dòng)流程記錄，刷卡機(jī)、收款機(jī)、電子不停車收費(fèi)系統(tǒng)，互聯(lián)網(wǎng)點(diǎn)擊、電話撥號(hào)等設(shè)施以及各種辦事流程登記等。數(shù)據(jù)分析師對(duì)大量自動(dòng)或人工產(chǎn)生的數(shù)據(jù)通過互聯(lián)網(wǎng)聚集到特定地點(diǎn)，包括電信運(yùn)營(yíng)商、互聯(lián)網(wǎng)運(yùn)營(yíng)商、政府、銀行、商場(chǎng)、企業(yè)、交通樞紐等機(jī)構(gòu)，形成了大數(shù)據(jù)之海。

我們周圍到底有多少數(shù)據(jù)？數(shù)據(jù)量的增長(zhǎng)速度有多快？許多人試圖測(cè)量出一個(gè)確切的數(shù)字。

2011年，馬丁·希爾伯特和普里西利亞·洛佩茲在《科學(xué)》上發(fā)表了一篇文章，對(duì)1986 ~2007年人類所創(chuàng)造、存儲(chǔ)和傳播的一切信息數(shù)量進(jìn)行了追蹤計(jì)算。其研究范圍大約涵蓋了60種模擬和數(shù)字技術(shù)：書籍、圖畫、信件、電子郵件、照片、音樂、視頻（模擬和數(shù)字）、電子游戲、電話、汽車導(dǎo)航等。

據(jù)他們估算：2007年，人類大約存儲(chǔ)了超過300EB的數(shù)據(jù)；1986~2007年，全球數(shù)據(jù)存儲(chǔ)能力每年提高23%，雙向通信能力每年提高28%，通用計(jì)算能力每年提高58%；預(yù)計(jì)到2013年，世界上存儲(chǔ)的數(shù)據(jù)能達(dá)到約1.2ZB。

這樣大的數(shù)據(jù)量意味著什么？據(jù)估算，如果把這些數(shù)據(jù)全部記在書中，這些書可以覆蓋整個(gè)美國(guó)52次。如果存儲(chǔ)在只讀光盤上，這些光盤可以堆成5堆，每堆都可以伸到月球。在公元前3世紀(jì)，希臘時(shí)代最著名的圖書館亞歷山大圖書館竭力搜集了當(dāng)時(shí)其所能搜集到的書寫作品，可以代表當(dāng)時(shí)世界上其所能搜集到的知識(shí)量。但當(dāng)數(shù)字?jǐn)?shù)據(jù)洪流席卷世界之后，每個(gè)人都可以獲得大量數(shù)據(jù)信息，相當(dāng)于當(dāng)時(shí)亞歷山大圖書館存儲(chǔ)的數(shù)據(jù)總量的320倍之多。

多樣性

隨著傳感器、智能設(shè)備以及社交協(xié)作技術(shù)的飛速發(fā)展，組織中的數(shù)據(jù)也變得更加復(fù)雜，因?yàn)樗粌H包含傳統(tǒng)的關(guān)系型數(shù)據(jù)，還包含來自網(wǎng)頁、互聯(lián)網(wǎng)日志文件（包括點(diǎn)擊流數(shù)據(jù)）、搜索索引、社交媒體論壇、電子郵件、文檔、主動(dòng)和被動(dòng)系統(tǒng)的傳感器數(shù)據(jù)等原始、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。

在大數(shù)據(jù)時(shí)代，數(shù)據(jù)格式變得越來越多樣，涵蓋了文本、音頻、圖片、視頻、模擬信號(hào)等不同的類型；數(shù)據(jù)來源也越來越多樣，不僅產(chǎn)生于組織內(nèi)部運(yùn)作的各個(gè)環(huán)節(jié)，也來自于組織外部。例如，在交通領(lǐng)域，北京市交通智能化分析平臺(tái)數(shù)據(jù)來自路網(wǎng)攝像頭/傳感器、公交、軌道交通、出租車以及省際客運(yùn)、旅游、化危運(yùn)輸、停車、租車等運(yùn)輸行業(yè)，還有問卷調(diào)查和地理信息系統(tǒng)數(shù)據(jù)。4萬輛浮動(dòng)車每天產(chǎn)生2 000萬條記錄，交通卡刷卡記錄每天1 900萬條，手機(jī)定位數(shù)據(jù)每天1 800萬條，出租車運(yùn)營(yíng)數(shù)據(jù)每天100萬條，電子停車收費(fèi)系統(tǒng)數(shù)據(jù)每天50萬條，定期調(diào)查覆蓋8萬戶家庭，等等，"數(shù)據(jù)分析師"這些數(shù)據(jù)在體量和速度上都達(dá)到了大數(shù)據(jù)的規(guī)模。發(fā)掘這些形態(tài)各異、快慢不一的數(shù)據(jù)流之間的相關(guān)性，是大數(shù)據(jù)做前人之未做、能前人所不能的機(jī)會(huì)。

大數(shù)據(jù)不僅是處理巨量數(shù)據(jù)的利器，更為處理不同來源、不同格式的多元化數(shù)據(jù)提供了可能。例如，為了使計(jì)算機(jī)能夠理解人的意圖，人類"數(shù)據(jù)分析師"就必須要將需解決的問題的思路、方法和手段通過計(jì)算機(jī)能夠理解的形式告訴計(jì)算機(jī)，使得計(jì)算機(jī)能夠根據(jù)人的指令一步一步工作，完成某種特定的任務(wù)。在以往，人們只能通過編程這種規(guī)范化計(jì)算機(jī)語言發(fā)出指令。隨著自然語言處理技術(shù)的發(fā)展，人們可以用計(jì)算機(jī)處理自然語言，實(shí)現(xiàn)人與計(jì)算機(jī)之間基于文本和語音的有效通信。為此，還出現(xiàn)了專門提供結(jié)構(gòu)化語言解決方案的組織—語言數(shù)據(jù)公司。自然語言無疑是一個(gè)新的數(shù)據(jù)來源，而且也是一種更復(fù)雜、更多樣的數(shù)據(jù)，它包含諸如省略、指代、更正、重復(fù)、強(qiáng)調(diào)、倒序等大量的語言現(xiàn)象，還包括噪聲、含混不清、口頭語和音變等語音現(xiàn)象。

蘋果公司在iPhone手機(jī)上應(yīng)用的一項(xiàng)語音控制功能Siri就是多樣化數(shù)據(jù)處理的代表。用戶可以通過語音、文字輸入等方式與Siri對(duì)話交流，并調(diào)用手機(jī)自帶的各項(xiàng)應(yīng)用，讀短信、詢問天氣、設(shè)置鬧鐘、安排日程，乃至搜尋餐廳、電影院等生活信息，收看相關(guān)評(píng)論，甚至直接訂位、訂票，Siri則會(huì)依據(jù)用戶默認(rèn)的家庭地址或是所在位置判斷、過濾搜尋的結(jié)果。為了讓Siri足夠聰明，蘋果公司引入了谷歌、維基百科等外部數(shù)據(jù)源。在語音識(shí)別和語音合成方面，未來版本的Siri或許可以讓我們聽到中國(guó)各地的方言，比如四川話、湖南話和河南話。

多樣化的數(shù)據(jù)來源正是大數(shù)據(jù)的威力所在。例如，交通狀況與其他領(lǐng)域的數(shù)據(jù)都存在較強(qiáng)的關(guān)聯(lián)性。研究發(fā)現(xiàn)，可以從供水系統(tǒng)數(shù)據(jù)中發(fā)現(xiàn)早晨洗澡的高峰時(shí)段，加上一個(gè)偏移量（通常是40~45分鐘）就能估算出交通早高峰時(shí)段；同樣可以從電網(wǎng)數(shù)據(jù)中統(tǒng)計(jì)出傍晚辦公樓集中關(guān)燈的時(shí)間，加上偏移量估算出晚上的堵車時(shí)段。

快速度

在數(shù)據(jù)處理速度方面，有一個(gè)著名的“1秒定律”，即要在秒級(jí)時(shí)間范圍內(nèi)給出分析結(jié)果，超出這個(gè)時(shí)間，數(shù)據(jù)就失去價(jià)值了。

例如，IBM有一則廣告，講的是“1秒，能做什么”？1秒，能檢測(cè)出臺(tái)灣的鐵道故障并發(fā)布預(yù)警；也能發(fā)現(xiàn)得克薩斯州的電力中斷，避免電網(wǎng)癱瘓；還能幫助一家全球性金融公司鎖定行業(yè)欺詐，保障客戶利益。

在商業(yè)領(lǐng)域，“快”也早已貫穿企業(yè)運(yùn)營(yíng)、管理和決策智能化的每一個(gè)環(huán)節(jié)。形形色色描述“快”的新興詞匯出現(xiàn)在商業(yè)數(shù)據(jù)語境里，例如實(shí)時(shí)、快如閃電、光速、念動(dòng)的瞬間、價(jià)值送達(dá)時(shí)間。

英特爾中國(guó)研究院首席工程師吳甘沙認(rèn)為，快速度是大數(shù)據(jù)處理技術(shù)和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)最大的區(qū)別。大數(shù)據(jù)"數(shù)據(jù)分析師"是一種以實(shí)時(shí)數(shù)據(jù)處理、實(shí)時(shí)結(jié)果導(dǎo)向?yàn)?a href='/map/tezheng/' style='color:#000;font-size:inherit;'>特征的解決方案，它的“快”有兩個(gè)層面。一是數(shù)據(jù)產(chǎn)生得快。有的數(shù)據(jù)是爆發(fā)式產(chǎn)生，例如，歐洲核子研究中心的大型強(qiáng)子對(duì)撞機(jī)在工作狀態(tài)下每秒產(chǎn)生PB級(jí)的數(shù)據(jù)；有的數(shù)據(jù)是涓涓細(xì)流式產(chǎn)生，但是由于用戶眾多，短時(shí)間內(nèi)產(chǎn)生的數(shù)據(jù)量依然非常龐大，例如，點(diǎn)擊流、日志、射頻識(shí)別數(shù)據(jù)、GPS（全球定位系統(tǒng)）位置信息。二是數(shù)據(jù)處理得快。正如水處理系統(tǒng)可以從水庫調(diào)出水進(jìn)行處理，也可以處理直接對(duì)涌進(jìn)來的新水流。大數(shù)據(jù)也有批處理（“靜止數(shù)據(jù)”轉(zhuǎn)變?yōu)椤罢褂脭?shù)據(jù)”）和流處理（“動(dòng)態(tài)數(shù)據(jù)”轉(zhuǎn)變?yōu)椤罢褂脭?shù)據(jù)”）兩種范式，以實(shí)現(xiàn)快速的數(shù)據(jù)處理。

吳甘沙提出，天下武功，唯快不破。為什么要“快”？第一，時(shí)間就是金錢。如果說價(jià)值是分子，那么時(shí)間就是分母，分母越小，單位價(jià)值就越大。面臨同樣大的數(shù)據(jù)“礦山”，“挖礦”效率是競(jìng)爭(zhēng)優(yōu)勢(shì)。第二，像其他商品一樣，數(shù)據(jù)的價(jià)值會(huì)折舊，等量數(shù)據(jù)在不同時(shí)間點(diǎn)?價(jià)值不等。NewSQL（新的可擴(kuò)展性/高性能數(shù)據(jù)庫）的先行者VoltDB（內(nèi)存數(shù)據(jù)庫）發(fā)明了一個(gè)概念叫作“數(shù)據(jù)連續(xù)統(tǒng)一體”：數(shù)據(jù)存在于一個(gè)連續(xù)的時(shí)間軸上，每個(gè)數(shù)據(jù)項(xiàng)都有它的年齡，不同年齡的數(shù)據(jù)有不同的價(jià)值取向，新產(chǎn)生的數(shù)據(jù)更具有個(gè)體價(jià)值，產(chǎn)生時(shí)間較為久遠(yuǎn)的數(shù)據(jù)集合起來更能發(fā)揮價(jià)值。第三，數(shù)據(jù)跟新聞一樣具有時(shí)效性。很多傳感器的數(shù)據(jù)產(chǎn)生幾秒之后就失去意義了。美國(guó)國(guó)家海洋和大氣管理局的超級(jí)計(jì)算機(jī)能夠在日本地震后9分鐘計(jì)算出海嘯的可能性，但9分鐘的延遲對(duì)于瞬間被海浪吞噬的生命來說還是太長(zhǎng)了。

越來越多的數(shù)據(jù)挖掘趨于前端化，即提前感知預(yù)測(cè)并直接提供服務(wù)對(duì)象所需要的個(gè)性化服務(wù)。例如，對(duì)絕大多數(shù)商品來說，找到顧客“觸點(diǎn)”的最佳時(shí)機(jī)并非在結(jié)賬以后，而是在顧客還提著籃子逛街時(shí)。電子商務(wù)網(wǎng)站從點(diǎn)擊流、瀏覽歷史和行為（如放入購物車）中實(shí)時(shí)發(fā)現(xiàn)顧客的即時(shí)購買意圖和興趣，并據(jù)此推送商品，這就是“快”的價(jià)值。

真實(shí)性

"數(shù)據(jù)分析師"在以上3項(xiàng)特征的基礎(chǔ)上，IBM歸納總結(jié)了大數(shù)據(jù)的第四個(gè)特征—真實(shí)性。數(shù)據(jù)的重要性就在于對(duì)決策的支持。數(shù)據(jù)的規(guī)模并不能決定其能否為決策提供幫助，數(shù)據(jù)的真實(shí)性和質(zhì)量才是獲得真知和思路最重要的因素，是制定成功決策最堅(jiān)實(shí)的基礎(chǔ)。

追求高數(shù)據(jù)質(zhì)量是一項(xiàng)重要的大數(shù)據(jù)要求和挑戰(zhàn)。即使最優(yōu)秀的數(shù)據(jù)清理方法也無法消除某些數(shù)據(jù)固有的不可預(yù)測(cè)性，例如，人的感情和誠(chéng)實(shí)性、天氣形勢(shì)、經(jīng)濟(jì)因素以及未來。在處理這些類型的數(shù)據(jù)時(shí)，數(shù)據(jù)清理無法修正這種不確定性。然而，盡管存在不確定性，數(shù)據(jù)仍然包含寶貴的信息。我們必須承認(rèn)、接受大數(shù)據(jù)的不確定性，并確定如何充分利用這一點(diǎn)，例如，采取數(shù)據(jù)融合，即通過結(jié)合多個(gè)可靠性較低的來源創(chuàng)建更準(zhǔn)確、更有用的數(shù)據(jù)點(diǎn)，或者通過魯棒優(yōu)化技術(shù)和模糊邏輯方法等先進(jìn)的數(shù)學(xué)方法。

業(yè)界還有人把大數(shù)據(jù)的基本特征從4V擴(kuò)展到了11V，包括價(jià)值密度低（Value）、可視化（Visualization）、有效性（Validity）等。例如，價(jià)值密度低是指隨著物聯(lián)網(wǎng)的廣泛應(yīng)用，信息感知無處不在，信息海量，但在連續(xù)不間斷的視頻監(jiān)控過程中，可能有用的數(shù)據(jù)僅一兩秒。如何通過強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)的價(jià)值“提純”，是大數(shù)據(jù)時(shí)代亟待解決的難題。

國(guó)際數(shù)據(jù)公司報(bào)告里有一句話，概括出了大數(shù)據(jù)基本特征之間的關(guān)系：大數(shù)據(jù)技術(shù)通過使用高速的采集、發(fā)現(xiàn)或分析，從超大容量的多樣數(shù)據(jù)中經(jīng)濟(jì)地提取價(jià)值。

除了上述主流的定義，還有人使用3S 或者3I 描述大數(shù)據(jù)的特征。3S指的是：大?。⊿ize）、速度（Speed）和結(jié)構(gòu)（Structure）。3I指的是：（1）定義不明確的（Ill-de.ned）：多個(gè)主流的大數(shù)據(jù)定義都強(qiáng)調(diào)了數(shù)據(jù)規(guī)模需要超過傳統(tǒng)方法處理數(shù)據(jù)的規(guī)模，而隨著技術(shù)的進(jìn)步，數(shù)據(jù)分析的效率不斷提高，符合大數(shù)據(jù)定義的數(shù)據(jù)規(guī)模也會(huì)相應(yīng)不斷變大，因而并沒有一個(gè)明確的標(biāo)準(zhǔn)；（2）令人生畏的（Intimidating）：從管理大數(shù)據(jù)到使用正確的工具獲取它的價(jià)值，利用大數(shù)據(jù)的過程中充滿了各種挑戰(zhàn)；（3）即時(shí)的（Immediate）：數(shù)據(jù)的價(jià)值會(huì)隨著時(shí)間快速衰減。因此為了保證大數(shù)據(jù)的可控性，需要縮短數(shù)據(jù)搜集到獲得數(shù)據(jù)洞察之間的時(shí)間，使得大數(shù)據(jù)成為真正的即時(shí)大數(shù)據(jù)。這意味著能盡快地分析數(shù)據(jù)對(duì)獲得競(jìng)爭(zhēng)優(yōu)勢(shì)至關(guān)重要。由于相關(guān)表述都異曲同工，在此不做詳細(xì)介紹。