大數(shù)據(jù)的特征

    在大數(shù)據(jù)時代，數(shù)據(jù)的格式變得越來越多樣，我們一起感受大數(shù)據(jù)的大，再談大數(shù)據(jù)的特征：第一，

數(shù)量（Volume），即數(shù)據(jù)巨大，從TB級別躍升到PB級別；第二，多樣性（Variety），即數(shù)據(jù)類型繁多，

不僅包括傳統(tǒng)的格式化數(shù)據(jù)，還包括來自互聯(lián)網(wǎng)的網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等；第三，速度

（Velocity），即處理速度快；第四，真實性（Veracity），即追求高質(zhì)量的數(shù)據(jù)。雖然不同學(xué)者、不同研

究機構(gòu)對大數(shù)據(jù)的定義不盡相同，但都廣泛提及了這4個基本特征。

大容量

      天文學(xué)和基因?qū)W是最早產(chǎn)生大數(shù)據(jù)變革的領(lǐng)域。2000年，斯隆數(shù)字巡天項目啟動時，位于新墨西哥州

的望遠鏡在短短幾周內(nèi)搜集到的數(shù)據(jù)已經(jīng)比天文學(xué)歷史上總共搜集的數(shù)據(jù)還要多；在智利的大型視場全景

巡天望遠鏡一旦于2016年投入使用，其在5天之內(nèi)搜集到的信息量將相當于前者10年的信息檔案。2003

年，人類第一次破譯人體基因密碼時，用了10年才完成了30億對堿基對的排序；而在10年之后，世界范圍

內(nèi)的基因儀15分鐘就可以完成同樣的工作量。

      伴隨著各種隨身設(shè)備、物聯(lián)網(wǎng)和云計算、云存儲等技術(shù)的發(fā)展，人和物的所有軌跡都可以被記錄，數(shù)

據(jù)因此被大量生產(chǎn)出來。移動互聯(lián)網(wǎng)的核心網(wǎng)絡(luò)節(jié)點是人，不再是網(wǎng)頁。人人都成為數(shù)據(jù)制造者，短信、

微博、照片、錄像都是其數(shù)據(jù)產(chǎn)品；數(shù)據(jù)來自無數(shù)自動化傳感器、自動記錄設(shè)施、生產(chǎn)監(jiān)測、環(huán)境監(jiān)測、

交通監(jiān)測、安防監(jiān)測等；來自自動流程記錄，刷卡機、收款機、電子不停車收費系統(tǒng)，互聯(lián)網(wǎng)點擊、電話

撥號等設(shè)施以及各種辦事流程登記等。大量自動或人工產(chǎn)生的數(shù)據(jù)通過互聯(lián)網(wǎng)聚集到特定地點，包括電信

運營商、互聯(lián)網(wǎng)運營商、政府、銀行、商場、企業(yè)、交通樞紐等機構(gòu)，形成了大數(shù)據(jù)之海。

      2011年，馬丁·希爾伯特和普里西利亞·洛佩茲在《科學(xué)》上發(fā)表了一篇文章，對1986 ~2007年人類所

創(chuàng)造、存儲和傳播的一切信息數(shù)量進行了追蹤計算。其研究范圍大約涵蓋了60種模擬和數(shù)字技術(shù)：書籍、

圖畫、信件、電子郵件、照片、音樂、視頻（模擬和數(shù)字）、電子游戲、電話、汽車導(dǎo)航等。

      據(jù)他們估算：2007年，人類大約存儲了超過300EB的數(shù)據(jù)；1986~2007年，全球數(shù)據(jù)存儲能力每年提

高23%，雙向通信能力每年提高28%，通用計算能力每年提高58%；預(yù)計到2013年，世界上存儲的數(shù)據(jù)能

達到約1.2ZB。

      這樣大的數(shù)據(jù)量意味著什么？據(jù)估算，如果把這些數(shù)據(jù)全部記在書中，這些書可以覆蓋整個美國52

次。如果存儲在只讀光盤上，這些光盤可以堆成5堆，每堆都可以伸到月球。在公元前3世紀，希臘時代最

著名的圖書館亞歷山大圖書館竭力搜集了當時其所能搜集到的書寫作品，可以代表當時世界上其所能搜集

到的知識量。但當數(shù)字數(shù)據(jù)洪流席卷世界之后，每個人都可以獲得大量數(shù)據(jù)信息，相當于當時亞歷山大圖

書館存儲的數(shù)據(jù)總量的320倍之多。

多樣性

      隨著傳感器、智能設(shè)備以及社交協(xié)作技術(shù)的飛速發(fā)展，組織中的數(shù)據(jù)也變得更加復(fù)雜，因為它不僅包

含傳統(tǒng)的關(guān)系型數(shù)據(jù)，還包含來自網(wǎng)頁、互聯(lián)網(wǎng)日志文件（包括點擊流數(shù)據(jù)）、搜索索引、社交媒體論

壇、電子郵件、文檔、主動和被動系統(tǒng)的傳感器數(shù)據(jù)等原始、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。

      在大數(shù)據(jù)時代，數(shù)據(jù)格式變得越來越多樣，涵蓋了文本、音頻、圖片、視頻、模擬信號等不同的類

型；數(shù)據(jù)來源也越來越多樣，不僅產(chǎn)生于組織內(nèi)部運作的各個環(huán)節(jié)，也來自于組織外部。例如，在交通領(lǐng)

域，北京市交通智能化分析平臺數(shù)據(jù)來自路網(wǎng)攝像頭/傳感器、公交、軌道交通、出租車以及省際客運、旅

游、化危運輸、停車、租車等運輸行業(yè)，還有問卷調(diào)查和地理信息系統(tǒng)數(shù)據(jù)。4萬輛浮動車每天產(chǎn)生2 000

萬條記錄，交通卡刷卡記錄每天1 900萬條，手機定位數(shù)據(jù)每天1 800萬條，出租車運營數(shù)據(jù)每天100萬

條，電子停車收費系統(tǒng)數(shù)據(jù)每天50萬條，定期調(diào)查覆蓋8萬戶家庭，等等，這些數(shù)據(jù)在體量和速度上都達

到了大數(shù)據(jù)的規(guī)模。發(fā)掘這些形態(tài)各異、快慢不一的數(shù)據(jù)流之間的相關(guān)性，是大數(shù)據(jù)做前人之未做、能前

人所不能的機會。

      大數(shù)據(jù)不僅是處理巨量數(shù)據(jù)的利器，更為處理不同來源、不同格式的多元化數(shù)據(jù)提供了可能。例如，

為了使計算機能夠理解人的意圖，人類就必須要將需解決的問題的思路、方法和手段通過計算機能夠理解

的形式告訴計算機，使得計算機能夠根據(jù)人的指令一步一步工作，完成某種特定的任務(wù)。在以往，人們只

能通過編程這種規(guī)范化計算機語言發(fā)出指令。隨著自然語言處理技術(shù)的發(fā)展，人們可以用計算機處理自然

語言，實現(xiàn)人與計算機之間基于文本和語音的有效通信。為此，還出現(xiàn)了專門提供結(jié)構(gòu)化語言解決方案的

組織—語言數(shù)據(jù)公司。自然語言無疑是一個新的數(shù)據(jù)來源，而且也是一種更復(fù)雜、更多樣的數(shù)據(jù)，它包含

諸如省略、指代、更正、重復(fù)、強調(diào)、倒序等大量的語言現(xiàn)象，還包括噪聲、含混不清、口頭語和音變等

語音現(xiàn)象。

      蘋果公司在iPhone手機上應(yīng)用的一項語音控制功能Siri就是多樣化數(shù)據(jù)處理的代表。用戶可以通過語

音、文字輸入等方式與Siri對話交流，并調(diào)用手機自帶的各項應(yīng)用，讀短信、詢問天氣、設(shè)置鬧鐘、安排日

程，乃至搜尋餐廳、電影院等生活信息，收看相關(guān)評論，甚至直接訂位、訂票，Siri則會依據(jù)用戶默認的家

庭地址或是所在位置判斷、過濾搜尋的結(jié)果。為了讓Siri足夠聰明，蘋果公司引入了谷歌、維基百科等外部

數(shù)據(jù)源。在語音識別和語音合成方面，未來版本的Siri或許可以讓我們聽到中國各地的方言，比如四川話、

湖南話和河南話。

      多樣化的數(shù)據(jù)來源正是大數(shù)據(jù)的威力所在。例如，交通狀況與其他領(lǐng)域的數(shù)據(jù)都存在較強的關(guān)聯(lián)性。

研究發(fā)現(xiàn)，可以從供水系統(tǒng)數(shù)據(jù)中發(fā)現(xiàn)早晨洗澡的高峰時段，加上一個偏移量（通常是40~45分鐘）就能

估算出交通早高峰時段；同樣可以從電網(wǎng)數(shù)據(jù)中統(tǒng)計出傍晚辦公樓集中關(guān)燈的時間，加上偏移量估算出晚

上的堵車時段。

快速度

      在數(shù)據(jù)處理速度方面，有一個著名的“1秒定律”，即要在秒級時間范圍內(nèi)給出分析結(jié)果，超出這個時

間，數(shù)據(jù)就失去價值了。

例如，IBM有一則廣告，講的是“1秒，能做什么”？1秒，能檢測出臺灣的鐵道故障并發(fā)布預(yù)警；也能發(fā)現(xiàn)

得克薩斯州的電力中斷，避免電網(wǎng)癱瘓；還能幫助一家全球性金融公司鎖定行業(yè)欺詐，保障客戶利益。

在商業(yè)領(lǐng)域，“快”也早已貫穿企業(yè)運營、管理和決策智能化的每一個環(huán)節(jié)。形形色色描述“快”的新興詞匯出現(xiàn)在商業(yè)數(shù)據(jù)語境里，例如實時、快如閃電、光速、念動的瞬間、價值送達時間。

      英特爾中國研究院首席工程師吳甘沙認為，快速度是大數(shù)據(jù)處理技術(shù)和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)最大的區(qū)

別。大數(shù)據(jù)是一種以實時數(shù)據(jù)處理、實時結(jié)果導(dǎo)向為特征的解決方案，它的“快”有兩個層面。一是數(shù)據(jù)產(chǎn)

生得快。有的數(shù)據(jù)是爆發(fā)式產(chǎn)生，例如，歐洲核子研究中心的大型強子對撞機在工作狀態(tài)下每秒產(chǎn)生PB級

的數(shù)據(jù)；有的數(shù)據(jù)是涓涓細流式產(chǎn)生，但是由于用戶眾多，短時間內(nèi)產(chǎn)生的數(shù)據(jù)量依然非常龐大，例如，

點擊流、日志、射頻識別數(shù)據(jù)、GPS（全球定位系統(tǒng)）位置信息。二是數(shù)據(jù)處理得快。正如水處理系統(tǒng)可

以從水庫調(diào)出水進行處理，也可以處理直接對涌進來的新水流。大數(shù)據(jù)也有批處理（“靜止數(shù)據(jù)”轉(zhuǎn)變?yōu)椤罢?/span>

使用數(shù)據(jù)”）和流處理（“動態(tài)數(shù)據(jù)”轉(zhuǎn)變?yōu)椤罢褂脭?shù)據(jù)”）兩種范式，以實現(xiàn)快速的數(shù)據(jù)處理。

吳甘沙提出，天下武功，唯快不破。為什么要“快”？第一，時間就是金錢。如果說價值是分子，那么時間

就是分母，分母越小，單位價值就越大。面臨同樣大的數(shù)據(jù)“礦山”，“挖礦”效率是競爭優(yōu)勢。第二，像其他商品一樣，數(shù)據(jù)的價值會折舊，等量數(shù)據(jù)在不同時間點?價值不等。NewSQL（新的可擴展性/高性能數(shù)據(jù)庫）的先行者VoltDB（內(nèi)存數(shù)據(jù)庫）發(fā)明了一個概念叫作“數(shù)據(jù)連續(xù)統(tǒng)一體”：數(shù)據(jù)存在于一個連續(xù)的時間軸上，每個數(shù)據(jù)項都有它的年齡，不同年齡的數(shù)據(jù)有不同的價值取向，新產(chǎn)生的數(shù)據(jù)更具有個體價值，產(chǎn)生時間較為久遠的數(shù)據(jù)集合起來更能發(fā)揮價值。

         第三，數(shù)據(jù)跟新聞一樣具有時效性。很多傳感器的數(shù)據(jù)產(chǎn)生幾秒之后就失去意義了。美國國家海洋和大氣管理局的超級計算機能夠在日本地震后9分鐘計算出海嘯的可能性，但9分鐘的延遲對于瞬間被海浪吞噬的生命來說還是太長了。

      越來越多的數(shù)據(jù)挖掘趨于前端化，即提前感知預(yù)測并直接提供服務(wù)對象所需要的個性化服務(wù)。例如，

對絕大多數(shù)商品來說，找到顧客“觸點”的最佳時機并非在結(jié)賬以后，而是在顧客還提著籃子逛街時。電子

商務(wù)網(wǎng)站從點擊流、瀏覽歷史和行為（如放入購物車）中實時發(fā)現(xiàn)顧客的即時購買意圖和興趣，并據(jù)此推

送商品，這就是“快”的價值。

     真實性

      在以上3項特征的基礎(chǔ)上，IBM歸納總結(jié)了大數(shù)據(jù)的第四個特征—真實性。數(shù)據(jù)的重要性就在于對決策

的支持。數(shù)據(jù)的規(guī)模并不能決定其能否為決策提供幫助，數(shù)據(jù)的真實性和質(zhì)量才是獲得真知和思路最重要

的因素，是制定成功決策最堅實的基礎(chǔ)。

      追求高數(shù)據(jù)質(zhì)量是一項重要的大數(shù)據(jù)要求和挑戰(zhàn)。即使最優(yōu)秀的數(shù)據(jù)清理方法也無法消除某些數(shù)據(jù)固

有的不可預(yù)測性，例如，人的感情和誠實性、天氣形勢、經(jīng)濟因素以及未來。在處理這些類型的數(shù)據(jù)時，

數(shù)據(jù)清理無法修正這種不確定性。然而，盡管存在不確定性，數(shù)據(jù)仍然包含寶貴的信息。我們必須承認、

接受大數(shù)據(jù)的不確定性，并確定如何充分利用這一點，例如，采取數(shù)據(jù)融合，即通過結(jié)合多個可靠性較低

的來源創(chuàng)建更準確、更有用的數(shù)據(jù)點，或者通過魯棒優(yōu)化技術(shù)和模糊邏輯方法等先進的數(shù)學(xué)方法。

      業(yè)界還有人把大數(shù)據(jù)的基本特征從4V擴展到了11V，包括價值密度低（Value）、可視化

（Visualization）、有效性（Validity）等。例如，價值密度低是指隨著物聯(lián)網(wǎng)的廣泛應(yīng)用，信息感知無處不在，信息海量，但在連續(xù)不間斷的視頻監(jiān)控過程中，可能有用的數(shù)據(jù)僅一兩秒。如何通過強大的機器算法更迅速地完成數(shù)據(jù)的價值“提純”，是大數(shù)據(jù)時代亟待解決的難題。

      國際數(shù)據(jù)公司報告里有一句話，概括出了大數(shù)據(jù)基本特征之間的關(guān)系：大數(shù)據(jù)技術(shù)通過使用高速的采

集、發(fā)現(xiàn)或分析，從超大容量的多樣數(shù)據(jù)中經(jīng)濟地提取價值。

      除了上述主流的定義，還有人使用3S 或者3I 描述大數(shù)據(jù)的特征。3S指的是：大?。⊿ize）、速度

（Speed）和結(jié)構(gòu)（Structure）。3I指的是：（1）定義不明確的（Ill-de.ned）：多個主流的大數(shù)據(jù)定義都強調(diào)了數(shù)據(jù)規(guī)模需要超過傳統(tǒng)方法處理數(shù)據(jù)的規(guī)模，而隨著技術(shù)的進步，數(shù)據(jù)分析的效率不斷提高，符合大數(shù)據(jù)定義的數(shù)據(jù)規(guī)模也會相應(yīng)不斷變大，因而并沒有一個明確的標準；（2）令人生畏的

（Intimidating）：從管理大數(shù)據(jù)到使用正確的工具獲取它的價值，利用大數(shù)據(jù)的過程中充滿了各種挑戰(zhàn)；

（3）即時的（Immediate）：數(shù)據(jù)的價值會隨著時間快速衰減。因此為了保證大數(shù)據(jù)的可控性，需要縮短

數(shù)據(jù)搜集到獲得數(shù)據(jù)洞察之間的時間，使得大數(shù)據(jù)成為真正的即時大數(shù)據(jù)。這意味著能盡快地分析數(shù)據(jù)對

獲得競爭優(yōu)勢至關(guān)重要。數(shù)據(jù)分析師