
詳解大數(shù)據(jù)的4個基本特征
從某種程度上說,大數(shù)據(jù)是數(shù)據(jù)分析的前沿技術。簡言之,從各種各樣類型的數(shù)據(jù)中,快速獲得有價值信息的能力,就是大數(shù)據(jù)技術,明白這一點至關重要,也正是這一點促使該技術具備走向眾多企業(yè)的潛力。
2001年,高德納分析員道格·萊尼在一份與其2001年的研究相關的演講中指出,數(shù)據(jù)增長有三個方向的挑戰(zhàn)和機遇:量(Volume),即數(shù)據(jù)多少;速(Velocity),即資料輸入、輸出的速度;類(Variety),即多樣性。
在萊尼的理論基礎上,IBM提出大數(shù)據(jù)的4V特征?得到了業(yè)界的廣泛認可。第一,數(shù)量(Volume),即數(shù)據(jù)巨大,從TB級別躍升到PB級別;第二,多樣性(Variety),即數(shù)據(jù)類型繁多,不僅包括傳統(tǒng)的格式化數(shù)據(jù),還包括來自互聯(lián)網(wǎng)的網(wǎng)絡日志、視頻、圖片、地理位置信息等;第三,速度(Velocity),即處理速度快;第四,真實性(Veracity),即追求高質量的數(shù)據(jù)。
雖然不同學者、不同研究機構對大數(shù)據(jù)的定義不盡相同,但都廣泛提及了這4個基本特征。
1、大容量
據(jù)馬海祥了解,天文學和基因學是最早產生大數(shù)據(jù)變革的領域,2000年,斯隆數(shù)字巡天項目啟動時,位于新墨西哥州的望遠鏡,在短短幾周內搜集到的數(shù)據(jù)已經比天文學歷史上總共搜集的數(shù)據(jù)還要多;在智利的大型視場全景巡天望遠鏡一旦于2016年投入使用,其在5天之內搜集到的信息量將相當于前者10年的信息檔案。
2003年,人類第一次破譯人體基因密碼時,用了10年才完成了30億對堿基對的排序;而在10年之后,世界范圍內的基因儀15分鐘就可以完成同樣的工作量。
伴隨著各種隨身設備、物聯(lián)網(wǎng)和云計算、云存儲等技術的發(fā)展,人和物的所有軌跡都可以被記錄,數(shù)據(jù)因此被大量生產出來。
移動互聯(lián)網(wǎng)的核心網(wǎng)絡節(jié)點是人,不再是網(wǎng)頁,人人都成為數(shù)據(jù)制造者,短信、微博、照片、錄像都是其數(shù)據(jù)產品;數(shù)據(jù)來自無數(shù)自動化傳感器、自動記錄設施、生產監(jiān)測、環(huán)境監(jiān)測、交通監(jiān)測、安防監(jiān)測等;來自自動流程記錄,刷卡機、收款機、電子不停車收費系統(tǒng),互聯(lián)網(wǎng)點擊、電話撥號等設施以及各種辦事流程登記等。
大量自動或人工產生的數(shù)據(jù)通過互聯(lián)網(wǎng)聚集到特定地點,包括電信運營商、互聯(lián)網(wǎng)運營商、政府、銀行、商場、企業(yè)、交通樞紐等機構,形成了大數(shù)據(jù)之海。
我們周圍到底有多少數(shù)據(jù)?數(shù)據(jù)量的增長速度有多快?許多人試圖測量出一個確切的數(shù)字。
2011年,馬丁·希爾伯特和普里西利亞·洛佩茲在《科學》上發(fā)表了一篇文章,對1986——2007年人類所創(chuàng)造、存儲和傳播的一切信息數(shù)量進行了追蹤計算。其研究范圍大約涵蓋了60種模擬和數(shù)字技術:書籍、圖畫、信件、電子郵件、照片、音樂、視頻(模擬和數(shù)字)、電子游戲、電話、汽車導航等。
據(jù)他們估算:2007年,人類大約存儲了超過300EB的數(shù)據(jù);1986——2007年,全球數(shù)據(jù)存儲能力每年提高23%,雙向通信能力每年提高28%,通用計算能力每年提高58%;預計到2013年,世界上存儲的數(shù)據(jù)能達到約1.2ZB。
這樣大的數(shù)據(jù)量意味著什么?
據(jù)估算,如果把這些數(shù)據(jù)全部記在書中,這些書可以覆蓋整個美國52次。如果存儲在只讀光盤上,這些光盤可以堆成5堆,每堆都可以伸到月球。
在公元前3世紀,希臘時代最著名的圖書館亞歷山大圖書館竭力搜集了當時其所能搜集到的書寫作品,可以代表當時世界上其所能搜集到的知識量。但當數(shù)字數(shù)據(jù)洪流席卷世界之后,每個人都可以獲得大量數(shù)據(jù)信息,相當于當時亞歷山大圖書館存儲的數(shù)據(jù)總量的320倍之多。
2、多樣性
隨著傳感器、智能設備以及社交協(xié)作技術的飛速發(fā)展,組織中的數(shù)據(jù)也變得更加復雜,因為它不僅包含傳統(tǒng)的關系型數(shù)據(jù),還包含來自網(wǎng)頁、互聯(lián)網(wǎng)日志文件(包括點擊流數(shù)據(jù))、搜索索引、社交媒體論壇、電子郵件、文檔、主動和被動系統(tǒng)的傳感器數(shù)據(jù)等原始、半結構化和非結構化數(shù)據(jù)。
在大數(shù)據(jù)時代,數(shù)據(jù)格式變得越來越多樣,涵蓋了文本、音頻、圖片、視頻、模擬信號等不同的類型;數(shù)據(jù)來源也越來越多樣,不僅產生于組織內部運作的各個環(huán)節(jié),也來自于組織外部。
例如,在交通領域,北京市交通智能化分析平臺數(shù)據(jù)來自路網(wǎng)攝像頭/傳感器、公交、軌道交通、出租車以及省際客運、旅游、化危運輸、停車、租車等運輸行業(yè),還有問卷調查和地理信息系統(tǒng)數(shù)據(jù)。4萬輛浮動車每天產生2000萬條記錄,交通卡刷卡記錄每天1900萬條,手機定位數(shù)據(jù)每天1800萬條,出租車運營數(shù)據(jù)每天100萬條,電子停車收費系統(tǒng)數(shù)據(jù)每天50萬條,定期調查覆蓋8萬戶家庭等等,這些數(shù)據(jù)在體量和速度上都達到了大數(shù)據(jù)的規(guī)模。
發(fā)掘這些形態(tài)各異、快慢不一的數(shù)據(jù)流之間的相關性,是大數(shù)據(jù)做前人之未做、能前人所不能的機會。
大數(shù)據(jù)不僅是處理巨量數(shù)據(jù)的利器,更為處理不同來源、不同格式的多元化數(shù)據(jù)提供了可能。
例如,為了使計算機能夠理解人的意圖,人類就必須要將需解決的問題的思路、方法和手段通過計算機能夠理解的形式告訴計算機,使得計算機能夠根據(jù)人的指令一步一步工作,完成某種特定的任務。
在以往,人們只能通過編程這種規(guī)范化計算機語言發(fā)出指令,隨著自然語言處理技術的發(fā)展,人們可以用計算機處理自然語言,實現(xiàn)人與計算機之間基于文本和語音的有效通信,為此,還出現(xiàn)了專門提供結構化語言解決方案的組織—語言數(shù)據(jù)公司。
自然語言無疑是一個新的數(shù)據(jù)來源,而且也是一種更復雜、更多樣的數(shù)據(jù),它包含諸如省略、指代、更正、重復、強調、倒序等大量的語言現(xiàn)象,還包括噪聲、含混不清、口頭語和音變等語音現(xiàn)象。
蘋果公司在iPhone手機上應用的一項語音控制功能Siri就是多樣化數(shù)據(jù)處理的代表。用戶可以通過語音、文字輸入等方式與Siri對話交流,并調用手機自帶的各項應用,讀短信、詢問天氣、設置鬧鐘、安排日程,乃至搜尋餐廳、電影院等生活信息,收看相關評論,甚至直接訂位、訂票,Siri則會依據(jù)用戶默認的家庭地址或是所在位置判斷、過濾搜尋的結果。
為了讓Siri足夠聰明,蘋果公司引入了谷歌、維基百科等外部數(shù)據(jù)源,在語音識別和語音合成方面,未來版本的Siri或許可以讓我們聽到中國各地的方言,比如四川話、湖南話和河南話。
多樣化的數(shù)據(jù)來源正是大數(shù)據(jù)的威力所在,例如交通狀況與其他領域的數(shù)據(jù)都存在較強的關聯(lián)性。據(jù)馬海祥博客收集的數(shù)據(jù)研究發(fā)現(xiàn),可以從供水系統(tǒng)數(shù)據(jù)中發(fā)現(xiàn)早晨洗澡的高峰時段,加上一個偏移量(通常是40-45分鐘)就能估算出交通早高峰時段;同樣可以從電網(wǎng)數(shù)據(jù)中統(tǒng)計出傍晚辦公樓集中關燈的時間,加上偏移量估算出晚上的堵車時段。
3、快速度
在數(shù)據(jù)處理速度方面,有一個著名的“1秒定律”,即要在秒級時間范圍內給出分析結果,超出這個時間,數(shù)據(jù)就失去價值了。
例如,IBM有一則廣告,講的是“1秒,能做什么”?1秒,能檢測出臺灣的鐵道故障并發(fā)布預警;也能發(fā)現(xiàn)得克薩斯州的電力中斷,避免電網(wǎng)癱瘓;還能幫助一家全球性金融公司鎖定行業(yè)欺詐,保障客戶利益。
在商業(yè)領域,“快”也早已貫穿企業(yè)運營、管理和決策智能化的每一個環(huán)節(jié),形形色色描述“快”的新興詞匯出現(xiàn)在商業(yè)數(shù)據(jù)語境里,例如實時、快如閃電、光速、念動的瞬間、價值送達時間。
英特爾中國研究院首席工程師吳甘沙認為,快速度是大數(shù)據(jù)處理技術和傳統(tǒng)的數(shù)據(jù)挖掘技術最大的區(qū)別。大數(shù)據(jù)是一種以實時數(shù)據(jù)處理、實時結果導向為特征的解決方案,它的“快”有兩個層面。
一是數(shù)據(jù)產生得快。有的數(shù)據(jù)是爆發(fā)式產生,例如,歐洲核子研究中心的大型強子對撞機在工作狀態(tài)下每秒產生PB級的數(shù)據(jù);有的數(shù)據(jù)是涓涓細流式產生,但是由于用戶眾多,短時間內產生的數(shù)據(jù)量依然非常龐大,例如,點擊流、日志、射頻識別數(shù)據(jù)、GPS(全球定位系統(tǒng))位置信息。
二是數(shù)據(jù)處理得快。正如水處理系統(tǒng)可以從水庫調出水進行處理,也可以處理直接對涌進來的新水流。大數(shù)據(jù)也有批處理(“靜止數(shù)據(jù)”轉變?yōu)椤罢褂脭?shù)據(jù)”)和流處理(“動態(tài)數(shù)據(jù)”轉變?yōu)椤罢褂脭?shù)據(jù)”)兩種范式,以實現(xiàn)快速的數(shù)據(jù)處理。
為什么要“快”?
第一,時間就是金錢。如果說價值是分子,那么時間就是分母,分母越小,單位價值就越大。面臨同樣大的數(shù)據(jù)“礦山”,“挖礦”效率是競爭優(yōu)勢。
第二,像其他商品一樣,數(shù)據(jù)的價值會折舊,等量數(shù)據(jù)在不同時間點?價值不等。NewSQL(新的可擴展性/高性能數(shù)據(jù)庫)的先行者VoltDB(內存數(shù)據(jù)庫)發(fā)明了一個概念叫作“數(shù)據(jù)連續(xù)統(tǒng)一體”:數(shù)據(jù)存在于一個連續(xù)的時間軸上,每個數(shù)據(jù)項都有它的年齡,不同年齡的數(shù)據(jù)有不同的價值取向,新產生的數(shù)據(jù)更具有個體價值,產生時間較為久遠的數(shù)據(jù)集合起來更能發(fā)揮價值。
第三,數(shù)據(jù)跟新聞一樣具有時效性。很多傳感器的數(shù)據(jù)產生幾秒之后就失去意義了。美國國家海洋和大氣管理局的超級計算機能夠在日本地震后9分鐘計算出海嘯的可能性,但9分鐘的延遲對于瞬間被海浪吞噬的生命來說還是太長了。
越來越多的數(shù)據(jù)挖掘趨于前端化,即提前感知預測并直接提供服務對象所需要的個性化服務,例如,對絕大多數(shù)商品來說,找到顧客“觸點”的最佳時機并非在結賬以后,而是在顧客還提著籃子逛街時。
電子商務網(wǎng)站從點擊流、瀏覽歷史和行為(如放入購物車)中實時發(fā)現(xiàn)顧客的即時購買意圖和興趣,并據(jù)此推送商品,這就是“快”的價值。
4、真實性
在以上3項特征的基礎上,我歸納總結了大數(shù)據(jù)的第四個特征——真實性。
數(shù)據(jù)的重要性就在于對決策的支持,數(shù)據(jù)的規(guī)模并不能決定其能否為決策提供幫助,數(shù)據(jù)的真實性和質量才是獲得真知和思路最重要的因素,是制定成功決策最堅實的基礎。
追求高數(shù)據(jù)質量是一項重要的大數(shù)據(jù)要求和挑戰(zhàn),即使最優(yōu)秀的數(shù)據(jù)清理方法也無法消除某些數(shù)據(jù)固有的不可預測性,例如,人的感情和誠實性、天氣形勢、經濟因素以及未來。
在處理這些類型的數(shù)據(jù)時,數(shù)據(jù)清理無法修正這種不確定性,然而,盡管存在不確定性,數(shù)據(jù)仍然包含寶貴的信息。我們必須承認、接受大數(shù)據(jù)的不確定性,并確定如何充分利用這一點,例如,采取數(shù)據(jù)融合,即通過結合多個可靠性較低的來源創(chuàng)建更準確、更有用的數(shù)據(jù)點,或者通過魯棒優(yōu)化技術和模糊邏輯方法等先進的數(shù)學方法。
業(yè)界還有人把大數(shù)據(jù)的基本特征從4V擴展到了11V,包括價值密度低(Value)、可視化(Visualization)、有效性(Validity)等。例如,價值密度低是指隨著物聯(lián)網(wǎng)的廣泛應用,信息感知無處不在,信息海量,但在連續(xù)不間斷的視頻監(jiān)控過程中,可能有用的數(shù)據(jù)僅一兩秒。如何通過強大的機器算法更迅速地完成數(shù)據(jù)的價值“提純”,是大數(shù)據(jù)時代亟待解決的難題。
國際數(shù)據(jù)公司報告里有一句話,概括出了大數(shù)據(jù)基本特征之間的關系:大數(shù)據(jù)技術通過使用高速的采集、發(fā)現(xiàn)或分析,從超大容量的多樣數(shù)據(jù)中經濟地提取價值。
除了上述主流的定義,還有人使用3S或者3I描述大數(shù)據(jù)的特征。
3S指的是:大?。⊿ize)、速度(Speed)和結構(Structure)。
3I指的是:
(1)、定義不明確的(Ill-de.ned):多個主流的大數(shù)據(jù)定義都強調了數(shù)據(jù)規(guī)模需要超過傳統(tǒng)方法處理數(shù)據(jù)的規(guī)模,而隨著技術的進步,數(shù)據(jù)分析的效率不斷提高,符合大數(shù)據(jù)定義的數(shù)據(jù)規(guī)模也會相應不斷變大,因而并沒有一個明確的標準。
(2)、令人生畏的(Intimidating):從管理大數(shù)據(jù)到使用正確的工具獲取它的價值,利用大數(shù)據(jù)的過程中充滿了各種挑戰(zhàn)。
(3)、即時的(Immediate):數(shù)據(jù)的價值會隨著時間快速衰減,因此為了保證大數(shù)據(jù)的可控性,需要縮短數(shù)據(jù)搜集到獲得數(shù)據(jù)洞察之間的時間,使得大數(shù)據(jù)成為真正的即時大數(shù)據(jù),這意味著能盡快地分析數(shù)據(jù)對獲得競爭優(yōu)勢至關重要。
大數(shù)據(jù)就是互聯(lián)網(wǎng)發(fā)展到現(xiàn)今階段的一種表象或特征而已,沒有必要神話它或對它保持敬畏之心,在以云計算為代表的技術創(chuàng)新大幕的襯托下,這些原本很難收集和使用的數(shù)據(jù)開始容易被利用起來了,通過各行各業(yè)的不斷創(chuàng)新,大數(shù)據(jù)會逐步為人類創(chuàng)造更多的價值。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關鍵? 在循環(huán)神經網(wǎng)絡(RNN)家族中,長短期記憶網(wǎng)絡(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務的價值轉化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預測分析中的應用:從數(shù)據(jù)查詢到趨勢預判? ? 在數(shù)據(jù)驅動決策的時代,預測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內權威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應對策略? 長短期記憶網(wǎng)絡(LSTM)作為循環(huán)神經網(wǎng)絡(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調研數(shù)據(jù)中的深度應用? 市場調研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉日期:解鎖數(shù)據(jù)處理的關鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎 ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03