
物聯(lián)網(wǎng)大數(shù)據(jù)將吞噬整個地球
人類創(chuàng)造的物理世界有多大,我們有衡量的概念,但是人類創(chuàng)造的數(shù)字世界到底有多大,相信這個概念還不夠具體。
在大多數(shù)人的印象中,數(shù)據(jù)就是數(shù)字,或者必須是由數(shù)字構(gòu)成的,其實(shí)不然,數(shù)據(jù)的范疇比數(shù)字要大得多,信息、現(xiàn)象、數(shù)據(jù)、狀態(tài)和知識都可以是數(shù)據(jù)的一部分。
人類創(chuàng)造的物理世界的一切都可以是數(shù)據(jù),在互聯(lián)網(wǎng)上傳播的文字、圖片和視頻是數(shù)據(jù);工廠里所有的檔案、尺寸、記錄是數(shù)據(jù);文物上的尺寸、年代、工藝也是數(shù)據(jù)。地球甚至宇宙存在的空間和時間也都可以是數(shù)據(jù),小到一個粒子,大到一個星球的運(yùn)行軌跡和生命周期。
一、人類創(chuàng)造數(shù)據(jù)的歷史
雖然數(shù)據(jù)本身是客觀存在的,但是它的范疇是隨著文明的進(jìn)程不斷變化和擴(kuò)大的。在計算機(jī)出現(xiàn)之前,數(shù)據(jù)大概相當(dāng)于數(shù)字的記錄,極少部分的信息,比如行星軌跡、力學(xué)原理等,會被用數(shù)據(jù)的方式記錄并運(yùn)算。
在計算機(jī)出現(xiàn)之后,以語言和文字形式存在的內(nèi)容成為了全世界各種信息處理中最重要的數(shù)據(jù),也是全世界通信領(lǐng)域和信息科技產(chǎn)業(yè)的核心數(shù)據(jù)。這其中也包括我們的信件、電話、電子郵件、圖片、聲音、視頻、互聯(lián)網(wǎng)網(wǎng)頁,以及各種社交產(chǎn)品中由用戶產(chǎn)生的內(nèi)容。
在移動互聯(lián)網(wǎng)普及之后,我們?nèi)祟惖幕顒颖旧?,開始被數(shù)據(jù)化,比如我們的行為模式、我們的社會關(guān)系、我們每天的活動、位置信息、消費(fèi)及購物習(xí)慣等。這些數(shù)據(jù)由于涉及個人隱私,大部分儲存與少數(shù)商家手中,但是從亞馬遜的個性化商品推薦服務(wù),到金融理財產(chǎn)品的定制化設(shè)計,基于個人數(shù)據(jù)的商用從未停歇。
在萬物互聯(lián)時代,越來越多的物理硬件,將會由傳感器收集、采集數(shù)據(jù),并通過物聯(lián)網(wǎng)絡(luò)傳輸回平臺側(cè)。連接點(diǎn)數(shù)將會千倍萬倍于目前的以人為主要連接點(diǎn)的網(wǎng)絡(luò),而產(chǎn)生的數(shù)據(jù),也變得更加實(shí)時,更加完備,更加龐大。
在萬物互聯(lián)時代,大數(shù)據(jù)的幾個重要特征,將會被成倍放大,并最終形成特殊的應(yīng)用場景及商業(yè)模式。本文就將針對這部分內(nèi)容進(jìn)行探討。
二、物聯(lián)網(wǎng)大數(shù)據(jù)三個被放大的特征
1.數(shù)據(jù)的體量將會成倍增加
正如移動互聯(lián)網(wǎng)時代,核心網(wǎng)絡(luò)節(jié)點(diǎn)從PC轉(zhuǎn)換為人一樣,在萬物互聯(lián)時代,無數(shù)的物理硬件將成為核心網(wǎng)絡(luò)節(jié)點(diǎn),數(shù)據(jù)來自無數(shù)自動化傳感器、自動記錄設(shè)施、生產(chǎn)監(jiān)測、環(huán)境監(jiān)測、交通監(jiān)測、安防監(jiān)測等;來自自動流程記錄,刷卡機(jī)、收款機(jī)、電子不停車收費(fèi)系統(tǒng),互聯(lián)網(wǎng)點(diǎn)擊、電話撥號等設(shè)施以及各種辦事流程登記等。
由于連接數(shù)的增加、不間斷的數(shù)據(jù)收集、存儲、回傳,以及更高清的圖片和視頻應(yīng)用,都會讓數(shù)據(jù)的體量有驚人的爆發(fā)。
比如Google街景服務(wù),每輛車每天產(chǎn)生的數(shù)據(jù)將達(dá)到1TB,加入分三個拷貝,一年就是1PB,而目前最大容量的存儲硬盤不過是10TB。
在萬物互聯(lián)的場景下,每天都會有大量的終端在進(jìn)行類似Google街景這樣的數(shù)據(jù)回傳,而大數(shù)據(jù)的理念,要求數(shù)據(jù)盡可能的龐大且非刻意收集。
伴隨著物聯(lián)網(wǎng)技術(shù)的成熟,產(chǎn)業(yè)的爆發(fā),各種隨身設(shè)備、物聯(lián)網(wǎng)和云計算、云存儲等技術(shù)的發(fā)展,萬物將都被聯(lián)網(wǎng),物的所有軌跡都可以被記錄,一切皆被數(shù)字化,因此產(chǎn)生的數(shù)據(jù),可以想象,比之今天,會有多大量級的增加。
數(shù)據(jù)的存儲,數(shù)據(jù)的計算與挖掘技術(shù),都將成為萬物互聯(lián)場景下,大數(shù)據(jù)應(yīng)用的核心能力。
2.數(shù)據(jù)的及時性特征將會被放大
在互聯(lián)網(wǎng)甚至是移動互聯(lián)網(wǎng)時代,數(shù)據(jù)的及時性并沒有那么重要,大量的統(tǒng)計結(jié)果是基于過往數(shù)據(jù)的挖掘而產(chǎn)生的,這些不及時的數(shù)據(jù)意義也是非常巨大的。
Google利用不同地區(qū)人們的搜索習(xí)慣,成功預(yù)測了流行疾病的爆發(fā),F(xiàn)acebook利用了網(wǎng)民在無壓力情況下瀏覽網(wǎng)頁、評論、點(diǎn)贊、社交言論的情況,成功預(yù)測了美國各州總統(tǒng)大選的結(jié)果。都屬于利用過往大數(shù)據(jù)的成功應(yīng)用案例。
但是在萬物互聯(lián)場景下,由于物聯(lián)網(wǎng)可以實(shí)現(xiàn)微量數(shù)據(jù)的不間斷回傳,人們對于數(shù)據(jù)的及時性需求將越來越旺盛,無等待服務(wù)將被更多的行業(yè)提供,從而產(chǎn)生更多的應(yīng)用場景。
比如在智慧交通上,百度、高德等地圖廠商,已經(jīng)可以通過智能手機(jī)的數(shù)據(jù)回傳,動態(tài)監(jiān)控整個城市的交通情況,從而為用戶提供實(shí)時的路況信息。
目前這種路況信息已經(jīng)取代了傳統(tǒng)的交通廣播模式,能夠?qū)崿F(xiàn)個性化的關(guān)注出行路線的路況,并根據(jù)交通情況,自動設(shè)計、自動更改。
目前,在物聯(lián)網(wǎng)應(yīng)用領(lǐng)域,缺乏一個類似Iphone之于移動互聯(lián)網(wǎng)一般里程碑似得產(chǎn)品。而大多數(shù)人都將此寄希望于無人駕駛,因為人類如果能將汽車,這樣一個工業(yè)時代最終要的個人產(chǎn)品進(jìn)行智能化、數(shù)字化,那么將極大的帶動其他產(chǎn)業(yè)物聯(lián)網(wǎng)化的發(fā)展。
而無人駕駛的前提,除了提前將整個街區(qū)數(shù)字化以外,不間斷的數(shù)據(jù)回傳也非常重要。在物聯(lián)網(wǎng)環(huán)境下,隨著車與更多物品連接起來,將會形成更大范圍的網(wǎng)絡(luò)效應(yīng),交通這個生態(tài)也將進(jìn)一步豐富起來。
3.數(shù)據(jù)的完備性將得到極大程度的豐富
在大數(shù)據(jù)時代,數(shù)據(jù)格式變得越來越多樣,涵蓋了文本、音頻、圖片、視頻、模擬信號等不同的類型;數(shù)據(jù)來源也越來越多樣,不僅產(chǎn)生于組織內(nèi)部運(yùn)作的各個環(huán)節(jié),也來自于組織外部。
例如,在交通領(lǐng)域,北京市交通智能化分析平臺數(shù)據(jù)來自路網(wǎng)攝像頭/傳感器、公交、軌道交通、出租車以及省際客運(yùn)、旅游、化危運(yùn)輸、停車、租車等運(yùn)輸行業(yè),還有問卷調(diào)查和地理信息系統(tǒng)數(shù)據(jù)。
4萬輛浮動車每天產(chǎn)生2000萬條記錄,交通卡刷卡記錄每天1900萬條,手機(jī)定位數(shù)據(jù)每天1800萬條,出租車運(yùn)營數(shù)據(jù)每天100萬條,電子停車收費(fèi)系統(tǒng)數(shù)據(jù)每天50萬條,定期調(diào)查覆蓋8萬戶家庭等等,這些數(shù)據(jù)在體量和速度上都達(dá)到了大數(shù)據(jù)的規(guī)模。
數(shù)據(jù)的完備性,尤其是跨界數(shù)據(jù)的交叉運(yùn)用,將會產(chǎn)生意想不到的應(yīng)用場景。
亞馬遜正是此中高手,更加完備的數(shù)據(jù),讓亞馬遜在個性化推薦的時候,并不用如沃爾瑪一樣思考為什么買啤酒的用戶會買尿不濕,他們只是通過統(tǒng)計學(xué)發(fā)現(xiàn)數(shù)以百計的類似關(guān)聯(lián)現(xiàn)象,配合更多諸如年齡、消費(fèi)習(xí)慣、性別等標(biāo)簽數(shù)據(jù),將結(jié)論直接用于精細(xì)化營銷。
物聯(lián)網(wǎng)大數(shù)據(jù)的故事還有很長很長,數(shù)據(jù)的爆發(fā)只是一個開始,我們?nèi)绾问占A康臄?shù)據(jù),如何儲存,如何設(shè)定算法,如何運(yùn)用機(jī)器智能實(shí)現(xiàn)自動運(yùn)算,如何將運(yùn)算的結(jié)果用于預(yù)測未來或者更多的商業(yè)場景,最后如何確保我們的數(shù)據(jù)安全。
這里的每一個步驟,都是一個細(xì)分領(lǐng)域,我們在大數(shù)據(jù)應(yīng)用的路上,也才剛剛起步。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03