
安防行業(yè):未深入發(fā)掘的大數(shù)據(jù)寶庫_數(shù)據(jù)分析師
記得幾年前看過一部電影,威爾史密斯主演的《國家公敵》,影片中美國的各個角落充斥著攝像機,CIA可以隨時調(diào)用這些攝像機進行追蹤,無數(shù)的攝像機形成了一張超級大網(wǎng)……當(dāng)時覺得有點科幻也有點背寒。
不過短短幾年,這已經(jīng)成為了現(xiàn)實,成百萬的攝像頭已經(jīng)聯(lián)網(wǎng),給我們的人財安全、交通出行帶來了非常多便利,但這僅僅是開始,實際上,現(xiàn)在的技術(shù)已經(jīng)能夠很輕松地進行智能識別、人流計數(shù)甚至行為識別等,這龐大的視頻數(shù)據(jù)分析比傳統(tǒng)互聯(lián)網(wǎng)數(shù)據(jù)更接近于真實的世界,這個潘多拉盒子的里面,究竟會帶來什么?
視頻監(jiān)控將是世界上最大的數(shù)據(jù)生成器
2012年這個世界上增加了2.8ZB的數(shù)據(jù),相當(dāng)于30億TB。如果視頻數(shù)據(jù)也存儲下來,這個數(shù)據(jù)就要翻倍了。
以國內(nèi)某省為例,公共視頻監(jiān)控已經(jīng)超過100多萬個攝像頭,總保有量近400萬,以此估計,全國攝像頭數(shù)量不少于4000萬,某投行的報告稱行業(yè)每年還在以20%加速增長,行業(yè)龍頭??低?2年的年報披露的銷售量就達570萬套(含前后端),增長37%。而另一個數(shù)據(jù)也很驚人,英國的攝像頭數(shù)量與人口數(shù)量之比已經(jīng)達到1:15。粗略計世界至少有1億個攝像頭在角落靜靜的看著。
如果這些數(shù)據(jù)存儲下來,將是超級大數(shù)據(jù)。假設(shè)所有攝像頭換為1080P,每天的數(shù)據(jù)量是64G,每年的數(shù)據(jù)量是23T,全世界每年將產(chǎn)生23億T的視頻數(shù)據(jù)。
這是個可怕的數(shù)字。不知是有幸還是不幸,絕大部分視頻監(jiān)控數(shù)據(jù)存儲不會超過一天,因為從目前看來,與存儲的價格相比,這些數(shù)據(jù)不值錢。
正在形成的超級視頻監(jiān)控云
視頻監(jiān)控已經(jīng)不再是以前那樣,幾個攝像頭連到大樓保安室,只有進入這個神秘的房間才能一窺究竟。實際上,監(jiān)控攝像頭已經(jīng)成為了智能終端,有網(wǎng)口、能控制甚至可接雙向音頻,攝像頭的互聯(lián)已經(jīng)成為趨勢。
例如公共視頻,已經(jīng)從一個城市內(nèi)的互聯(lián),發(fā)展到一個省的互聯(lián),逐步到一個國家的互聯(lián),無論是新的網(wǎng)絡(luò)攝像頭,還是舊模擬攝像頭+DVS/DVR,都開始加速接入一個龐大的云平臺,從單純的視頻流媒體數(shù)據(jù)到云臺操作,每一個終端都成為了一個可被遠程控制的智能化終端。而另一端,這些數(shù)據(jù)又被包裝成各種公共應(yīng)用向公眾開放,看看媒體里充斥著多少手機可實時查看城市道路交通視頻的新聞。
除了公共視頻,無數(shù)私有視頻也在形成私有云,分支龐大的連鎖超市、連鎖酒店、物流公司、金融機構(gòu)甚至工業(yè)生產(chǎn)線,無數(shù)端點的數(shù)據(jù)正在向云匯集。而不少國家也要求私有視頻數(shù)據(jù)也要定向開放,可被調(diào)用和操作。
這正是與互聯(lián)網(wǎng)不同的物聯(lián)云網(wǎng)絡(luò),從感知到互聯(lián)到應(yīng)用,只不過這個感知是用無數(shù)的“眼睛”看世界。
歡迎進入“楚門的世界”。
視頻大數(shù)據(jù)的價值還未發(fā)掘
一般看來,視頻的冗余數(shù)據(jù)太多,只有發(fā)生了突發(fā)事件才會回看記錄,所以大部分視頻數(shù)據(jù)的存儲很短,超過一周的少之又少。而另一方面,由于數(shù)據(jù)讀寫要求高,云端存儲極為昂貴(幾千元1TB),所以絕大部分?jǐn)?shù)據(jù)都是存在前端。
視頻智能分析的初衷就是要解決冗余數(shù)據(jù)的問題,把人從枯燥的監(jiān)控中解放出來,幫助人更好的眼觀六路。所謂智能的核心就是目標(biāo)識別和行為分析,按照應(yīng)用的要求設(shè)定規(guī)則,當(dāng)視頻中的信息符合規(guī)則時才進行告警和記錄,常見的應(yīng)用包括入侵檢測、周界告警、車輛識別、交通違法監(jiān)控等。
目前行業(yè)主流的智能分析廠商,如國外的ObjectVideo、ioimage、Emza,國內(nèi)的卓揚科技、文安科技、智安邦科技等,基本都是圍繞 “監(jiān)控”二字,屬于視頻數(shù)據(jù)的初級加工,一般只是對單個攝像頭的視頻信息進行實時處理,按一定規(guī)則產(chǎn)生事件數(shù)據(jù)(如告警事件、車輛計數(shù)),跨空間和時間范圍的二次加工分析還比較少,因此,視頻監(jiān)控領(lǐng)域并未真正的形成互聯(lián)網(wǎng)意義上的大數(shù)據(jù)。
不過視頻監(jiān)控數(shù)據(jù)必定能成為下一個大數(shù)據(jù)的寶庫。一方面,它具備了典型的大數(shù)據(jù)4V特征,數(shù)據(jù)量巨大、多樣化、表面上無序、但暗含著無數(shù)人和物的行為。另一方面,它是真實世界的寫照,這與互聯(lián)網(wǎng)獲得的大數(shù)據(jù)有很大不同,真實世界蘊含了無數(shù)難以用格式化文字表達的信息,比如人通過視覺可以快速形成判斷,一個地方是繁榮還是衰退,氣氛是緊張還是歡快。
當(dāng)然,前提是,存儲成本能降下來,數(shù)據(jù)處理能力能升上去。
潛力巨大的應(yīng)用
比如對于一個商場,除了對安防的需求之外,對視頻數(shù)據(jù)的二次挖掘,可以搜集顧客的性別、年齡、穿著信息,可以統(tǒng)計顧客的購物路徑、停留模式、聚集熱點,甚至可以二次或者多次回頭率、到店周期等。這類似于網(wǎng)站訪問分析,能為商場的優(yōu)化提供基礎(chǔ)數(shù)據(jù)。如果是連鎖型企業(yè),還能結(jié)合多店的數(shù)據(jù),獲得區(qū)域性甚至全國性的數(shù)據(jù)。
同樣放大到一個城市,每個街道的人流數(shù)據(jù)、車流數(shù)據(jù)都在其中,這些數(shù)據(jù)整體匯集起來,就是一個城市的人車分布圖,靜態(tài)的如不同區(qū)域人的特征、車的特征,動態(tài)的如人車的路徑、停留模式,這對城市的規(guī)劃和管理都極有價值。
如果再結(jié)合到時間線,從無數(shù)攝像頭收集到的信息,還可以看出一個國家、一個區(qū)域、一個城市的變化,如同《大數(shù)據(jù)》里所言,甚至可以預(yù)測趨勢,比如是否更多的店鋪在新裝修開張還是更多的歇業(yè),是更多的飯店還是更多的服裝店等,這些變化匯集起來我們可以看到人口的變化、經(jīng)濟的趨勢、潮流的趨勢、自然環(huán)境的變化甚至人的快樂和緊張程度。
這不是天方夜譚,現(xiàn)在的技術(shù)已經(jīng)完全做到。一方面高清攝像機的普及,視頻信息質(zhì)量更加優(yōu)良;另一方面,智能分析的水平已經(jīng)相當(dāng)?shù)母?,對物品的識別和分離、對人臉的識別、對顏色文字?jǐn)?shù)字的識別、對物體變化的分析甚至還有暴力行為的監(jiān)測。
但要實現(xiàn)這種意義上的數(shù)據(jù)挖掘,需要進行大量元數(shù)據(jù)的記錄,甚至是與監(jiān)控目的無關(guān)的元數(shù)據(jù),要***度的進行分析,需要海量的數(shù)據(jù)匯集存儲和超大規(guī)模的數(shù)據(jù)處理,最后還需要基于位置和時間的進行關(guān)聯(lián)性分析整合,這巨大的資源和成本耗費是打開大數(shù)據(jù)之門的障礙。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
訓(xùn)練與驗證損失驟升:機器學(xué)習(xí)訓(xùn)練中的異常診斷與解決方案 在機器學(xué)習(xí)模型訓(xùn)練過程中,“損失曲線” 是反映模型學(xué)習(xí)狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對數(shù)據(jù)的需求已從 “存儲” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計基本概念成為業(yè)務(wù)決策的底層邏輯 統(tǒng)計基本概念是商業(yè)數(shù)據(jù)分析的 “基礎(chǔ)語言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計學(xué)領(lǐng)域,假設(shè)檢驗是驗證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學(xué)計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學(xué)計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11