
大數(shù)據(jù)安防應(yīng)用中的三種關(guān)鍵技術(shù)及五大挑戰(zhàn)
在安防行業(yè),隨著前端設(shè)備分辨率的不斷提高、安防系統(tǒng)建設(shè)規(guī)模的不斷擴(kuò)大以及視頻、圖片數(shù)據(jù)存儲的時(shí)間越來越長,安防大數(shù)據(jù)問題日益凸顯。如何有效對數(shù)據(jù)進(jìn)行存儲、共享以及應(yīng)用變得愈加重要。要應(yīng)用安防大數(shù)據(jù),首先要了解安防大數(shù)據(jù)有何特點(diǎn)。
安防大數(shù)據(jù)涉及的類型比較多,主要包含結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)信息。其中結(jié)構(gòu)化數(shù)據(jù)主要包括報(bào)警記錄、系統(tǒng)日志、運(yùn)維數(shù)據(jù)、摘要分析結(jié)構(gòu)化描述記錄以及各種相關(guān)的信息數(shù)據(jù)庫,如人口庫、六合一系統(tǒng)信息等;半結(jié)構(gòu)化數(shù)據(jù)如人臉建模數(shù)據(jù)、指紋記錄等;而非結(jié)構(gòu)化數(shù)據(jù)主要包括視頻錄像和圖片記錄,如監(jiān)控、報(bào)警、視頻摘要等錄像信息和卡口、人臉等圖片信息。區(qū)別于其他行業(yè)大數(shù)據(jù)特點(diǎn),安防大數(shù)據(jù)以非結(jié)構(gòu)化的視頻和圖片為主,如何對非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行分析、提取、挖掘及處理,對安防行業(yè)提出了更多挑戰(zhàn)。
對于安防視頻圖像數(shù)據(jù),傳統(tǒng)的處理方式主要靠事后人工查閱來完成,效率極低。面對海量的安防數(shù)據(jù),如果繼續(xù)采用傳統(tǒng)方式,不僅效率低下,而且不能達(dá)到實(shí)戰(zhàn)應(yīng)用目的,偏離了安防系統(tǒng)建設(shè)目的。為充分利用安防系統(tǒng)價(jià)值,提升對安防大數(shù)據(jù)的應(yīng)用能力,大華股份從多層次、全方位考慮產(chǎn)品和方案規(guī)劃,不斷提升對于安防有效信息的快速挖掘能力。
要提升安防大數(shù)據(jù)的處理效率,首先要從智能分析做起,快速過濾無效信息。大華智能分析從多維度、多產(chǎn)品形態(tài)來實(shí)現(xiàn)。如對于事件檢測、行為分析、異常情況報(bào)警等,大華前端、存儲以及平臺系統(tǒng)產(chǎn)品都能夠快速實(shí)現(xiàn)智能檢測,并通知系統(tǒng)對事件進(jìn)行快速響應(yīng),這些產(chǎn)品從某種層面上將安防有效數(shù)據(jù)的分析分散化,大大加快了整個(gè)系統(tǒng)的大數(shù)據(jù)處理應(yīng)用速度。此外,大華還推出了基于云存儲系統(tǒng)的大數(shù)據(jù)應(yīng)用系統(tǒng),如視頻編解碼系統(tǒng)、車輛研判系統(tǒng)、以圖搜圖系統(tǒng)、視頻濃縮摘要系統(tǒng)、人臉識別系統(tǒng)以及車型識別系統(tǒng)等等。
大數(shù)據(jù)安防應(yīng)用的幾種關(guān)鍵技術(shù)
1)大數(shù)據(jù)融合技術(shù)
經(jīng)過十幾年的發(fā)展,國內(nèi)安防系統(tǒng)建設(shè)基本形成了是以平安城市、智能交通系統(tǒng)為主體,其他行業(yè)系統(tǒng)有效完善的發(fā)展態(tài)勢。而“重建設(shè)、輕應(yīng)用”的現(xiàn)況給安防應(yīng)用提出了更高要求,如何解決這些問題成為當(dāng)務(wù)之急。
為實(shí)現(xiàn)數(shù)據(jù)融合、數(shù)據(jù)共享,首先要解決存儲“分散”問題,大華云存儲系統(tǒng)不僅能夠?qū)崿F(xiàn)數(shù)據(jù)的有效融合與共享,解決系統(tǒng)在硬件設(shè)備故障條件下視頻數(shù)據(jù)的正常存儲和數(shù)據(jù)恢復(fù)問題,為安防大數(shù)據(jù)應(yīng)用分析提供可靠基礎(chǔ)。
2)大數(shù)據(jù)處理技術(shù)
安防大數(shù)據(jù)以半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)居多,要實(shí)現(xiàn)對安防大數(shù)據(jù)的分析和信息挖掘,首先要解決數(shù)據(jù)結(jié)構(gòu)化問題。所謂的數(shù)據(jù)結(jié)構(gòu)化就是通過某種方式將半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)。大華通過采用先進(jìn)的云計(jì)算系統(tǒng)對安防非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理,為大數(shù)據(jù)的進(jìn)一步分析和應(yīng)用提供進(jìn)一步支持。
3)大數(shù)據(jù)分析和挖掘技術(shù)
國內(nèi)平安城市歷經(jīng)十幾年的建設(shè),在解決了穩(wěn)定性、規(guī)?;?,當(dāng)下面臨的問題是如何深化應(yīng)用的問題,即如何實(shí)現(xiàn)公安部的要求,建為用、用為戰(zhàn)的目標(biāo),實(shí)現(xiàn)對安防系統(tǒng)的深層次應(yīng)用。
對安防大數(shù)據(jù)而言,要實(shí)現(xiàn)業(yè)務(wù)的深層次應(yīng)用,首先需要對安防數(shù)據(jù)進(jìn)行分析和挖掘,以云存儲和云計(jì)算系統(tǒng)為基礎(chǔ),通過云計(jì)算系統(tǒng)實(shí)現(xiàn)對“大數(shù)據(jù)”的快速分析,如基于云的車牌識別,可通過對海量視頻的分析,快速提取海量車牌信息,并通過應(yīng)用系統(tǒng)對相關(guān)數(shù)據(jù)進(jìn)行深一步挖掘、關(guān)聯(lián),形成有效“檔案”。最后利用這些分析和挖掘的數(shù)據(jù)實(shí)現(xiàn)對事件的預(yù)測預(yù)防、報(bào)警,最終實(shí)現(xiàn)安防系統(tǒng)建設(shè)的實(shí)戰(zhàn)應(yīng)用目的。
大數(shù)據(jù)成熟行業(yè)應(yīng)用
安防視頻監(jiān)控行業(yè)是伴隨著平安城市、智能交通而發(fā)展起來了,新一輪的智慧城市建設(shè)也為安防行業(yè)的再次發(fā)展注入了“興奮劑”。隨著各地安防系統(tǒng)建設(shè)規(guī)模不斷增大,安防數(shù)據(jù)迅速膨脹。由于缺乏適當(dāng)?shù)氖侄稳ダ眠@些海量數(shù)據(jù),導(dǎo)致了“重建設(shè)、輕應(yīng)用”現(xiàn)象,下面就安防大數(shù)據(jù)在公安和交通行業(yè)的應(yīng)用進(jìn)行簡單介紹。
1)公安執(zhí)法
在公安行業(yè),大數(shù)據(jù)應(yīng)用無處不存,下面簡單介紹一下大數(shù)據(jù)應(yīng)用在公安行業(yè)幾個(gè)業(yè)務(wù)體現(xiàn)。
第一是稽查布控業(yè)務(wù)。當(dāng)案件發(fā)生后,需要對嫌疑車輛進(jìn)行稽查布控,一般采用布控車牌號,通過系統(tǒng)比對卡口車輛信息進(jìn)行識別,但這種方式存在問題。當(dāng)布控車輛從某個(gè)卡口經(jīng)過時(shí),攔截人員通常不在現(xiàn)場,等到攔截人員趕到現(xiàn)場時(shí),嫌疑車輛早已逃之夭夭,從而失去布控的意義。對于這種情況,可實(shí)現(xiàn)移動警務(wù)、GIS系統(tǒng)有效關(guān)聯(lián),通過在GIS系統(tǒng)中繪制嫌疑車輛逃跑路線和防控識別圈,可大大提高攔截效率;
第二是車輛落腳點(diǎn)分析業(yè)務(wù)。隨著城市的快速發(fā)展,城市越來越大,路網(wǎng)也越來越復(fù)雜,為迅速逃脫公安機(jī)關(guān)的抓捕,很多犯罪分子避開城區(qū)主干道(一般來說,城區(qū)主干道都裝有電子卡口),逃竄到人員比較多的小區(qū)或偏僻區(qū)域。大華股份通過建設(shè)云卡口,通過視頻實(shí)現(xiàn)卡口相機(jī)功能,對海量數(shù)據(jù)進(jìn)行云卡口識別,結(jié)合GIS系統(tǒng),將嫌疑車輛軌跡描繪出來,大大提高公安辦案效率。
第三是伴隨車輛分析。由于公眾安全防范意識的不斷提高,犯罪分子獨(dú)立實(shí)施犯罪行為的成功率大大降低,因此,新時(shí)期的犯罪行為,開始表現(xiàn)為團(tuán)伙作案。在踩點(diǎn)和作案時(shí),犯罪團(tuán)伙通常會使用多輛汽車,以提高成功率。從卡口系統(tǒng)的角度看,團(tuán)伙作案具體表現(xiàn)為多輛車同時(shí)出沒于特定卡口覆蓋范圍,利用該特征,我們可以從海量的卡口車輛數(shù)據(jù)中,提取滿足特定條件(如車輛行進(jìn)路線、車輛通行間隔時(shí)間、跟車數(shù)量以及分析起止時(shí)間范圍等)的車輛,提高案件偵破效率。此外,在公安行業(yè)還有基于人臉識別的人臉卡口、視頻摘要等安防大數(shù)據(jù)應(yīng)用。
2)智能交通
第一是旅行時(shí)間計(jì)算。由于電子狗的大量使用,不少駕駛員在通過卡口時(shí),會主動降低速度,一旦離開卡口覆蓋范圍,又會迅速提高速度,超速行駛。傳統(tǒng)的單點(diǎn)測度無法發(fā)現(xiàn)這種超速行為,利用區(qū)間測速便可快速檢測違章行為,且可減少區(qū)域卡口數(shù)量,節(jié)省建設(shè)成本。而當(dāng)發(fā)現(xiàn)相同車牌在相距較遠(yuǎn)卡口同時(shí)出現(xiàn)時(shí),還可檢測出套牌車輛,并可通知相關(guān)人員進(jìn)行攔截追捕。
第二是交通流量分析。對于交通流量的檢測,傳統(tǒng)方式是通過地磁、微波檢測完成的,但這種檢測只能檢測車輛數(shù)量,卻無法檢測相關(guān)車牌號,這就限制了傳統(tǒng)流量分析的應(yīng)用場景,智能對單一路段進(jìn)行分析,無法形成全局的流量分析。而卡口系統(tǒng)記錄了車輛號碼、車身顏色、車型等更多詳細(xì)信息,基于卡口系統(tǒng)的流量分析,不僅可計(jì)算出城市各小區(qū)機(jī)動車數(shù)量分布,指導(dǎo)出行目的地分析、出行路線分析等應(yīng)用,而且能夠根據(jù)車輛流量信息找出城市熱點(diǎn)區(qū)域,為交管部門提供參考,更好地優(yōu)化路網(wǎng)機(jī)制,規(guī)劃更為合理的路網(wǎng)參數(shù)。
此外,還可通過智能分析系統(tǒng),對卡口數(shù)據(jù)進(jìn)行深層次分析與挖掘,不僅識別車輛車牌號,而且實(shí)現(xiàn)對車輛品牌、車輛型號、是否粘貼年檢標(biāo)識、駕駛員是否系安全帶、是否駕駛時(shí)撥打電話等一些行為狀態(tài)識別,從而進(jìn)一步規(guī)范車輛達(dá)標(biāo)和安全駕駛行為。
大數(shù)據(jù)安防面臨的挑戰(zhàn)
(1)海量非結(jié)構(gòu)化數(shù)據(jù)存儲
相較于其他行業(yè),安防非結(jié)構(gòu)化的數(shù)據(jù)存儲壓力不斷增大,一方面源于視頻、圖片等非結(jié)構(gòu)化數(shù)據(jù)本身容量,另一方面源于安防數(shù)據(jù)規(guī)模的不斷擴(kuò)大,安防大數(shù)據(jù)存儲對系統(tǒng)設(shè)備提出了更高挑戰(zhàn),如何在滿足需求的前提下,刪除重復(fù)數(shù)據(jù)、降低存儲硬件成本投資成為海量數(shù)據(jù)存儲的一個(gè)難題
(2)數(shù)據(jù)共享
大數(shù)據(jù)需要通過快速的采集、發(fā)現(xiàn)和分析,從大量化、多類別的數(shù)據(jù)中提取價(jià)值。安防大數(shù)據(jù)時(shí)代最顯著的特征就是海量和非結(jié)構(gòu)化數(shù)據(jù)共享,用以提高數(shù)據(jù)處理能力。而海量數(shù)據(jù)存儲在不同系統(tǒng)、不同區(qū)域、不同節(jié)點(diǎn)、不同設(shè)備中,這給數(shù)據(jù)的傳輸和共享帶來極大的挑戰(zhàn):
(3)數(shù)據(jù)安全
視頻監(jiān)控數(shù)據(jù)具有私密性高、保密性強(qiáng)等特點(diǎn),不僅是事后追查的依據(jù),而且更是后續(xù)數(shù)據(jù)分析挖掘的基礎(chǔ)。因此,數(shù)據(jù)安全一方面體現(xiàn)在數(shù)據(jù)不受外界入侵或非法獲取,另一方面體現(xiàn)在龐大數(shù)據(jù)系統(tǒng)的魯棒性、體系容錯(cuò)機(jī)制,確保硬件在發(fā)生故障時(shí)數(shù)據(jù)可以恢復(fù),可以繼續(xù)保存。面對海量數(shù)據(jù)的存儲、共享、硬件和軟件設(shè)備承載的極大風(fēng)險(xiǎn),如何構(gòu)建大型、海量視頻監(jiān)控存儲系統(tǒng)、數(shù)據(jù)分析系統(tǒng)以及容錯(cuò)冗余機(jī)制是安防行業(yè)面臨的重大考驗(yàn);
(4)數(shù)據(jù)利用
安防監(jiān)控雖然數(shù)據(jù)量很大,但真正有用的信息并不多。安防數(shù)據(jù)的有效性分為兩個(gè)方面,一方面有效信息可能只分布在一個(gè)較短的時(shí)間段內(nèi),根據(jù)統(tǒng)計(jì)學(xué)原理,信息呈現(xiàn)冪率分布,往往越高密度的信息對客戶價(jià)值越大;另一方面,數(shù)據(jù)的有效性體現(xiàn)在深層次挖掘龐大的海量數(shù)據(jù),關(guān)聯(lián)得出有效信息。視頻監(jiān)控業(yè)務(wù)網(wǎng)絡(luò)化、大聯(lián)網(wǎng)后,網(wǎng)內(nèi)的設(shè)備越來越多,利用網(wǎng)內(nèi)的閑置資源,實(shí)現(xiàn)資源的最大化利用,關(guān)乎運(yùn)算的效率。在視頻監(jiān)控領(lǐng)域,往往視頻分析的效率決定價(jià)值,更低的延遲、更準(zhǔn)確的分析往往是客戶的普遍需求。如何對海量的視頻數(shù)據(jù)進(jìn)行分析檢索業(yè)對行業(yè)提出更大的挑戰(zhàn)。
(5)缺乏統(tǒng)一標(biāo)準(zhǔn)
國內(nèi)安防行業(yè)經(jīng)歷十幾年的快速發(fā)展,在此發(fā)展過程中,平安城市建設(shè)表現(xiàn)卓越,在安防應(yīng)用中也一直走在前列,國內(nèi)平安城市系統(tǒng)的建設(shè)也不斷推動著國內(nèi)安防技術(shù)和安防廠商的發(fā)展。在平安城市項(xiàng)目的建設(shè)過程中,由于參與的安防廠家眾多,不同項(xiàng)目、不同系統(tǒng)甚至同一系統(tǒng)采用的設(shè)備廠商也不盡相同,為了更好的兼容各廠商產(chǎn)品,整個(gè)安防行業(yè)和政府也制定了一些標(biāo)準(zhǔn),如ONVIF協(xié)議、GB28181協(xié)議以及各個(gè)地方省市發(fā)布的一些標(biāo)準(zhǔn)。
新一輪的智慧城市正在緊鑼密鼓地進(jìn)行著,相對平安城市相對“簡單”的治安監(jiān)控,智慧城市要求數(shù)據(jù)共享,跨區(qū)域視頻聯(lián)網(wǎng)監(jiān)控、監(jiān)控資源整合與共享以及政府各部門之間的視頻監(jiān)控資源共享等等。但是不同的地方城市,不同的行業(yè)類別,不同的管理方式都會有不同的監(jiān)控系統(tǒng)方案,數(shù)據(jù)融合或者共享兼容性問題更多,對整個(gè)系統(tǒng)建設(shè)是重大考驗(yàn)。
平安城市系統(tǒng)面向的是安防行業(yè)設(shè)備與系統(tǒng)的兼容問題,隨著各種行標(biāo)、地標(biāo)的制定,各種問題基本得以解決;而智慧城市系統(tǒng)不僅僅是安防系統(tǒng)的整合,而是多個(gè)行業(yè)系統(tǒng)的集成應(yīng)用,因缺乏統(tǒng)一標(biāo)準(zhǔn)帶來的復(fù)雜性可想而知。慶幸的是國家目前已經(jīng)開始起草智慧城市建設(shè)的各種標(biāo)準(zhǔn),而相關(guān)企業(yè)也在不斷規(guī)范自身系統(tǒng)的兼容性和開放性。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-18剛?cè)肼殘龌蚴窃诼殘稣媾R崗位替代、技能更新、人機(jī)協(xié)作等焦慮的打工人,想要找到一條破解職場焦慮和升職瓶頸的系統(tǒng)化學(xué)習(xí)提升 ...
2025-07-182025被稱為“AI元年”,而AI,與數(shù)據(jù)密不可分。網(wǎng)易公司創(chuàng)始人丁磊在《AI思維:從數(shù)據(jù)中創(chuàng)造價(jià)值的煉金術(shù) ...
2025-07-18CDA 數(shù)據(jù)分析師:數(shù)據(jù)時(shí)代的價(jià)值挖掘者 在大數(shù)據(jù)席卷全球的今天,數(shù)據(jù)已成為企業(yè)核心競爭力的重要組成部分。從海量數(shù)據(jù)中提取有 ...
2025-07-18SPSS 賦值后數(shù)據(jù)不顯示?原因排查與解決指南? 在 SPSS( Statistical Package for the Social Sciences)數(shù)據(jù)分析過程中,變量 ...
2025-07-18在 DBeaver 中利用 MySQL 實(shí)現(xiàn)表數(shù)據(jù)同步操作指南? ? 在數(shù)據(jù)庫管理工作中,將一張表的數(shù)據(jù)同步到另一張表是常見需求,這有助于 ...
2025-07-18數(shù)據(jù)分析師的技能圖譜:從數(shù)據(jù)到價(jià)值的橋梁? 在數(shù)據(jù)驅(qū)動決策的時(shí)代,數(shù)據(jù)分析師如同 “數(shù)據(jù)翻譯官”,將冰冷的數(shù)字轉(zhuǎn)化為清晰的 ...
2025-07-17Pandas 寫入指定行數(shù)據(jù):數(shù)據(jù)精細(xì)化管理的核心技能? 在數(shù)據(jù)處理的日常工作中,我們常常需要面對這樣的場景:在龐大的數(shù)據(jù)集里精 ...
2025-07-17解碼 CDA:數(shù)據(jù)時(shí)代的通行證? 在數(shù)字化浪潮席卷全球的今天,當(dāng)企業(yè)決策者盯著屏幕上跳動的數(shù)據(jù)曲線尋找增長密碼,當(dāng)科研人員在 ...
2025-07-17CDA 精益業(yè)務(wù)數(shù)據(jù)分析:數(shù)據(jù)驅(qū)動業(yè)務(wù)增長的實(shí)戰(zhàn)方法論 在企業(yè)數(shù)字化轉(zhuǎn)型的浪潮中,“數(shù)據(jù)分析” 已從 “加分項(xiàng)” 成為 “必修課 ...
2025-07-16MySQL 中 ADD KEY 與 ADD INDEX 詳解:用法、差異與優(yōu)化實(shí)踐 在 MySQL 數(shù)據(jù)庫表結(jié)構(gòu)設(shè)計(jì)中,索引是提升查詢性能的核心手段。無論 ...
2025-07-16解析 MySQL Update 語句中 “query end” 狀態(tài):含義、成因與優(yōu)化指南? 在 MySQL 數(shù)據(jù)庫的日常運(yùn)維與開發(fā)中,開發(fā)者和 DBA 常會 ...
2025-07-16如何考取數(shù)據(jù)分析師證書:以 CDA 為例? ? 在數(shù)字化浪潮席卷各行各業(yè)的當(dāng)下,數(shù)據(jù)分析師已然成為企業(yè)挖掘數(shù)據(jù)價(jià)值、驅(qū)動決策的 ...
2025-07-15CDA 精益業(yè)務(wù)數(shù)據(jù)分析:驅(qū)動企業(yè)高效決策的核心引擎? 在數(shù)字經(jīng)濟(jì)時(shí)代,企業(yè)面臨著前所未有的數(shù)據(jù)洪流,如何從海量數(shù)據(jù)中提取有 ...
2025-07-15MySQL 無外鍵關(guān)聯(lián)表的 JOIN 實(shí)戰(zhàn):數(shù)據(jù)整合的靈活之道? 在 MySQL 數(shù)據(jù)庫的日常操作中,我們經(jīng)常會遇到需要整合多張表數(shù)據(jù)的場景 ...
2025-07-15Python Pandas:數(shù)據(jù)科學(xué)的瑞士軍刀? ? 在數(shù)據(jù)驅(qū)動的時(shí)代,面對海量、復(fù)雜的數(shù)據(jù),如何高效地進(jìn)行處理、分析和挖掘成為關(guān)鍵。 ...
2025-07-15用 SQL 生成逆向回滾 SQL:數(shù)據(jù)操作的 “后悔藥” 指南? 在數(shù)據(jù)庫操作中,誤刪數(shù)據(jù)、錯(cuò)改字段或誤執(zhí)行批量更新等問題時(shí)有發(fā)生。 ...
2025-07-14t檢驗(yàn)與Wilcoxon檢驗(yàn)的選擇:何時(shí)用t.test,何時(shí)用wilcox.test? t 檢驗(yàn)與 Wilcoxon 檢驗(yàn)的選擇:何時(shí)用 t.test,何時(shí)用 wilcox. ...
2025-07-14AI 浪潮下的生存與進(jìn)階: CDA數(shù)據(jù)分析師—開啟新時(shí)代職業(yè)生涯的鑰匙(深度研究報(bào)告、發(fā)展指導(dǎo)白皮書) 發(fā)布機(jī)構(gòu):CDA數(shù)據(jù)科 ...
2025-07-13LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11