
大數(shù)據(jù)、云技術(shù)在公安實(shí)戰(zhàn)系統(tǒng)中的應(yīng)用趨勢
目前,業(yè)內(nèi)人士對大數(shù)據(jù)、云技術(shù)恐怕是耳熟能詳,但究竟什么是大數(shù)據(jù)、云技術(shù)?對于公安實(shí)戰(zhàn)系統(tǒng)來說,大數(shù)據(jù)、云技術(shù)又能帶來哪些便利?是概念的炒作還是真的能融入到公安業(yè)務(wù)中,并內(nèi)化為公安實(shí)戰(zhàn)系統(tǒng)的技術(shù)和工具?本文中,我們一起探討大數(shù)據(jù)、云技術(shù)在公安實(shí)戰(zhàn)系統(tǒng)中的應(yīng)用趨勢。
一、常規(guī)數(shù)據(jù)庫無法滿足公安實(shí)戰(zhàn)業(yè)務(wù)需求
近年來,平安城市建設(shè)飛速發(fā)展,各個街道、十字路口隨處可見各種攝像機(jī)設(shè)備。它們?yōu)楣驳娜粘V伟埠蛡刹檗k案提供了很大的方便。但隨著設(shè)備數(shù)量的增加,視頻分辨率的提高,公安搜集到的視頻和圖片的數(shù)據(jù)量呈幾何倍增長。再加上視頻分辨率的不斷提高對服務(wù)器處理能力和使用率提出了更高的要求。這樣,視頻圖像的調(diào)閱、存儲、計算在技術(shù)上都面臨巨大挑戰(zhàn)。因此,公安干警如何能快速在日益增長的海量數(shù)據(jù)中獲得有價值的信息就成為了亟待解決的問題。
以卡口數(shù)據(jù)為例,目前普通的二線城市每天的車輛通行記錄就有1000萬以上,存儲半年就有18億條數(shù)據(jù),而存儲一年的數(shù)據(jù)量就有36億。而一線城市的數(shù)據(jù)還要比這個高很多。這些卡口數(shù)據(jù)包括了車牌號、車身顏色、車型等一系列結(jié)構(gòu)化信息以及卡口圖片。公安用戶在對嫌疑車輛排查時,想在動輒幾十億條的數(shù)據(jù)中進(jìn)行檢索,常規(guī)的數(shù)據(jù)庫是無法滿足用戶實(shí)戰(zhàn)需求的。想象一下,如果公安干警查詢一個嫌疑車牌號就需要幾十秒甚至更長的時間,如何能實(shí)現(xiàn)快速定位和抓捕?
二、大數(shù)據(jù)技術(shù)使得海量數(shù)據(jù)的快速檢索和數(shù)據(jù)挖掘成為可能
大數(shù)據(jù)是指無法在可承受的時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合(維基百科)?,F(xiàn)在公安業(yè)務(wù)中海量的視頻和圖片也在逐漸變?yōu)槌R?guī)軟件工具難以處理的數(shù)據(jù)集合了。大數(shù)據(jù)技術(shù)目前在公安行業(yè)中的應(yīng)用還主要在卡口數(shù)據(jù)中。這是因為各個城市的卡口建設(shè)已非常成熟,而卡口每天產(chǎn)生的數(shù)據(jù)量龐大。
如前文所述,要想處理海量的卡口數(shù)據(jù),并進(jìn)行各個維度的檢索,就需要大數(shù)據(jù)技術(shù)的支持。另外,由于車輛特征識別技術(shù)已非常成熟,卡口的結(jié)構(gòu)化數(shù)據(jù)準(zhǔn)確度非常高,這些數(shù)據(jù)已經(jīng)具備給公安提供可靠數(shù)據(jù)參考的基礎(chǔ)。基于以上條件,卡口系統(tǒng)最先引進(jìn)了大數(shù)據(jù)技術(shù)。
大數(shù)據(jù)技術(shù)可以為公安業(yè)務(wù)帶來的第一個便利是檢索。它可以在幾十億甚至上百億的卡口數(shù)據(jù)中實(shí)現(xiàn)秒級的檢索速度,還可以提供車型、車輛類型、車輛顏色、車牌顏色、精確車牌和模糊車牌等多個維度的檢索,可以真正的滿足公安用戶的實(shí)戰(zhàn)需求。
第二個便利是大數(shù)據(jù)技術(shù)可以在海量的卡口數(shù)據(jù)中進(jìn)行數(shù)據(jù)挖掘,提取出對公安用戶真正有價值的信息。例如軌跡分析、跟車分析、碰撞分析、晝伏夜出等。大數(shù)據(jù)技術(shù)可以實(shí)現(xiàn)以前技術(shù)無法實(shí)現(xiàn)的快速檢索和大數(shù)據(jù)挖掘,真正實(shí)現(xiàn)了公安對卡口大數(shù)據(jù)的有效利用。
除了在卡口系統(tǒng)中的應(yīng)用,視圖庫對大數(shù)據(jù)也有很大的需求。首先,隨著攝像機(jī)的不斷增多,平臺存儲的視頻越來越多,能夠快速處理大量視頻文件的需求也越來越大。其次,與卡口一樣,大量視頻中的結(jié)構(gòu)化信息會形成海量的數(shù)據(jù),在海量的視頻數(shù)據(jù)中進(jìn)行檢索和數(shù)據(jù)挖掘也是公安的一個巨大需求。但目前對海量視頻的大數(shù)據(jù)處理技術(shù)并不成熟,而且各級公安所建的視圖庫很多還沒有被充分的利用起來或各部門的視圖庫并沒有統(tǒng)一。這些都暫時限制了視圖庫大數(shù)據(jù)的快速發(fā)展。
但隨著技術(shù)的發(fā)展和公安對視圖庫的標(biāo)準(zhǔn)化,視圖庫大數(shù)據(jù)應(yīng)用必然是日后大數(shù)據(jù)技術(shù)在公安業(yè)務(wù)中應(yīng)用的趨勢。在視頻處理方面,隨著視頻數(shù)量的不斷增多、分辨率的提高,對視頻處理的速度提出了更高的要求。而大數(shù)據(jù)技術(shù)產(chǎn)生于互聯(lián)網(wǎng)領(lǐng)域,但在處理視頻文件方面并不是最適合的。
以Hadoop為例,MapReduce是一個產(chǎn)生于互聯(lián)網(wǎng)的編程模型,將任務(wù)切分也可以移植到對視頻文件的處理上。將視頻文件切分為多個視頻片段分配給各個計算節(jié)點(diǎn)處理,從而大大的縮減視頻處理的時間,提高公安工作效率。因此,將大數(shù)據(jù)技術(shù)轉(zhuǎn)變?yōu)檫m合處理視頻文件的技術(shù)是未來技術(shù)發(fā)展的趨勢。
三、云技術(shù)能夠提高資源使用率和數(shù)據(jù)安全性
傳統(tǒng)的平臺部署方式是純粹的物理機(jī),并且每個機(jī)器上部署不同的軟件來實(shí)現(xiàn)不同的功能。很多時候都會出現(xiàn)某個功能平時需求不大時它所占用的硬件資源會有剩余,但在業(yè)務(wù)需求很大的某些時段,硬件資源又會經(jīng)常不夠用。這是因為傳統(tǒng)的硬件資源會死板的劃分為各個孤島,資源之間沒有任務(wù)聯(lián)系,更沒有能夠動態(tài)調(diào)配資源的能力。這樣的資源低使用率和資源的僵化死板已經(jīng)越來越成為限制公安實(shí)戰(zhàn)業(yè)務(wù)的瓶頸之一。
云技術(shù)是最近幾年互聯(lián)網(wǎng)行業(yè)廣泛應(yīng)用的技術(shù),它包括云計算技術(shù)和云儲存技術(shù)兩部分。云計算是一種按使用量付費(fèi)的模式,這種模式提供可用的、便捷的、按需的網(wǎng)絡(luò)訪問,進(jìn)入可配置的計算資源共享池,這些資源能夠被快速提供,只需投入很少的管理工作或與服務(wù)供應(yīng)商進(jìn)行很少的交互。
這是NIET(美國國家標(biāo)準(zhǔn)與技術(shù)研究院)給出的云計算的定義,主要是突出云計算可提高資源的使用率和便捷快速的特點(diǎn)。云計算技術(shù)現(xiàn)在已經(jīng)在各級公安的平臺中獲得了一定的使用。云計算可實(shí)現(xiàn)物理資源虛擬化,可將所有的硬件資源虛擬為一個資源池,所有的硬件資源都可以按需分配。當(dāng)需要資源時,用戶可按照需求創(chuàng)建符合性能要求的虛擬機(jī)。例如,當(dāng)用戶對布防布控需求高時,可創(chuàng)建出多臺虛擬機(jī)支撐。當(dāng)布防布控的需求變少時,多出的虛擬機(jī)可回歸資源池支持別的功能。實(shí)現(xiàn)整個資源池的資源動態(tài)分配,大大提高了系統(tǒng)的資源使用率。
在公安行業(yè),隨著攝像機(jī)數(shù)量的增長和分辨率的提高,對視頻的存儲空間需求也在增長。而視頻的快存快取、數(shù)據(jù)的安全性、存儲池的動態(tài)擴(kuò)展對存儲系統(tǒng)提出了新的需求。云存儲是在云計算概念上延伸和發(fā)展出來的一個新的概念,是一種新興的網(wǎng)絡(luò)存儲技術(shù),是指通過集群應(yīng)用、網(wǎng)絡(luò)技術(shù)或分布式文件系統(tǒng)等功能,將網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作,共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的一個系統(tǒng)。
云存儲采用數(shù)據(jù)切片存儲和并行讀寫的特點(diǎn)滿足了視頻快存快取的需求。云存儲的跨節(jié)點(diǎn)冗余備份機(jī)制可以進(jìn)一步提高系統(tǒng)數(shù)據(jù)的安全性。最后,云存儲橫向動態(tài)擴(kuò)展的特性保證了系統(tǒng)在不改變的情況下,可以任意添加存儲資源到資源池中,極大的提高了系統(tǒng)的可擴(kuò)展性。
云計算和云存儲擁有著諸多的優(yōu)點(diǎn),雖然目前在公安的平臺中使用率還不高,但隨著技術(shù)的進(jìn)一步成熟,必將成為公安實(shí)戰(zhàn)系統(tǒng)的未來發(fā)展趨勢。
四、結(jié)語
大數(shù)據(jù)和云技術(shù)起源于互聯(lián)網(wǎng),它們天生擁有著眾多的優(yōu)點(diǎn),而這些優(yōu)點(diǎn)又恰恰能為公安的實(shí)戰(zhàn)應(yīng)用提供多方面的便利和好處。相信隨著技術(shù)不斷的從互聯(lián)網(wǎng)向公安行業(yè)的定制化移植,大數(shù)據(jù)、云技術(shù)必將成為公安實(shí)戰(zhàn)系統(tǒng)的技術(shù)發(fā)展趨勢。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計學(xué)領(lǐng)域,假設(shè)檢驗是驗證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點(diǎn)數(shù)據(jù)的科學(xué)計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點(diǎn)數(shù)據(jù)時的科學(xué)計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價值 在數(shù)據(jù)驅(qū)動決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實(shí)踐到業(yè)務(wù)價值挖掘 在數(shù)據(jù)分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價值導(dǎo)向 統(tǒng)計模型作為數(shù)據(jù)分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10