
大數(shù)據(jù)在智能交通領(lǐng)域的應(yīng)用
大數(shù)據(jù)是最近最為火爆的技術(shù)概念,尤其是在貴陽(yáng)召開的大數(shù)據(jù)博覽會(huì)之后,大數(shù)據(jù)已經(jīng)成為國(guó)家和各個(gè)城市在IT基礎(chǔ)領(lǐng)域下一步的重點(diǎn)發(fā)展方向。不論政府、企業(yè)還是個(gè)人,都在關(guān)注如何采集數(shù)據(jù),以及如何從數(shù)據(jù)中挖掘出有用的信息,進(jìn)而創(chuàng)造社會(huì)價(jià)值、商業(yè)價(jià)值?;ヂ?lián)網(wǎng)是大數(shù)據(jù)最早發(fā)揮效用的行業(yè),淘寶、京東、亞馬遜等電商企業(yè)通過對(duì)海量數(shù)據(jù)的掌握和分析,為用戶提供更加專業(yè)化和個(gè)性化的服務(wù)。大數(shù)據(jù)也在重構(gòu)很多傳統(tǒng)行業(yè),通過收集、整理生活中方方面面的數(shù)據(jù),進(jìn)行分析挖掘,從中獲得有價(jià)值信息,并衍化出新的商業(yè)模式。麥當(dāng)勞、肯德基以及蘋果公司等旗艦專賣店的位置都是建立在數(shù)據(jù)分析基礎(chǔ)之上的精準(zhǔn)選址。
隨著平安城市、智慧城市、工業(yè)4.0等項(xiàng)目和技術(shù)的推進(jìn),物聯(lián)網(wǎng)大數(shù)據(jù)逐步成為大數(shù)據(jù)發(fā)展的新方向。對(duì)遍布大街小巷的攝像頭、各類傳感器和工業(yè)生產(chǎn)數(shù)據(jù)等新的大數(shù)據(jù)來源進(jìn)行分析挖掘的物聯(lián)網(wǎng)技術(shù)蓬勃發(fā)展。安防行業(yè)隨著高清化、智能化、網(wǎng)絡(luò)化、數(shù)字化的要求,數(shù)據(jù)量也迅速增加,早在幾年前就已踏入大數(shù)據(jù)的門檻。安防領(lǐng)域的“大數(shù)據(jù)”一般具有幾個(gè)特點(diǎn):首先,數(shù)據(jù)量巨大,一個(gè)地級(jí)市30天的視頻錄像數(shù)據(jù)就已經(jīng)是PB級(jí);其次,區(qū)別于傳統(tǒng)的數(shù)據(jù)結(jié)構(gòu),安防領(lǐng)域的數(shù)據(jù)結(jié)構(gòu)比較復(fù)雜,超過 80% 都是非結(jié)構(gòu)化數(shù)據(jù),比如智慧型平安城市建設(shè)中的視頻監(jiān)控數(shù)據(jù)、卡口的抓拍照片、智能分析輸出的特征數(shù)據(jù)等;再次,數(shù)據(jù)更新快,視頻監(jiān)控每秒鐘都在進(jìn)行;最后,這些更個(gè)性化的數(shù)據(jù)在存儲(chǔ)后被要求能隨機(jī)訪問,這就要求新的物聯(lián)網(wǎng)大數(shù)據(jù)系統(tǒng)更加快捷地處理數(shù)據(jù),更具智能地保存和管理數(shù)據(jù)。
一、大數(shù)據(jù)技術(shù)發(fā)展創(chuàng)新
基于大數(shù)據(jù)的智慧安防在技術(shù)方面重點(diǎn)應(yīng)關(guān)注大數(shù)據(jù)處理技術(shù)和智能分析技術(shù)。大數(shù)據(jù)處理技術(shù)主要解決數(shù)據(jù)的采集、存儲(chǔ)和分析挖掘問題,而智能分析技術(shù)是為了實(shí)現(xiàn)對(duì)視頻的分析和理解,解決視頻結(jié)構(gòu)化問題,推動(dòng)視頻數(shù)據(jù)向視頻信息的轉(zhuǎn)變。
大數(shù)據(jù)應(yīng)用主要涉及數(shù)據(jù)整合、數(shù)據(jù)存儲(chǔ)、挖掘應(yīng)用等多方面和多層次。其中,大數(shù)據(jù)技術(shù)作為大數(shù)據(jù)應(yīng)用的基礎(chǔ)設(shè)施保障至關(guān)重要。主要內(nèi)容包括:
大數(shù)據(jù)采集和管理技術(shù)
(1)可擴(kuò)展的數(shù)據(jù)描述規(guī)范
數(shù)據(jù)的快速增長(zhǎng)迫切需要一套可擴(kuò)展的數(shù)據(jù)描述規(guī)范,實(shí)現(xiàn)數(shù)據(jù)描述、數(shù)據(jù)存儲(chǔ)、共享和交換?,F(xiàn)階段,數(shù)據(jù)的形式主要有源自攝像頭采集的視頻數(shù)據(jù)和其他各類復(fù)雜結(jié)構(gòu)數(shù)據(jù)。設(shè)計(jì)面向多維數(shù)據(jù)的本體描述框架,可以較全面地描述多維語(yǔ)義內(nèi)容。
(2)多維數(shù)據(jù)集成共性技術(shù)
數(shù)據(jù)抽取、轉(zhuǎn)換和加載(ETL)是解決異構(gòu)多維數(shù)據(jù)一致性和集成化的有效方案,利用工具將數(shù)據(jù)按照統(tǒng)一的規(guī)則進(jìn)行集成,完成數(shù)據(jù)從多數(shù)據(jù)源向統(tǒng)一目標(biāo)數(shù)據(jù)庫(kù)的轉(zhuǎn)化。
大數(shù)據(jù)存儲(chǔ)技術(shù)
規(guī)模龐大的感知設(shè)備、繁多的業(yè)務(wù)系統(tǒng)每天產(chǎn)生海量的數(shù)據(jù),這些數(shù)據(jù)既有結(jié)構(gòu)化的,也有半結(jié)構(gòu)化和非結(jié)構(gòu)化的,這為數(shù)據(jù)的統(tǒng)一描述和存儲(chǔ)帶來了困難。
(1)資源描述元數(shù)據(jù)管理技術(shù)
資源描述元數(shù)據(jù)是海量異構(gòu)數(shù)據(jù)實(shí)現(xiàn)透明訪問的基礎(chǔ)。通過擴(kuò)充現(xiàn)有的數(shù)據(jù)對(duì)象和存儲(chǔ)資源描述方法,從多個(gè)方面描述數(shù)據(jù)的內(nèi)在屬性(關(guān)鍵字、數(shù)據(jù)編碼格式等)、應(yīng)用需求(性能、可用性、安全性、持久性等)和資源特性(位置、訪問方式、服務(wù)能力等),以支持智能分級(jí)的存儲(chǔ)虛擬化及存儲(chǔ)服務(wù)。
(2)基于時(shí)空域的視頻數(shù)據(jù)管理技術(shù)
根據(jù)視頻數(shù)據(jù)的時(shí)空域?qū)傩孕畔?,按需求將空間鄰近或時(shí)間鄰近的視頻數(shù)據(jù)進(jìn)行歸類,并在存儲(chǔ)上進(jìn)行關(guān)聯(lián)存儲(chǔ),同時(shí)利用基于語(yǔ)義內(nèi)容的去冗余技術(shù),提升數(shù)據(jù)的價(jià)值密度。
(3)大數(shù)據(jù)存儲(chǔ)技術(shù)
百億甚至千億級(jí)的結(jié)構(gòu)化數(shù)據(jù)為存儲(chǔ)和查詢帶來巨大壓力,傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)已無(wú)法支撐此類應(yīng)用。采用針對(duì)海量數(shù)據(jù)特性設(shè)計(jì)的分布式數(shù)據(jù)存儲(chǔ)架構(gòu)和列式數(shù)據(jù)庫(kù)技術(shù),可以較好地滿足大數(shù)據(jù)存儲(chǔ)系統(tǒng)可擴(kuò)展性、高可靠性的要求。
大數(shù)據(jù)檢索和挖掘技術(shù)
(1)分布式智能全文檢索技術(shù)
大數(shù)據(jù)僅僅依靠單節(jié)點(diǎn)進(jìn)行智能全文檢索已遠(yuǎn)遠(yuǎn)無(wú)法滿足性能要求,采用分布式的多節(jié)點(diǎn)并行處理技術(shù),能有效縮短響應(yīng)時(shí)間,提高系統(tǒng)性能。
(2)基于圖像識(shí)別的檢索技術(shù)
智慧安防中存在海量的圖片數(shù)據(jù),目前的檢索技術(shù)還是以特征文本描述檢索為主,這需要耗費(fèi)大量的人力、物力開展特征描述,當(dāng)數(shù)據(jù)持續(xù)增長(zhǎng)時(shí),這將是一個(gè)不可能的任務(wù)。采用圖像識(shí)別及模糊匹配技術(shù),能真正滿足用戶的業(yè)務(wù)需求,并促進(jìn)人臉匹配、步態(tài)匹配、行為匹配等應(yīng)用的開展。
(3)關(guān)聯(lián)網(wǎng)絡(luò)可視化分析
利用可視化分析,將各種不同信息圖形化,建立不同數(shù)據(jù)來源、不同信息之間的公共元素和聯(lián)系,建立起不同實(shí)體之間的關(guān)聯(lián),從而發(fā)現(xiàn)那些隱藏在大數(shù)據(jù)中的關(guān)聯(lián)性線索和情報(bào)。
二、大數(shù)據(jù)在智能交通領(lǐng)域的應(yīng)用介紹
近年來,隨著經(jīng)濟(jì)的快速發(fā)展,機(jī)動(dòng)車持有量迅速增加,交通管理現(xiàn)狀和需求的矛盾進(jìn)一步加劇。在此情況下,如何利用先進(jìn)的科技手段提高交通管理水平,抑制交通事故發(fā)生,是當(dāng)前交通管理部門亟待解決的問題。
針對(duì)交通管理部門的需求以及我國(guó)的道路特點(diǎn),可通過整合圖像處理、模式識(shí)別等技術(shù),實(shí)現(xiàn)對(duì)監(jiān)控路段的機(jī)動(dòng)車道、非機(jī)動(dòng)車道進(jìn)行全天候?qū)崟r(shí)監(jiān)控和數(shù)據(jù)采集。前端卡口處理系統(tǒng)對(duì)所拍攝的圖像進(jìn)行分析獲取號(hào)牌號(hào)碼、號(hào)牌顏色、車身顏色、車標(biāo)、車輛子品牌等數(shù)據(jù),并將獲取到的車輛信息連同車輛的通過時(shí)間、地點(diǎn)、行駛方向等信息通過計(jì)算機(jī)網(wǎng)絡(luò)傳輸?shù)娇谙到y(tǒng)控制中心的數(shù)據(jù)庫(kù)中進(jìn)行數(shù)據(jù)存儲(chǔ)、查詢、比對(duì)等處理,當(dāng)發(fā)現(xiàn)肇事逃逸、違規(guī)或可疑車輛時(shí),系統(tǒng)會(huì)自動(dòng)向攔截系統(tǒng)及相關(guān)人員發(fā)出告警信號(hào),為交通違章查糾、交通事故逃逸、盜搶機(jī)動(dòng)車輛等案件的及時(shí)偵破提供重要的信息和證據(jù)。同時(shí),隨著全城Smart系統(tǒng)的建設(shè),新型的Smart IPC監(jiān)控前端也將成為一個(gè)卡口系統(tǒng),這使得城市卡口系統(tǒng)更加嚴(yán)密,能夠獲取到更多的過車數(shù)據(jù),能更準(zhǔn)確地描繪出車輛動(dòng)態(tài)信息。
前端卡口系統(tǒng)還能及時(shí)準(zhǔn)確地記錄經(jīng)過卡口的目標(biāo)信息,隨時(shí)掌握出入轄區(qū)的車輛流量狀態(tài),為交通誘導(dǎo)提供重要的參考數(shù)據(jù)。為了解決海量過車數(shù)據(jù)分析的挑戰(zhàn),智能交通要轉(zhuǎn)變思路,積極嘗試使用大數(shù)據(jù)技術(shù)來解決智能交通數(shù)據(jù)分析和挖掘問題。
某經(jīng)濟(jì)發(fā)達(dá)地區(qū)城市,近一段時(shí)間,交通事故頻發(fā),由于失駕和毒駕人員造成的惡性交通事件在在人民群眾帶來惡劣影響。市委領(lǐng)導(dǎo)決定開展一次交通整治行動(dòng),重點(diǎn)放在“黃標(biāo)車、逾期未報(bào)廢車、套牌車、毒駕失駕人員、遮擋車牌”等重點(diǎn)交通違法行為的整治。除了加大路面巡邏的力度,也要求交警部門通過交通大數(shù)據(jù)對(duì)交通違法行為進(jìn)行監(jiān)控與挖掘。
交通大數(shù)據(jù)主要來源來自交通道路上卡口的過車記錄。但是卡口覆蓋范圍有限,能否從社會(huì)資源上獲取交通數(shù)據(jù)?通過協(xié)調(diào),交警部門從停車場(chǎng)出入口、加油站、公共停車位等交通流量重點(diǎn)地區(qū)調(diào)取了監(jiān)控視頻。通過海量視頻云分析平臺(tái),將監(jiān)控視頻中的車輛相關(guān)數(shù)據(jù)取出,包括車牌、車型、駕駛員特征,并存入大數(shù)據(jù)平臺(tái)。
套牌車分析采用兩種方案對(duì)比。對(duì)于本地車輛,通過比對(duì)同一個(gè)車牌記錄中的車型車管庫(kù)的車型,如果不一致,有可能是套牌車,可以提取出來進(jìn)行下一步分析。對(duì)于外地車輛,采用時(shí)空分析方案。同一個(gè)車牌如果在同一時(shí)間段出現(xiàn)在距離很遠(yuǎn)的兩處,則說明是套牌車,提取出來進(jìn)行下一步分析。
毒駕和失駕人員是不允許駕駛機(jī)動(dòng)車上路,否則會(huì)造成極大的交通隱患。交警部門通過現(xiàn)有的毒駕和失駕人員重點(diǎn)人員庫(kù)。當(dāng)卡口部署的是高清卡口,可以將駕駛員頭部照片取出。將駕駛員照片和毒駕失駕人員庫(kù)中的照片進(jìn)行自動(dòng)人臉比對(duì),如果相似度較高,說明有可能是毒駕失駕人員,提取出來進(jìn)行下一步分析。
通過查詢卡口過車記錄中車牌缺失的車輛,即可查詢到車牌被遮擋的車輛。但是光發(fā)現(xiàn)車牌被遮擋車輛還遠(yuǎn)遠(yuǎn)不夠,還需要找到這輛車的真正車牌。這就需要使用交通大數(shù)據(jù)的以圖搜圖功能,通過被遮擋車牌車輛的特征在所有過車記錄中搜索,找到相似度最高的車輛,提取出來進(jìn)行下一步分析。
查找過車記錄中車輛是否屬于黃標(biāo)車或者逾期未報(bào)廢車輛。如果屬于,提取出來進(jìn)行下一步處理。
通過以上幾種手段對(duì)根據(jù)通過交通大數(shù)據(jù)平臺(tái)分析出來的嫌疑車輛進(jìn)行仔細(xì)排查,確認(rèn)確實(shí)違法的,通過交通大數(shù)據(jù)平臺(tái)車輛軌跡分析功能獲取嫌疑車活動(dòng)規(guī)律,預(yù)先設(shè)卡,攔截并處理。
本次整治行動(dòng)共分析提取了過車記錄30多億條,分析社會(huì)視頻達(dá)到30萬(wàn)小時(shí),提取了70多個(gè)子系統(tǒng)的數(shù)據(jù)。在為期為半個(gè)月的整治期內(nèi),通過交通大數(shù)據(jù)平臺(tái)發(fā)現(xiàn)毒駕、失駕司機(jī)十多人,套牌車超過八十輛,未報(bào)廢車十幾輛。相關(guān)領(lǐng)導(dǎo)對(duì)交通大數(shù)據(jù)平臺(tái)在本次整治活動(dòng)中的表現(xiàn)非常滿意,并表示“本次整治行動(dòng)在交通大數(shù)據(jù)平臺(tái)協(xié)助下,有效并且高效的完成了預(yù)定目標(biāo)”。
三、總結(jié)
基于大數(shù)據(jù)的智慧交通存在多種可能,交通的智能化是根本的趨勢(shì),利用大數(shù)據(jù)技術(shù)和智能分析技術(shù),整合城市管理的其他數(shù)據(jù),將真正推動(dòng)智慧交通建設(shè),為交通管理奠定良好的基礎(chǔ)。目前大數(shù)據(jù)技術(shù)主要還是應(yīng)用在交警和交管部門道路,隨著交通數(shù)據(jù)的進(jìn)一步聯(lián)網(wǎng)開放,整合停車場(chǎng)、鐵路、軌道交通、公交等等各種來源的數(shù)據(jù),將可以為城市提供更為豐富的交通應(yīng)用,讓道路暢通,停車位不再難找,提升城市整體運(yùn)營(yíng)效率。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫(kù)表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫(kù))處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場(chǎng)景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對(duì)象的 text 與 content:區(qū)別、場(chǎng)景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請(qǐng)求開發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫(kù)表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請(qǐng)求工具對(duì)比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請(qǐng)求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營(yíng)問題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營(yíng)銷案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營(yíng)銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價(jià)值 在數(shù)據(jù)驅(qū)動(dòng)決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實(shí)踐到業(yè)務(wù)價(jià)值挖掘 在數(shù)據(jù)分析場(chǎng)景中,聚類分析作為 “無(wú)監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計(jì)模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價(jià)值導(dǎo)向 統(tǒng)計(jì)模型作為數(shù)據(jù)分析的核心工具,并非簡(jiǎn)單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10CDA 數(shù)據(jù)分析師:商業(yè)數(shù)據(jù)分析實(shí)踐的落地者與價(jià)值創(chuàng)造者 商業(yè)數(shù)據(jù)分析的價(jià)值,最終要在 “實(shí)踐” 中體現(xiàn) —— 脫離業(yè)務(wù)場(chǎng)景的分 ...
2025-09-10機(jī)器學(xué)習(xí)解決實(shí)際問題的核心關(guān)鍵:從業(yè)務(wù)到落地的全流程解析 在人工智能技術(shù)落地的浪潮中,機(jī)器學(xué)習(xí)作為核心工具,已廣泛應(yīng)用于 ...
2025-09-09SPSS 編碼狀態(tài)區(qū)域中 Unicode 的功能與價(jià)值解析 在 SPSS(Statistical Product and Service Solutions,統(tǒng)計(jì)產(chǎn)品與服務(wù)解決方案 ...
2025-09-09