Hadoop大數(shù)據(jù)重構(gòu)智能交管

2015年7月23日，中國Hadoop技術(shù)峰會在上海浦東嘉里中心如火如荼地召開。下午的大數(shù)據(jù)應用分論壇，基于最新的大數(shù)據(jù)技術(shù)，結(jié)合落地應用案例進行講解與討論，也受到了業(yè)內(nèi)外的廣泛關(guān)注。

　　當日下午，來自公安部交通管理科學研究所的方艾芬主任在大數(shù)據(jù)應用分論壇上發(fā)表了題為《大數(shù)據(jù)在交通管理中的應用》的講演，從技術(shù)革新到落地案例，多方面多角度地闡釋了Hadoop大數(shù)據(jù)平臺對交通管理方面的幫助與改革。

　　方主任首先對公安部交通管理研究所的性質(zhì)與職能作了簡要介紹。交通管理研究所是公安部直屬的道路交通管理工程技術(shù)研究的科研機構(gòu)，主要從事道路交通事故預防及鑒定技術(shù)、公安交通管理業(yè)務(wù)信息化技術(shù)、公安交通管理大數(shù)據(jù)技術(shù)及云計算技術(shù)、智能交通管理技術(shù)等技術(shù)領(lǐng)域的研究工作。
　　方主任的講演從公安交通管理信息化的現(xiàn)狀，機動車緝查布控大數(shù)據(jù)平臺建設(shè)及應用實踐和未來交通管理信息化展望三方面來召開。

　　首先是公安交通管理信息化的現(xiàn)狀，我國機動車的保有量為2.71億，其中汽車保有量1.63億，僅次于美國，位列世界第二。而駕駛?cè)藬?shù)量3.12億則為世界第一。我國公路通車里程達到446.39萬公里，其中高速11.19萬公里。這些背景數(shù)據(jù)說明我國已進入汽車社會。對于道路交通管理的需求與壓力也與日俱增。

　　2012年起，公安部推出全國公安交通管理綜合平臺，在全國31個省、480多個地級市全面應用。公安交通管理主要業(yè)務(wù)全面信息化。同時，以公安交通管理綜合應用平臺為依托、以各地卡口系統(tǒng)為基礎(chǔ)的全國機動車緝查布控系統(tǒng)也已應用，實現(xiàn)了緝查布控、預警攔截、軌跡分析、綜合研判四方面的公安公路交通安全聯(lián)網(wǎng)管控信息化。

　　
　　卡口系統(tǒng)主要進行圖像抓拍、通行記錄等數(shù)據(jù)處理，并實時上傳至緝查布控系統(tǒng)。目前，全國聯(lián)網(wǎng)接入卡口23000多個，已匯聚上傳車輛軌跡數(shù)據(jù)350億多條，每日新增1億多條。同時，機動車通行數(shù)據(jù)，車輛、駕駛證等基礎(chǔ)數(shù)據(jù)，運維監(jiān)管等其他數(shù)據(jù)也達到上億條并且仍保持增長趨勢。這些數(shù)據(jù)既包括常規(guī)的結(jié)構(gòu)化數(shù)據(jù)，也包括圖片、視頻等非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，價值巨大。

　　然而龐大的數(shù)據(jù)量也帶來了一些問題。比如海量的數(shù)據(jù)中有百分之九十九的數(shù)據(jù)從未被使用，極低的利用率使得相關(guān)部門只能被動地通過數(shù)據(jù)解決已有問題，而無法使用現(xiàn)有數(shù)據(jù)進行分析、監(jiān)管。究其原因，在于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫面對如此龐大的數(shù)據(jù)量，無法進行高效的處理，受此限制，大部分的數(shù)據(jù)也發(fā)揮不出本來的價值。

　　然而現(xiàn)有數(shù)據(jù)量仍然在不斷地增長，這一問題對數(shù)據(jù)庫的革新提出了要求，傳統(tǒng)關(guān)系型數(shù)據(jù)庫向分布式數(shù)據(jù)庫的轉(zhuǎn)型勢在必行。

　　方主任借此背景，引出了機動車緝查布控大數(shù)據(jù)平臺建設(shè)與應用實踐的成功經(jīng)驗。

　　大數(shù)據(jù)平臺的建設(shè)需求在于應用大數(shù)據(jù)、云計算等技術(shù)，建設(shè)省級、部級機動車緝查布控大數(shù)據(jù)平臺，匯聚全省、全國機動車軌跡信息，實現(xiàn)海量數(shù)據(jù)的接入、存貯，實現(xiàn)過車查詢、全庫搜索、軌跡分析、套牌分析、伴隨分析、碰撞分析、區(qū)間測速等實時分析應用，實現(xiàn)跨部門、跨警種、跨區(qū)域信息共享和深度挖掘應用，為準確監(jiān)測公路通行狀況、快速緝查交通違法行為、打擊各類涉車違法犯罪，不斷提升道路交通安全管控水平、決策分析和社會服務(wù)能力提供全新技術(shù)實現(xiàn)手段。

　　而公安交管部門的大數(shù)據(jù)平臺以大范圍碰撞比對作為主要目標，是國內(nèi)較早落地應用大數(shù)據(jù)平臺的案例。方主任以省級平臺——山東省緝查布控大數(shù)據(jù)平臺案例作為主要講解對象。

　　數(shù)據(jù)方面，山東省緝查布控大數(shù)據(jù)平臺已在17個地市聯(lián)網(wǎng)接入卡口1000多套，日過車記錄超過1000萬條(預期全面聯(lián)網(wǎng)后1到1.5億條每天)。全省2300多萬機動車，3000多萬駕駛?cè)诉M入關(guān)聯(lián)信息。自2014年9月正式運行起，已累積近40億條，25TB數(shù)據(jù)。

　　架構(gòu)上采取混合型架構(gòu)，部分數(shù)據(jù)存儲于HBase分布式數(shù)據(jù)庫，一些關(guān)鍵數(shù)據(jù)存儲于Oracle數(shù)據(jù)庫，采用企業(yè)級發(fā)行版Hadoop軟件，解決了數(shù)據(jù)實時處理，快速查詢檢索和多維度分析研判等問題。

　　方主任還提到在軟件平臺上，選擇了星環(huán)科技的TDH產(chǎn)品，從2014年9月運行至今，性能穩(wěn)定可靠，用戶體驗極佳。

　　
　　基于大數(shù)據(jù)平臺，公安交管部門能根據(jù)海量數(shù)據(jù)提取信息，分析軌跡，在一秒之內(nèi)實現(xiàn)實時比對，產(chǎn)生預警，從而有針對性地干預、攔截。動態(tài)靜態(tài)信息的碰撞比對，解決了許多過去的難題。比如逾期未年檢車輛的發(fā)現(xiàn)與預警，無論是車主的無心之失或有意為之，都為公安部門的監(jiān)管帶來了極大的便利。同時還有假牌套牌分析處理與核對等，這是過去的監(jiān)管系統(tǒng)難以顧全的。

　　總的來說，借助大數(shù)據(jù)TDH平臺的幫助，公安交管部門相較之前更好地利用到了已有的數(shù)據(jù)，有力提升動態(tài)化、信息化執(zhí)法能力，提升了對重點車輛動態(tài)監(jiān)管能力，提升了對路面重點交通違法行為動態(tài)發(fā)現(xiàn)能力，提升了對機動車通行情況的分析研判能力，提升了對各地執(zhí)法情況的監(jiān)督能力，提升了對源頭企業(yè)的監(jiān)管能力。

　　而在未來，計劃建立全國公安交通集成指揮平臺，基于關(guān)聯(lián)系統(tǒng)、平臺信息，落成部省市三級全國聯(lián)網(wǎng)監(jiān)控。公安部交通管理科學研究所目前正依托全國公安交通管理數(shù)據(jù)中心、 云計算和大數(shù)據(jù)應用聯(lián)合實驗室， 開展交管大數(shù)據(jù)應用模式、技術(shù)架構(gòu)、研判分析和預測模型研究，研發(fā)基于云計算技術(shù)的交通管理大數(shù)據(jù)挖掘研判系統(tǒng)。