Hadoop大數據重構智能交管

2015年7月23日，中國Hadoop技術峰會在上海浦東嘉里中心如火如荼地召開。下午的大數據應用分論壇，基于最新的大數據技術，結合落地應用案例進行講解與討論，也受到了業(yè)內外的廣泛關注。

　　當日下午，來自公安部交通管理科學研究所的方艾芬主任在大數據應用分論壇上發(fā)表了題為《大數據在交通管理中的應用》的講演，從技術革新到落地案例，多方面多角度地闡釋了Hadoop大數據平臺對交通管理方面的幫助與改革。

　　方主任首先對公安部交通管理研究所的性質與職能作了簡要介紹。交通管理研究所是公安部直屬的道路交通管理工程技術研究的科研機構，主要從事道路交通事故預防及鑒定技術、公安交通管理業(yè)務信息化技術、公安交通管理大數據技術及云計算技術、智能交通管理技術等技術領域的研究工作。
　　方主任的講演從公安交通管理信息化的現(xiàn)狀，機動車緝查布控大數據平臺建設及應用實踐和未來交通管理信息化展望三方面來召開。

　　首先是公安交通管理信息化的現(xiàn)狀，我國機動車的保有量為2.71億，其中汽車保有量1.63億，僅次于美國，位列世界第二。而駕駛人數量3.12億則為世界第一。我國公路通車里程達到446.39萬公里，其中高速11.19萬公里。這些背景數據說明我國已進入汽車社會。對于道路交通管理的需求與壓力也與日俱增。

　　2012年起，公安部推出全國公安交通管理綜合平臺，在全國31個省、480多個地級市全面應用。公安交通管理主要業(yè)務全面信息化。同時，以公安交通管理綜合應用平臺為依托、以各地卡口系統(tǒng)為基礎的全國機動車緝查布控系統(tǒng)也已應用，實現(xiàn)了緝查布控、預警攔截、軌跡分析、綜合研判四方面的公安公路交通安全聯(lián)網管控信息化。

　　
　　卡口系統(tǒng)主要進行圖像抓拍、通行記錄等數據處理，并實時上傳至緝查布控系統(tǒng)。目前，全國聯(lián)網接入卡口23000多個，已匯聚上傳車輛軌跡數據350億多條，每日新增1億多條。同時，機動車通行數據，車輛、駕駛證等基礎數據，運維監(jiān)管等其他數據也達到上億條并且仍保持增長趨勢。這些數據既包括常規(guī)的結構化數據，也包括圖片、視頻等非結構化、半結構化數據，價值巨大。

　　然而龐大的數據量也帶來了一些問題。比如海量的數據中有百分之九十九的數據從未被使用，極低的利用率使得相關部門只能被動地通過數據解決已有問題，而無法使用現(xiàn)有數據進行分析、監(jiān)管。究其原因，在于傳統(tǒng)的關系型數據庫面對如此龐大的數據量，無法進行高效的處理，受此限制，大部分的數據也發(fā)揮不出本來的價值。

　　然而現(xiàn)有數據量仍然在不斷地增長，這一問題對數據庫的革新提出了要求，傳統(tǒng)關系型數據庫向分布式數據庫的轉型勢在必行。

　　方主任借此背景，引出了機動車緝查布控大數據平臺建設與應用實踐的成功經驗。

　　大數據平臺的建設需求在于應用大數據、云計算等技術，建設省級、部級機動車緝查布控大數據平臺，匯聚全省、全國機動車軌跡信息，實現(xiàn)海量數據的接入、存貯，實現(xiàn)過車查詢、全庫搜索、軌跡分析、套牌分析、伴隨分析、碰撞分析、區(qū)間測速等實時分析應用，實現(xiàn)跨部門、跨警種、跨區(qū)域信息共享和深度挖掘應用，為準確監(jiān)測公路通行狀況、快速緝查交通違法行為、打擊各類涉車違法犯罪，不斷提升道路交通安全管控水平、決策分析和社會服務能力提供全新技術實現(xiàn)手段。

　　而公安交管部門的大數據平臺以大范圍碰撞比對作為主要目標，是國內較早落地應用大數據平臺的案例。方主任以省級平臺——山東省緝查布控大數據平臺案例作為主要講解對象。

　　數據方面，山東省緝查布控大數據平臺已在17個地市聯(lián)網接入卡口1000多套，日過車記錄超過1000萬條(預期全面聯(lián)網后1到1.5億條每天)。全省2300多萬機動車，3000多萬駕駛人進入關聯(lián)信息。自2014年9月正式運行起，已累積近40億條，25TB數據。

　　架構上采取混合型架構，部分數據存儲于HBase分布式數據庫，一些關鍵數據存儲于Oracle數據庫，采用企業(yè)級發(fā)行版Hadoop軟件，解決了數據實時處理，快速查詢檢索和多維度分析研判等問題。

　　方主任還提到在軟件平臺上，選擇了星環(huán)科技的TDH產品，從2014年9月運行至今，性能穩(wěn)定可靠，用戶體驗極佳。

　　
　　基于大數據平臺，公安交管部門能根據海量數據提取信息，分析軌跡，在一秒之內實現(xiàn)實時比對，產生預警，從而有針對性地干預、攔截。動態(tài)靜態(tài)信息的碰撞比對，解決了許多過去的難題。比如逾期未年檢車輛的發(fā)現(xiàn)與預警，無論是車主的無心之失或有意為之，都為公安部門的監(jiān)管帶來了極大的便利。同時還有假牌套牌分析處理與核對等，這是過去的監(jiān)管系統(tǒng)難以顧全的。

　　總的來說，借助大數據TDH平臺的幫助，公安交管部門相較之前更好地利用到了已有的數據，有力提升動態(tài)化、信息化執(zhí)法能力，提升了對重點車輛動態(tài)監(jiān)管能力，提升了對路面重點交通違法行為動態(tài)發(fā)現(xiàn)能力，提升了對機動車通行情況的分析研判能力，提升了對各地執(zhí)法情況的監(jiān)督能力，提升了對源頭企業(yè)的監(jiān)管能力。

　　而在未來，計劃建立全國公安交通集成指揮平臺，基于關聯(lián)系統(tǒng)、平臺信息，落成部省市三級全國聯(lián)網監(jiān)控。公安部交通管理科學研究所目前正依托全國公安交通管理數據中心、 云計算和大數據應用聯(lián)合實驗室， 開展交管大數據應用模式、技術架構、研判分析和預測模型研究，研發(fā)基于云計算技術的交通管理大數據挖掘研判系統(tǒng)。