高德交通數(shù)據(jù)分析師：專車加劇廣州城市擁堵

2015年7月23日，中國(guó)Hadoop技術(shù)峰會(huì)在上海浦東嘉里中心如火如荼地召開。下午的大數(shù)據(jù)應(yīng)用分論壇，基于最新的大數(shù)據(jù)技術(shù)，結(jié)合落地應(yīng)用案例進(jìn)行講解與討論，也受到了業(yè)內(nèi)外的廣泛關(guān)注。

　　當(dāng)日下午，來(lái)自公安部交通管理科學(xué)研究所的方艾芬主任在大數(shù)據(jù)應(yīng)用分論壇上發(fā)表了題為《大數(shù)據(jù)在交通管理中的應(yīng)用》的講演，從技術(shù)革新到落地案例，多方面多角度地闡釋了Hadoop大數(shù)據(jù)平臺(tái)對(duì)交通管理方面的幫助與改革。

　　方主任首先對(duì)公安部交通管理研究所的性質(zhì)與職能作了簡(jiǎn)要介紹。交通管理研究所是公安部直屬的道路交通管理工程技術(shù)研究的科研機(jī)構(gòu)，主要從事道路交通事故預(yù)防及鑒定技術(shù)、公安交通管理業(yè)務(wù)信息化技術(shù)、公安交通管理大數(shù)據(jù)技術(shù)及云計(jì)算技術(shù)、智能交通管理技術(shù)等技術(shù)領(lǐng)域的研究工作。
　　方主任的講演從公安交通管理信息化的現(xiàn)狀，機(jī)動(dòng)車緝查布控大數(shù)據(jù)平臺(tái)建設(shè)及應(yīng)用實(shí)踐和未來(lái)交通管理信息化展望三方面來(lái)召開。

　　首先是公安交通管理信息化的現(xiàn)狀，我國(guó)機(jī)動(dòng)車的保有量為2.71億，其中汽車保有量1.63億，僅次于美國(guó)，位列世界第二。而駕駛?cè)藬?shù)量3.12億則為世界第一。我國(guó)公路通車?yán)锍踢_(dá)到446.39萬(wàn)公里，其中高速11.19萬(wàn)公里。這些背景數(shù)據(jù)說(shuō)明我國(guó)已進(jìn)入汽車社會(huì)。對(duì)于道路交通管理的需求與壓力也與日俱增。

　　2012年起，公安部推出全國(guó)公安交通管理綜合平臺(tái)，在全國(guó)31個(gè)省、480多個(gè)地級(jí)市全面應(yīng)用。公安交通管理主要業(yè)務(wù)全面信息化。同時(shí)，以公安交通管理綜合應(yīng)用平臺(tái)為依托、以各地卡口系統(tǒng)為基礎(chǔ)的全國(guó)機(jī)動(dòng)車緝查布控系統(tǒng)也已應(yīng)用，實(shí)現(xiàn)了緝查布控、預(yù)警攔截、軌跡分析、綜合研判四方面的公安公路交通安全聯(lián)網(wǎng)管控信息化。
　　卡口系統(tǒng)主要進(jìn)行圖像抓拍、通行記錄等數(shù)據(jù)處理，并實(shí)時(shí)上傳至緝查布控系統(tǒng)。目前，全國(guó)聯(lián)網(wǎng)接入卡口23000多個(gè)，已匯聚上傳車輛軌跡數(shù)據(jù)350億多條，每日新增1億多條。同時(shí)，機(jī)動(dòng)車通行數(shù)據(jù)，車輛、駕駛證等基礎(chǔ)數(shù)據(jù)，運(yùn)維監(jiān)管等其他數(shù)據(jù)也達(dá)到上億條并且仍保持增長(zhǎng)趨勢(shì)。這些數(shù)據(jù)既包括常規(guī)的結(jié)構(gòu)化數(shù)據(jù)，也包括圖片、視頻等非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，價(jià)值巨大。

　　然而龐大的數(shù)據(jù)量也帶來(lái)了一些問(wèn)題。比如海量的數(shù)據(jù)中有百分之九十九的數(shù)據(jù)從未被使用，極低的利用率使得相關(guān)部門只能被動(dòng)地通過(guò)數(shù)據(jù)解決已有問(wèn)題，而無(wú)法使用現(xiàn)有數(shù)據(jù)進(jìn)行分析、監(jiān)管。究其原因，在于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)面對(duì)如此龐大的數(shù)據(jù)量，無(wú)法進(jìn)行高效的處理，受此限制，大部分的數(shù)據(jù)也發(fā)揮不出本來(lái)的價(jià)值。

　　然而現(xiàn)有數(shù)據(jù)量仍然在不斷地增長(zhǎng)，這一問(wèn)題對(duì)數(shù)據(jù)庫(kù)的革新提出了要求，傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)向分布式數(shù)據(jù)庫(kù)的轉(zhuǎn)型勢(shì)在必行。

　　方主任借此背景，引出了機(jī)動(dòng)車緝查布控大數(shù)據(jù)平臺(tái)建設(shè)與應(yīng)用實(shí)踐的成功經(jīng)驗(yàn)。

　　大數(shù)據(jù)平臺(tái)的建設(shè)需求在于應(yīng)用大數(shù)據(jù)、云計(jì)算等技術(shù)，建設(shè)省級(jí)、部級(jí)機(jī)動(dòng)車緝查布控大數(shù)據(jù)平臺(tái)，匯聚全省、全國(guó)機(jī)動(dòng)車軌跡信息，實(shí)現(xiàn)海量數(shù)據(jù)的接入、存貯，實(shí)現(xiàn)過(guò)車查詢、全庫(kù)搜索、軌跡分析、套牌分析、伴隨分析、碰撞分析、區(qū)間測(cè)速等實(shí)時(shí)分析應(yīng)用，實(shí)現(xiàn)跨部門、跨警種、跨區(qū)域信息共享和深度挖掘應(yīng)用，為準(zhǔn)確監(jiān)測(cè)公路通行狀況、快速緝查交通違法行為、打擊各類涉車違法犯罪，不斷提升道路交通安全管控水平、決策分析和社會(huì)服務(wù)能力提供全新技術(shù)實(shí)現(xiàn)手段。

　　而公安交管部門的大數(shù)據(jù)平臺(tái)以大范圍碰撞比對(duì)作為主要目標(biāo)，是國(guó)內(nèi)較早落地應(yīng)用大數(shù)據(jù)平臺(tái)的案例。方主任以省級(jí)平臺(tái)——山東省緝查布控大數(shù)據(jù)平臺(tái)案例作為主要講解對(duì)象。

　　數(shù)據(jù)方面，山東省緝查布控大數(shù)據(jù)平臺(tái)已在17個(gè)地市聯(lián)網(wǎng)接入卡口1000多套，日過(guò)車記錄超過(guò)1000萬(wàn)條(預(yù)期全面聯(lián)網(wǎng)后1到1.5億條每天)。全省2300多萬(wàn)機(jī)動(dòng)車，3000多萬(wàn)駕駛?cè)诉M(jìn)入關(guān)聯(lián)信息。自2014年9月正式運(yùn)行起，已累積近40億條，25TB數(shù)據(jù)。

　　架構(gòu)上采取混合型架構(gòu)，部分?jǐn)?shù)據(jù)存儲(chǔ)于HBase分布式數(shù)據(jù)庫(kù)，一些關(guān)鍵數(shù)據(jù)存儲(chǔ)于Oracle數(shù)據(jù)庫(kù)，采用企業(yè)級(jí)發(fā)行版Hadoop軟件，解決了數(shù)據(jù)實(shí)時(shí)處理，快速查詢檢索和多維度分析研判等問(wèn)題。

　　方主任還提到在軟件平臺(tái)上，選擇了星環(huán)科技的TDH產(chǎn)品，從2014年9月運(yùn)行至今，性能穩(wěn)定可靠，用戶體驗(yàn)極佳。
　　基于大數(shù)據(jù)平臺(tái)，公安交管部門能根據(jù)海量數(shù)據(jù)提取信息，分析軌跡，在一秒之內(nèi)實(shí)現(xiàn)實(shí)時(shí)比對(duì)，產(chǎn)生預(yù)警，從而有針對(duì)性地干預(yù)、攔截。動(dòng)態(tài)靜態(tài)信息的碰撞比對(duì)，解決了許多過(guò)去的難題。比如逾期未年檢車輛的發(fā)現(xiàn)與預(yù)警，無(wú)論是車主的無(wú)心之失或有意為之，都為公安部門的監(jiān)管帶來(lái)了極大的便利。同時(shí)還有假牌套牌分析處理與核對(duì)等，這是過(guò)去的監(jiān)管系統(tǒng)難以顧全的。

　　總的來(lái)說(shuō)，借助大數(shù)據(jù)TDH平臺(tái)的幫助，公安交管部門相較之前更好地利用到了已有的數(shù)據(jù)，有力提升動(dòng)態(tài)化、信息化執(zhí)法能力，提升了對(duì)重點(diǎn)車輛動(dòng)態(tài)監(jiān)管能力，提升了對(duì)路面重點(diǎn)交通違法行為動(dòng)態(tài)發(fā)現(xiàn)能力，提升了對(duì)機(jī)動(dòng)車通行情況的分析研判能力，提升了對(duì)各地執(zhí)法情況的監(jiān)督能力，提升了對(duì)源頭企業(yè)的監(jiān)管能力。

　　而在未來(lái)，計(jì)劃建立全國(guó)公安交通集成指揮平臺(tái)，基于關(guān)聯(lián)系統(tǒng)、平臺(tái)信息，落成部省市三級(jí)全國(guó)聯(lián)網(wǎng)監(jiān)控。公安部交通管理科學(xué)研究所目前正依托全國(guó)公安交通管理數(shù)據(jù)中心、 云計(jì)算和大數(shù)據(jù)應(yīng)用聯(lián)合實(shí)驗(yàn)室， 開展交管大數(shù)據(jù)應(yīng)用模式、技術(shù)架構(gòu)、研判分析和預(yù)測(cè)模型研究，研發(fā)基于云計(jì)算技術(shù)的交通管理大數(shù)據(jù)挖掘研判系統(tǒng)。CDA數(shù)據(jù)分析師培訓(xùn)