“大數(shù)據(jù)”思維在公安實(shí)戰(zhàn)中的思考和實(shí)踐_數(shù)據(jù)分析師考試

近年來(lái)，伴隨著全國(guó)各地公安機(jī)關(guān)信息化的迅猛發(fā)展，數(shù)據(jù)共享和深化應(yīng)用的需求空前高漲。但是，隨著數(shù)據(jù)的匯聚和數(shù)據(jù)量的爆炸式增長(zhǎng)，傳統(tǒng)的數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)技術(shù)出現(xiàn)了諸多瓶頸問(wèn)題，特別是對(duì)于 PB 級(jí)的非結(jié)構(gòu)化數(shù)據(jù)處理以及多維度關(guān)聯(lián)分析、數(shù)據(jù)挖掘、情報(bào)研判等需求，傳統(tǒng)的數(shù)據(jù)存儲(chǔ)和處理方式都面臨著效率低、成本高、可靠性差、擴(kuò)展能力不足等不可逾越的障礙。以搭建“大數(shù)據(jù)”處理和分析平臺(tái)為突破口，尋求公安信息化應(yīng)用新的效益增長(zhǎng)點(diǎn)，已經(jīng)成為公安機(jī)關(guān)信息化應(yīng)用的熱點(diǎn)問(wèn)題。本文以兩個(gè)案例的形式，分析了公安機(jī)關(guān)在“大數(shù)據(jù)”方面開(kāi)展的一些新的實(shí)戰(zhàn)應(yīng)用和新的思維方法，以期供廣大同行借鑒和參考。

案例一：電子警察疑似套牌車(chē)自動(dòng)識(shí)別系統(tǒng)

（1）實(shí)例目標(biāo)

這個(gè)實(shí)例目標(biāo)是在近 12 億“電子警察”(卡口視頻抓拍系統(tǒng)) 抓拍車(chē)牌數(shù)據(jù)中查找出套牌車(chē)輛，可稱(chēng)為“疑似套牌車(chē)模型”。和通用的數(shù)據(jù)挖掘方法一樣，對(duì)于大數(shù)據(jù)的處理原則也是“以業(yè)務(wù)規(guī)則為核心，以數(shù)據(jù)資源為基礎(chǔ)，以運(yùn)算能力為支撐”。這個(gè)實(shí)例是在 2011 年初啟動(dòng)的，大約經(jīng)過(guò)了半年多的研發(fā)和應(yīng)用探討，取得了一定的應(yīng)用實(shí)效。

(2) 操作流程

第一步，業(yè)務(wù)規(guī)則制定。這個(gè)實(shí)例的業(yè)務(wù)排查規(guī)則是: 在一個(gè)較短的時(shí)間段內(nèi)，同一車(chē)牌不可能被不同路口“電子警察”抓拍設(shè)備抓拍到。這其中涉及到三個(gè)變量，一個(gè)是時(shí)間，第二個(gè)是車(chē)牌，第三個(gè)是“電子警察”的地理位置。在與交警部門(mén)進(jìn)行了業(yè)務(wù)規(guī)則研究后，最終確定的數(shù)量是:在 5 分鐘之內(nèi)，如果在距離大于 10 公里的“電子警察”同時(shí)抓拍到同一個(gè)車(chē)牌，這個(gè)車(chē)牌可能就是套牌，因?yàn)檐?chē)速一般不能超過(guò) 120 公里/小時(shí)。另外，以“電子警察”位置經(jīng)緯度測(cè)算其直線距離，比一般道路實(shí)際距離要短。

第二步，數(shù)據(jù)準(zhǔn)備。如果面對(duì)的是千萬(wàn)級(jí)的數(shù)據(jù)，常規(guī) SQL 查詢語(yǔ)句就可以解決這個(gè)問(wèn)題。數(shù)據(jù)量如果再大，采用分區(qū)表的形式一般也可以解決這個(gè)問(wèn)題。但是，此實(shí)例中，遇到的第一個(gè)數(shù)據(jù)是車(chē)輛抓拍數(shù)據(jù)。數(shù)據(jù)量是 3 年“電子警察”抓拍的數(shù)據(jù)總和，目前南通的抓拍量大約是一天 800 萬(wàn)左右，最后 3 年的數(shù)據(jù)匯聚到 12 億左右。因此，這個(gè)實(shí)例的總體技術(shù)框架可以用“HADOOP + OＲACLE”來(lái)描述億級(jí)以上的數(shù)據(jù)。這里指的是數(shù)據(jù)條數(shù)，因?yàn)獒槍?duì)的都是結(jié)構(gòu)化的數(shù)據(jù)，筆者認(rèn)為，先把結(jié)構(gòu)化數(shù)據(jù)的海量數(shù)據(jù)處理到位，然后再開(kāi)始啟動(dòng)半結(jié)構(gòu)化、非結(jié)構(gòu)化的大數(shù)據(jù)研究。億級(jí)以上的數(shù)據(jù)用分布式的 HADOOP 來(lái)直接處理，或者稱(chēng)為預(yù)處理，可處理至千萬(wàn)級(jí)或者百萬(wàn)級(jí)數(shù)據(jù)，然后再依托傳統(tǒng)的 OＲACLE 來(lái)處理。第二個(gè)數(shù)據(jù)是“電子警察”的地理位置數(shù)據(jù)，可以從 PGIS 取得支撐，取得全市“電子警察”的經(jīng)緯度信息。將本市所有“電子警察”卡口的坐標(biāo)位置建立輔助表，如表 1 所示。記錄每個(gè)卡口的經(jīng)緯度，為計(jì)算不同卡口之間的距離準(zhǔn)備。最后，還有一個(gè)重要的數(shù)據(jù)———時(shí)間。全市“電子警察”抓拍設(shè)備必須進(jìn)行統(tǒng)一授時(shí)，否則這個(gè)億級(jí)以上的數(shù)據(jù)模型就失去了意義。

第三步，利用 HADOOP 計(jì)算。這是最關(guān)鍵的一步，將 12 億“電子警察”抓拍車(chē)牌數(shù)據(jù)，利用分塊的模式，分別存儲(chǔ)到 10 臺(tái)普通 PC 服務(wù)器集群的 HADOOP 分布式存儲(chǔ)環(huán)境中。每個(gè)塊存儲(chǔ) 300 萬(wàn)數(shù)據(jù)，分 380 個(gè)塊存儲(chǔ)在 9 臺(tái)數(shù)據(jù)節(jié)點(diǎn)中，共占用存儲(chǔ)空間 103 G。在數(shù)據(jù)傳輸交換上，使用分布式索引創(chuàng)建工具，經(jīng)過(guò) 3 小時(shí) 10 分鐘將數(shù)據(jù)從不同的oralce 數(shù)據(jù)庫(kù)存儲(chǔ)到 HDFS 分布式存儲(chǔ)環(huán)境中，見(jiàn)圖1 所示。

而后，采用 HADOOP 的 MAP －ＲEDUCE 模型，對(duì)分塊數(shù)據(jù)分別進(jìn)行運(yùn)算，首先使用 MAP 對(duì)每個(gè)車(chē)在卡口的時(shí)間進(jìn)行分組，MAP 執(zhí)行結(jié)束后，使用ＲEDUCE 對(duì)各個(gè)塊的數(shù)據(jù)按照車(chē)牌號(hào)進(jìn)行匯總，再使用 MAP 對(duì)每個(gè)車(chē)在卡口出現(xiàn)的時(shí)間與不同卡口之間的距離進(jìn)行運(yùn)算，對(duì)于在小于 5 分鐘內(nèi)，在距離大于 10 公里的卡口同時(shí)出現(xiàn)的車(chē)輛，認(rèn)定為疑似套牌車(chē)。最后使用 ＲEDUCE 將統(tǒng)計(jì)結(jié)果匯總。其具體執(zhí)行過(guò)程見(jiàn)圖 2 所示。

第四步，結(jié)果。這個(gè)運(yùn)算模型在 10 臺(tái) PC 服務(wù)器組成的 HADOOP 集群中，以 40 個(gè)初始 MAP 進(jìn)行分布式執(zhí)行，經(jīng)過(guò)約 50 分鐘執(zhí)行完畢，共排查出394 輛疑似套牌車(chē)牌。這個(gè)效率已經(jīng)基本能夠滿足應(yīng)用要求

　　( 3) 結(jié)果應(yīng)用。

(人工輔助)技術(shù)部門(mén)和交警部門(mén)共同研究分析了上述結(jié)果，發(fā)現(xiàn)在這 394 輛車(chē)?yán)?，有約三分之二( 也就是 250 輛左右) 是因?yàn)樽詣?dòng)識(shí)別系統(tǒng)的誤判造成的錯(cuò)誤信息( 如 B 和 8、D 和 0 容易出現(xiàn)誤判) ，這說(shuō)明公安機(jī)關(guān)抓拍設(shè)備的識(shí)別率還要提升。在余下的約 150 輛車(chē)中，已經(jīng)在控的約有 60 輛，其他 90 余輛車(chē)通過(guò)人工辨別、研判，確認(rèn)為新發(fā)現(xiàn)的套牌車(chē)，現(xiàn)已全部納入了套牌車(chē)布控查緝系統(tǒng)開(kāi)展后續(xù)工作。

案例二：違法犯罪人員入住賓館規(guī)律

實(shí)例目標(biāo)：分析 10 年以來(lái)在押的違法犯罪人員曾入住旅館的規(guī)律，為治安防控核查工作提供指導(dǎo)。

通過(guò)多方努力，我們匯聚到 10 年的旅館數(shù)據(jù)約5 億余條，10 年內(nèi)本地在押的人員數(shù)據(jù)約 65 萬(wàn)條。利用計(jì)算機(jī)集群，首先建立了比對(duì)模型，根據(jù) HADOOP開(kāi)展比對(duì)來(lái)組織數(shù)據(jù)，將 65 萬(wàn)條人員數(shù)據(jù)放到 5 億條住宿數(shù)據(jù)中去找相同項(xiàng)。以“1O + 1”的模式，即10 臺(tái)服務(wù)器作數(shù)據(jù)節(jié)點(diǎn)，1 臺(tái)作為控制節(jié)點(diǎn)，“跑”一遍的時(shí)間是 50 分鐘左右。最后得到 10 年間在押的人員曾經(jīng)入住旅館數(shù)據(jù)約72. 1 萬(wàn)條。

( 1) 全部在押人員各時(shí)段入住旅館情況的占比分析，具體情況見(jiàn)圖 3。

這是一種比較常規(guī)的分析方式。面對(duì) 70 萬(wàn)的小數(shù)據(jù)，從 10 年全部在押人員自身入住情況對(duì)比，可稱(chēng)為“自占比”分析。從上圖 3 可以看出，在押人員入住“自占比”的第一峰值在 22 時(shí)左右，第二峰值在 13 時(shí)左右，谷值在 6 時(shí)左右。這說(shuō)明，按照 10年來(lái)積累的數(shù)據(jù)看，我們關(guān)注嫌疑對(duì)象入住旅館的重點(diǎn)時(shí)段應(yīng)該是夜間 10 時(shí)左右和下午 1時(shí)左右。

　　( 2) 針對(duì)全部入住旅館人員各時(shí)段占比分析，具體情況見(jiàn)圖4

根據(jù) 10 年來(lái)全部數(shù)據(jù)量的規(guī)模，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)處理這些數(shù)據(jù)效率會(huì)很低。用 HADOOP 的MAP －ＲEDUCE 計(jì)算框架，15 分鐘左右全部完成計(jì)算工作，得出圖 4 中的結(jié)果，可與第一項(xiàng)在押人員入住規(guī)律作比較。通過(guò)對(duì)比可以明顯看出，在押人員入住“自占比”趨勢(shì)與全部人員入住占比的趨勢(shì)基本一致。這說(shuō)明在 21 時(shí)和下午 1 時(shí)左右，本身也是正常人員入住旅館的高峰時(shí)間。因此，這項(xiàng)分析雖有意義，但是針對(duì)實(shí)戰(zhàn)的指導(dǎo)性分析還需要進(jìn)一步研究。

　　( 3) 各時(shí)段在押入住旅館人員與該時(shí)段全部正常入住人員的占比分析。

如果把上面的比較分析方式稱(chēng)為關(guān)注對(duì)象的“自占比”，那還有另一種比較方式，即關(guān)注對(duì)象與全部對(duì)象之間的比較，我們可稱(chēng)為“全占比”。各時(shí)段在押人員入住旅館的“全占比”情況見(jiàn)圖 所示。

進(jìn)一步思考通過(guò)上述兩個(gè)案例分析，我們不難發(fā)現(xiàn)，基于’大數(shù)據(jù)#統(tǒng)計(jì)分析相關(guān)規(guī)律的業(yè)務(wù)建模，可能會(huì)逐步超越目前的行業(yè)經(jīng)驗(yàn)，發(fā)現(xiàn)事物本質(zhì)的新的聯(lián)系，顛覆一些傳統(tǒng)的行業(yè)規(guī)則$因此，迎接’大數(shù)據(jù)#時(shí)代的到來(lái)最需要的是一種全新的思維方法。

大數(shù)據(jù)思維是一個(gè)不斷演進(jìn)的過(guò)程

兩個(gè)實(shí)例代表了對(duì)’大數(shù)據(jù)#處理與應(yīng)用的一個(gè)演進(jìn)過(guò)程。在起步階段，我們受到’小數(shù)據(jù)”思維的慣性控制，增加計(jì)算能力的直接目的就是為了提高精確性，總希望直接找到違法犯罪分子。但因?yàn)閿?shù)據(jù)量龐大，傳統(tǒng)的技術(shù)效率低，不能完成海量數(shù)據(jù)處理任務(wù)了，因此想到了分布式計(jì)算，并取得了一些應(yīng)用成效。

在第二個(gè)案例中，我們進(jìn)一步發(fā)現(xiàn)，大數(shù)據(jù)分析中的精確查詢之外，還有更廣泛應(yīng)用的更重要的趨勢(shì)分析和宏觀研判。大數(shù)據(jù)處理更能體現(xiàn)的是一種群體行為，通過(guò)海量的數(shù)據(jù)去發(fā)現(xiàn)一個(gè)隱藏在數(shù)據(jù)背后的客觀事實(shí)，公安大數(shù)據(jù)要更加重視通過(guò)各種工具與方法，通過(guò)海量數(shù)據(jù)的分析發(fā)現(xiàn)大數(shù)據(jù)中隱含的知識(shí)和關(guān)系。這種’大數(shù)據(jù)#的思路決定了我們今后的出路! 規(guī)律分析是未來(lái)一個(gè)時(shí)期公安’大數(shù)據(jù)#應(yīng)用的重點(diǎn)從上述實(shí)例中可以看出，引用的數(shù)據(jù)并不是非常龐大，分析方式是比較簡(jiǎn)單的比對(duì)方法，展示方式也是用較直接和較單一的折線圖，僅此就能挖掘出服務(wù)實(shí)戰(zhàn)的結(jié)果，這是傳統(tǒng)的數(shù)據(jù)處理方式無(wú)法實(shí)現(xiàn)的$這就是’大數(shù)據(jù)#思維產(chǎn)生的作用。

在’小數(shù)據(jù)#時(shí)代，由于掌握的數(shù)據(jù)量不夠多，范圍不夠全，因此我們的決策更依賴直覺(jué)和經(jīng)驗(yàn)，對(duì)事物規(guī)律性的把握往往需要一個(gè)很漫長(zhǎng)的積累過(guò)程，而且也容易遺漏。但是，隨著’大數(shù)據(jù)#時(shí)代的來(lái)臨，豐富的多維度數(shù)據(jù)應(yīng)用使得公安傳統(tǒng)的業(yè)務(wù)思路得到了極大的豐富，大數(shù)據(jù)破題的真正關(guān)鍵，在于領(lǐng)會(huì)貫通大數(shù)據(jù)的思維方式。