大數(shù)據(jù)技術(shù)與安防應(yīng)用未來(lái)發(fā)展分析_數(shù)據(jù)分析師培訓(xùn)

 平安城市的建設(shè)從最初2004年6月第一批21個(gè)科技強(qiáng)警示范城市建設(shè)開(kāi)始，到現(xiàn)在已經(jīng)整整10個(gè)年頭。

    在這十年里，平安城市的建設(shè)已經(jīng)在新技術(shù)的推動(dòng)下，從模擬到數(shù)字，從數(shù)字到高清，快速發(fā)展了三代。平安城市建設(shè)的效果也初步體現(xiàn)，監(jiān)控覆蓋范圍越來(lái)越廣，城市管理和治安對(duì)視頻監(jiān)控的依賴(lài)度逐漸加大。

    比如在杭州，平安杭州項(xiàng)目已經(jīng)全面啟動(dòng)，監(jiān)控系統(tǒng)設(shè)計(jì)規(guī)模達(dá)5萬(wàn)個(gè)監(jiān)控點(diǎn)。這也是迄今為止最大規(guī)模的平安工程項(xiàng)目。新的社會(huì)治安監(jiān)控系統(tǒng)，用科技手段來(lái)保障社會(huì)安定，不僅讓平安杭州成為規(guī)模之最，也為美麗的杭州描繪了一幅宏大的平安“畫(huà)卷”。

    比如在遵義圖像綜合應(yīng)用系統(tǒng)，建設(shè)高清攝像機(jī)數(shù)量達(dá)到3000個(gè)，存儲(chǔ)資源達(dá)到10PB，通過(guò)構(gòu)建遵義市應(yīng)急處置業(yè)務(wù)應(yīng)用模型，滿足突發(fā)事件應(yīng)急處置決策指揮需要，達(dá)到“一點(diǎn)感知，處處可知;聞警而動(dòng)，處處協(xié)同;有備而戰(zhàn)，臨危不亂”的狀態(tài)。

    在這些平安城市項(xiàng)目建設(shè)后，產(chǎn)生了大量的視頻數(shù)據(jù)，數(shù)據(jù)量每天都可以用PB級(jí)去衡量。已經(jīng)達(dá)到與國(guó)際數(shù)據(jù)巨頭媲美的地步。我們知道，對(duì)于數(shù)據(jù)最有發(fā)言權(quán)的應(yīng)該是互聯(lián)網(wǎng)巨頭google，google一天全世界產(chǎn)生的數(shù)據(jù)量為10PB，量級(jí)是一個(gè)平安城市產(chǎn)生的數(shù)據(jù)量10倍。但是我們來(lái)看一下google利用這每天10PB的數(shù)據(jù)量一年的產(chǎn)值吧：超過(guò)500億美金!而平安城市通過(guò)擁有谷歌十分之一的數(shù)據(jù)量產(chǎn)生了多少價(jià)值呢?這是一個(gè)無(wú)解的值，甚至很多時(shí)候我們并不能量化價(jià)值產(chǎn)出。

    那么谷歌如何讓這些數(shù)據(jù)產(chǎn)生價(jià)值的呢?

    大數(shù)據(jù)就是谷歌讓數(shù)據(jù)產(chǎn)生價(jià)值的核心，大數(shù)據(jù)是一個(gè)籠統(tǒng)的概念，是把多元化、無(wú)任何連接關(guān)系的數(shù)據(jù)進(jìn)行清理，分析出數(shù)據(jù)之間的關(guān)系，得到我們想要的、關(guān)心的結(jié)果。比如通過(guò)城市數(shù)據(jù)分析我們能夠得到城市出行狀態(tài)、消費(fèi)狀態(tài)、人口分布、市民交際狀態(tài)、公共資源應(yīng)用狀態(tài)等一系列數(shù)據(jù)，這些數(shù)據(jù)可以為我們城市管理作為優(yōu)化依據(jù)，也可以作為提高城市商業(yè)和競(jìng)爭(zhēng)力的關(guān)鍵指導(dǎo)。

    要實(shí)現(xiàn)大數(shù)據(jù)，首先需要通過(guò)數(shù)據(jù)采集進(jìn)行大量的數(shù)據(jù)積累，讓數(shù)據(jù)量足夠多，足夠找出數(shù)據(jù)之間的規(guī)律。業(yè)界對(duì)大數(shù)據(jù)總結(jié)出四大特點(diǎn)：數(shù)據(jù)量大、類(lèi)型多、速度快、價(jià)值高。宇視根據(jù)大數(shù)據(jù)概念的四大特點(diǎn)，結(jié)合獨(dú)有的電信級(jí)技術(shù)優(yōu)勢(shì)，形成了一整套大數(shù)據(jù)應(yīng)用架構(gòu)，分為四層對(duì)大數(shù)據(jù)進(jìn)行了闡述和規(guī)劃。

    第一層為數(shù)據(jù)采集層，實(shí)現(xiàn)大數(shù)據(jù)的數(shù)據(jù)量大、類(lèi)型多的特點(diǎn)。視頻監(jiān)控完全具備了此種特點(diǎn)，數(shù)據(jù)量巨大，所含有的信息類(lèi)型眾多。但是行業(yè)內(nèi)對(duì)于視頻錄像一直有兩個(gè)共識(shí)：視頻監(jiān)控的數(shù)據(jù)，90%以上是無(wú)用的。另外一個(gè)共識(shí)是：視頻監(jiān)控的錄像數(shù)據(jù)，超過(guò)1個(gè)星期后其價(jià)值就降低了90%。雖說(shuō)這些數(shù)據(jù)有一些夸張，但是這兩個(gè)共識(shí)也真實(shí)的反映了大量視頻監(jiān)控錄像的尷尬境遇。要實(shí)現(xiàn)大數(shù)據(jù)，關(guān)鍵是能否能把視頻進(jìn)行結(jié)構(gòu)化，進(jìn)行語(yǔ)義化描述，讓類(lèi)型數(shù)據(jù)能夠提取出來(lái)。這就涉及到視頻智能分析了。也是數(shù)據(jù)倉(cāng)儲(chǔ)層的數(shù)據(jù)分類(lèi)工作。

    數(shù)據(jù)采集之后，數(shù)據(jù)在數(shù)據(jù)倉(cāng)庫(kù)中對(duì)多樣化數(shù)據(jù)進(jìn)行存儲(chǔ)和基礎(chǔ)分類(lèi)。在數(shù)據(jù)倉(cāng)儲(chǔ)層，對(duì)數(shù)據(jù)的分類(lèi)采用智能分析集群，其具備以下特點(diǎn)：

    分布式計(jì)算，將不同I幀圖像分布式計(jì)算，充分利用前端DSP和中心CPU、GPU計(jì)算資源;

    特征數(shù)據(jù)結(jié)構(gòu)化管理，以圖搜圖快速檢索錄像只需提取目標(biāo)圖片特征數(shù)據(jù)，然后比對(duì)特征數(shù)據(jù)即可完成以圖搜圖，大大提高檢索速度;

    機(jī)器智能學(xué)習(xí)矯正，將分析錯(cuò)誤結(jié)果反饋給樣本庫(kù)，自動(dòng)調(diào)整樣本庫(kù)，以提高準(zhǔn)確率。

    得到語(yǔ)義化和分類(lèi)數(shù)據(jù)之后，就可以對(duì)數(shù)據(jù)中隱藏的寶藏進(jìn)行挖掘了。數(shù)據(jù)分析與挖掘，能夠?qū)?shù)據(jù)進(jìn)行定制化清洗，能夠智能化自學(xué)習(xí)優(yōu)化清洗算法，實(shí)現(xiàn)數(shù)據(jù)的價(jià)值挖掘。

    宇視數(shù)據(jù)分析和挖掘采用基于hadoop架構(gòu)優(yōu)化的Unihadoop架構(gòu)。Hadoop起源于處理網(wǎng)頁(yè)類(lèi)數(shù)據(jù)的，而安防數(shù)據(jù)由時(shí)間，空間，誰(shuí)，及事件特征組成的，有行業(yè)特殊性，而宇視經(jīng)過(guò)試驗(yàn)得到數(shù)據(jù)，對(duì)數(shù)據(jù)組織進(jìn)行優(yōu)化，實(shí)現(xiàn)性能的大幅度提升，不僅優(yōu)化了工具，更重要的在Hadoop的基礎(chǔ)上，實(shí)現(xiàn)了時(shí)空數(shù)據(jù)庫(kù)，來(lái)優(yōu)化安防數(shù)據(jù)的存儲(chǔ)，最終性能遠(yuǎn)好于標(biāo)準(zhǔn)版Hadoop。

    大大數(shù)據(jù)只是底層架構(gòu)，數(shù)據(jù)的搜集、分析和挖掘都是為了以業(yè)務(wù)為主體的數(shù)據(jù)呈現(xiàn)，只有貼合實(shí)際的業(yè)務(wù)進(jìn)行數(shù)據(jù)呈現(xiàn)，才能體現(xiàn)大數(shù)據(jù)的價(jià)值。

    數(shù)宇視對(duì)于數(shù)據(jù)可視化進(jìn)行了深度研究，能夠提供多樣化的直觀可視化展現(xiàn)，包括電子地圖整合、3D地圖綜合顯示，移動(dòng)顯示等，通過(guò)這些數(shù)據(jù)的整合展現(xiàn)，實(shí)現(xiàn)了車(chē)輛可疑軌跡分析，車(chē)輛套牌分析，案件現(xiàn)場(chǎng)還原等一系列業(yè)務(wù)功能，真正做到業(yè)務(wù)定制化，達(dá)到顯示即所需。

    視頻監(jiān)控?cái)?shù)據(jù)是一個(gè)寶藏，怎么去挖掘這個(gè)寶藏，如何挖掘?qū)毑貙⑹俏磥?lái)平安城市建設(shè)的另一個(gè)重點(diǎn)。在這個(gè)方向上，大數(shù)據(jù)具備天然的概念優(yōu)勢(shì)和極適配的架構(gòu)優(yōu)勢(shì)。通過(guò)大數(shù)據(jù)的手段去挖掘視頻中的有效信息，是最具備可行性的手段。