
如何才能將大數(shù)據(jù)真正應(yīng)用起來
在這個信息爆炸的時代,每天都有大量各種各樣的信息數(shù)據(jù)產(chǎn)生,怎么發(fā)掘這些海量數(shù)據(jù)的價值成為所有人關(guān)注的重點。因此,上至政府部門,下至平頭百姓,各行各業(yè)對大數(shù)據(jù)的討論越來越激烈,大家都在探尋大數(shù)據(jù)的奧妙和價值。
大數(shù)據(jù)說起來比較玄乎,實際上已經(jīng)慢慢地滲透到我們生活的方方面面。以現(xiàn)在越來越普及的網(wǎng)絡(luò)購物為例,我們在某購物網(wǎng)站中搜索了某些商品,再次登錄該網(wǎng)站,甚至是其他的網(wǎng)站,往往就會看到系統(tǒng)自動推薦的與上次搜索相關(guān)的商品信息。這就是購物網(wǎng)站應(yīng)用大數(shù)據(jù)分析,摸清了用戶的消費(fèi)習(xí)慣,精準(zhǔn)推送用戶可能感興趣的產(chǎn)品,以更有效地促進(jìn)用戶消費(fèi)。這是個人購物行為,再更進(jìn)一步,每年各大購物網(wǎng)站都會發(fā)布一些購物指南,得出了一些非常有趣的結(jié)論,比如哪個地區(qū)男士為女士購買的商品最多;哪個年齡段的網(wǎng)絡(luò)消費(fèi)能力更強(qiáng);同類產(chǎn)品,哪個品牌在某個區(qū)域的銷量更好等等,這些都是通過大數(shù)據(jù)分析得到。目前,政府、醫(yī)療、互聯(lián)網(wǎng)等等行業(yè)都已經(jīng)開始了大數(shù)據(jù)應(yīng)用。
大數(shù)據(jù)與安防
雖然大數(shù)據(jù)在不少行業(yè)都已經(jīng)開始得到應(yīng)用,并取得了非常不錯的效果,但是就安防行業(yè)來說,大數(shù)據(jù)應(yīng)用之路才剛剛開啟。在安防領(lǐng)域,主要的數(shù)據(jù)來源是視頻,與其他行業(yè)結(jié)構(gòu)化的數(shù)據(jù)不一樣,視頻是一種非結(jié)構(gòu)化的數(shù)據(jù),不能直接被計算機(jī)進(jìn)行處理或分析。因此,安防要進(jìn)行大數(shù)據(jù)應(yīng)用,首先就要采用智能分析技術(shù)將非結(jié)構(gòu)化的視頻數(shù)據(jù)轉(zhuǎn)換成計算機(jī)能夠識別和處理的結(jié)構(gòu)化信息,即將視頻中包含的各種信息(主要是運(yùn)動目標(biāo)及其特征)提取出來轉(zhuǎn)成文字描述,這樣才能通過計算機(jī)來對這些視頻進(jìn)行搜索、比對、分析等。但是,早期安防行業(yè)并沒有有效的技術(shù)手段來展開這項工作。
智能分析技術(shù)其實很早就已經(jīng)應(yīng)用于安防行業(yè),只不過受限于智能分析算法本身以及攝像機(jī)的硬件性能,早期主要是通過智能分析服務(wù)器來實現(xiàn)視頻圖像的智能識別和分析,但這種方式存在一個致命的缺陷——成本過高。一臺刀片式服務(wù)器價格在六七萬左右,而一臺服務(wù)器只能識別七、八路1080P高清監(jiān)控錄像。以一個中等規(guī)模的城市為例,整體建設(shè)可能有十來萬個監(jiān)控點,即使只做2000路智能分析,也要兩百多臺服務(wù)器,這個成本是相當(dāng)可觀的。除了服務(wù)器的設(shè)備成本之外,還有服務(wù)器的能耗、所占場地、數(shù)據(jù)中心的網(wǎng)絡(luò)設(shè)備、后期維護(hù)等成本,這些成本不比購買服務(wù)器的成本低。正是服務(wù)器這種智能分析模式因為成本過高無法規(guī)?;瘧?yīng)用,所以視頻信息無法大規(guī)模轉(zhuǎn)換成結(jié)構(gòu)化的數(shù)據(jù),安防大數(shù)據(jù)也就一直無法落到實地。
隨著智能分析算法的逐步成熟,以及攝像機(jī)硬件性能的不斷提升,越來越多企業(yè)開始考慮將更多智能識別算法前置到攝像機(jī)中,畢竟攝像機(jī)本身的成本增加是可以預(yù)見的。在安防業(yè)內(nèi),以科達(dá)為代表的感知型攝像機(jī)這類智能攝像機(jī)的推出,比較經(jīng)濟(jì)有效地解決了視頻數(shù)據(jù)結(jié)構(gòu)化的問題,為安防大數(shù)據(jù)應(yīng)用打下了基礎(chǔ)。
除了視頻數(shù)據(jù)的非結(jié)構(gòu)化外,與其他行業(yè)相比,安防行業(yè)的大數(shù)據(jù)還有一些典型特征,這些特征對存儲系統(tǒng)提出了更高的要求。比如視頻的數(shù)據(jù)量特別大,且還在不斷增多,就要求存儲系統(tǒng)能夠很方便地擴(kuò)容;視頻的價值密度低,且是實時的,連續(xù)的,稍縱即逝的,不容丟失,就要求存儲的可靠性要高;一個PB級的存儲系統(tǒng)硬盤就有幾千甚至幾萬塊,這么多硬盤可能每天都會有損壞,如果一損壞就要更換會非常麻煩,這就對存儲提出了可維護(hù)性的要求;既然是大數(shù)據(jù)視頻,說明會有各種各樣的用戶會去訪問這些視頻數(shù)據(jù),所以對并發(fā)訪問會有更高要求等等。要滿足上述要求,傳統(tǒng)的存儲方式已經(jīng)無能為力,只有云存儲才能支撐。
一段視頻經(jīng)過智能攝像機(jī)的分析提取以后,形成了原始視頻、視頻里面每個運(yùn)動目標(biāo)的圖片以及每個運(yùn)動目標(biāo)的語義文字描述三類數(shù)據(jù),其中圖片和視頻是非結(jié)構(gòu)化數(shù)據(jù),一般存于云存儲系統(tǒng)中,而語義的文字描述這類結(jié)構(gòu)化數(shù)據(jù)存在于后端的大數(shù)據(jù)數(shù)據(jù)庫中,每一條文字的描述對應(yīng)相應(yīng)的目標(biāo)圖片和視頻。在完成了視頻的結(jié)構(gòu)化處理,以及三類數(shù)據(jù)的存儲之后,應(yīng)用就是接下來的關(guān)鍵,否則存儲的數(shù)據(jù)也沒有價值。
盡管在不同的垂直行業(yè),安防大數(shù)據(jù)的應(yīng)用會有一定差異,但從目前應(yīng)用最為成熟的公安、交通等行業(yè)來看,大數(shù)據(jù)應(yīng)用大致可以歸結(jié)為檢索、分析研判、實時布控和調(diào)度三大類。
第一類檢索,在實現(xiàn)視頻結(jié)構(gòu)化之前,查找、檢索視頻只能靠人,而將視頻結(jié)構(gòu)化之后,利用后端的大數(shù)據(jù)檢索系統(tǒng),就能很方便地搜出相對應(yīng)的文字、圖片以及視頻。比如要查找某一時間段經(jīng)過某個路段一個穿藍(lán)色衣服的可疑人員,用戶只需要輸入“藍(lán)色衣服”,就能找出該時間段內(nèi)所有穿藍(lán)色衣服的人的圖片,點擊圖片就可以獲取這個人經(jīng)過這個路段的視頻。
第二類分析研判,比如通過車輛的多點碰撞,看是否有哪輛車在幾個路口都出現(xiàn)過,從而幫助公安發(fā)現(xiàn)嫌疑車輛。
第三類是實時布控和調(diào)度,比如,公安知道一個嫌疑人住在某個小區(qū),并且嫌疑人照片已經(jīng)存在于系統(tǒng)后臺,就可以通過安裝在門口的感知型攝像機(jī)抓拍每個進(jìn)出小區(qū)人員的人臉特征,并立刻送到后臺去比對,一旦發(fā)現(xiàn)某個人員的外貌特征與目標(biāo)嫌疑人比較相似,系統(tǒng)就會馬上報警,公安人員即可指揮調(diào)度實施現(xiàn)場抓捕。當(dāng)然,要結(jié)合行業(yè)需求實現(xiàn)這三大類應(yīng)用,需要企業(yè)深入研究行業(yè)用戶的需求,對行業(yè)需求的精準(zhǔn)把握是大數(shù)據(jù)應(yīng)用的關(guān)鍵。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA 數(shù)據(jù)分析師報考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-18剛?cè)肼殘龌蚴窃诼殘稣媾R崗位替代、技能更新、人機(jī)協(xié)作等焦慮的打工人,想要找到一條破解職場焦慮和升職瓶頸的系統(tǒng)化學(xué)習(xí)提升 ...
2025-07-182025被稱為“AI元年”,而AI,與數(shù)據(jù)密不可分。網(wǎng)易公司創(chuàng)始人丁磊在《AI思維:從數(shù)據(jù)中創(chuàng)造價值的煉金術(shù) ...
2025-07-18CDA 數(shù)據(jù)分析師:數(shù)據(jù)時代的價值挖掘者 在大數(shù)據(jù)席卷全球的今天,數(shù)據(jù)已成為企業(yè)核心競爭力的重要組成部分。從海量數(shù)據(jù)中提取有 ...
2025-07-18SPSS 賦值后數(shù)據(jù)不顯示?原因排查與解決指南? 在 SPSS( Statistical Package for the Social Sciences)數(shù)據(jù)分析過程中,變量 ...
2025-07-18在 DBeaver 中利用 MySQL 實現(xiàn)表數(shù)據(jù)同步操作指南? ? 在數(shù)據(jù)庫管理工作中,將一張表的數(shù)據(jù)同步到另一張表是常見需求,這有助于 ...
2025-07-18數(shù)據(jù)分析師的技能圖譜:從數(shù)據(jù)到價值的橋梁? 在數(shù)據(jù)驅(qū)動決策的時代,數(shù)據(jù)分析師如同 “數(shù)據(jù)翻譯官”,將冰冷的數(shù)字轉(zhuǎn)化為清晰的 ...
2025-07-17Pandas 寫入指定行數(shù)據(jù):數(shù)據(jù)精細(xì)化管理的核心技能? 在數(shù)據(jù)處理的日常工作中,我們常常需要面對這樣的場景:在龐大的數(shù)據(jù)集里精 ...
2025-07-17解碼 CDA:數(shù)據(jù)時代的通行證? 在數(shù)字化浪潮席卷全球的今天,當(dāng)企業(yè)決策者盯著屏幕上跳動的數(shù)據(jù)曲線尋找增長密碼,當(dāng)科研人員在 ...
2025-07-17CDA 精益業(yè)務(wù)數(shù)據(jù)分析:數(shù)據(jù)驅(qū)動業(yè)務(wù)增長的實戰(zhàn)方法論 在企業(yè)數(shù)字化轉(zhuǎn)型的浪潮中,“數(shù)據(jù)分析” 已從 “加分項” 成為 “必修課 ...
2025-07-16MySQL 中 ADD KEY 與 ADD INDEX 詳解:用法、差異與優(yōu)化實踐 在 MySQL 數(shù)據(jù)庫表結(jié)構(gòu)設(shè)計中,索引是提升查詢性能的核心手段。無論 ...
2025-07-16解析 MySQL Update 語句中 “query end” 狀態(tài):含義、成因與優(yōu)化指南? 在 MySQL 數(shù)據(jù)庫的日常運(yùn)維與開發(fā)中,開發(fā)者和 DBA 常會 ...
2025-07-16如何考取數(shù)據(jù)分析師證書:以 CDA 為例? ? 在數(shù)字化浪潮席卷各行各業(yè)的當(dāng)下,數(shù)據(jù)分析師已然成為企業(yè)挖掘數(shù)據(jù)價值、驅(qū)動決策的 ...
2025-07-15CDA 精益業(yè)務(wù)數(shù)據(jù)分析:驅(qū)動企業(yè)高效決策的核心引擎? 在數(shù)字經(jīng)濟(jì)時代,企業(yè)面臨著前所未有的數(shù)據(jù)洪流,如何從海量數(shù)據(jù)中提取有 ...
2025-07-15MySQL 無外鍵關(guān)聯(lián)表的 JOIN 實戰(zhàn):數(shù)據(jù)整合的靈活之道? 在 MySQL 數(shù)據(jù)庫的日常操作中,我們經(jīng)常會遇到需要整合多張表數(shù)據(jù)的場景 ...
2025-07-15Python Pandas:數(shù)據(jù)科學(xué)的瑞士軍刀? ? 在數(shù)據(jù)驅(qū)動的時代,面對海量、復(fù)雜的數(shù)據(jù),如何高效地進(jìn)行處理、分析和挖掘成為關(guān)鍵。 ...
2025-07-15用 SQL 生成逆向回滾 SQL:數(shù)據(jù)操作的 “后悔藥” 指南? 在數(shù)據(jù)庫操作中,誤刪數(shù)據(jù)、錯改字段或誤執(zhí)行批量更新等問題時有發(fā)生。 ...
2025-07-14t檢驗與Wilcoxon檢驗的選擇:何時用t.test,何時用wilcox.test? t 檢驗與 Wilcoxon 檢驗的選擇:何時用 t.test,何時用 wilcox. ...
2025-07-14AI 浪潮下的生存與進(jìn)階: CDA數(shù)據(jù)分析師—開啟新時代職業(yè)生涯的鑰匙(深度研究報告、發(fā)展指導(dǎo)白皮書) 發(fā)布機(jī)構(gòu):CDA數(shù)據(jù)科 ...
2025-07-13LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11