
如何才能將大數(shù)據(jù)真正應(yīng)用起來(lái)
在這個(gè)信息爆炸的時(shí)代,每天都有大量各種各樣的信息數(shù)據(jù)產(chǎn)生,怎么發(fā)掘這些海量數(shù)據(jù)的價(jià)值成為所有人關(guān)注的重點(diǎn)。因此,上至政府部門,下至平頭百姓,各行各業(yè)對(duì)大數(shù)據(jù)的討論越來(lái)越激烈,大家都在探尋大數(shù)據(jù)的奧妙和價(jià)值。
大數(shù)據(jù)說(shuō)起來(lái)比較玄乎,實(shí)際上已經(jīng)慢慢地滲透到我們生活的方方面面。以現(xiàn)在越來(lái)越普及的網(wǎng)絡(luò)購(gòu)物為例,我們?cè)谀迟?gòu)物網(wǎng)站中搜索了某些商品,再次登錄該網(wǎng)站,甚至是其他的網(wǎng)站,往往就會(huì)看到系統(tǒng)自動(dòng)推薦的與上次搜索相關(guān)的商品信息。這就是購(gòu)物網(wǎng)站應(yīng)用大數(shù)據(jù)分析,摸清了用戶的消費(fèi)習(xí)慣,精準(zhǔn)推送用戶可能感興趣的產(chǎn)品,以更有效地促進(jìn)用戶消費(fèi)。這是個(gè)人購(gòu)物行為,再更進(jìn)一步,每年各大購(gòu)物網(wǎng)站都會(huì)發(fā)布一些購(gòu)物指南,得出了一些非常有趣的結(jié)論,比如哪個(gè)地區(qū)男士為女士購(gòu)買的商品最多;哪個(gè)年齡段的網(wǎng)絡(luò)消費(fèi)能力更強(qiáng);同類產(chǎn)品,哪個(gè)品牌在某個(gè)區(qū)域的銷量更好等等,這些都是通過(guò)大數(shù)據(jù)分析得到。目前,政府、醫(yī)療、互聯(lián)網(wǎng)等等行業(yè)都已經(jīng)開始了大數(shù)據(jù)應(yīng)用。
大數(shù)據(jù)與安防
雖然大數(shù)據(jù)在不少行業(yè)都已經(jīng)開始得到應(yīng)用,并取得了非常不錯(cuò)的效果,但是就安防行業(yè)來(lái)說(shuō),大數(shù)據(jù)應(yīng)用之路才剛剛開啟。在安防領(lǐng)域,主要的數(shù)據(jù)來(lái)源是視頻,與其他行業(yè)結(jié)構(gòu)化的數(shù)據(jù)不一樣,視頻是一種非結(jié)構(gòu)化的數(shù)據(jù),不能直接被計(jì)算機(jī)進(jìn)行處理或分析。因此,安防要進(jìn)行大數(shù)據(jù)應(yīng)用,首先就要采用智能分析技術(shù)將非結(jié)構(gòu)化的視頻數(shù)據(jù)轉(zhuǎn)換成計(jì)算機(jī)能夠識(shí)別和處理的結(jié)構(gòu)化信息,即將視頻中包含的各種信息(主要是運(yùn)動(dòng)目標(biāo)及其特征)提取出來(lái)轉(zhuǎn)成文字描述,這樣才能通過(guò)計(jì)算機(jī)來(lái)對(duì)這些視頻進(jìn)行搜索、比對(duì)、分析等。但是,早期安防行業(yè)并沒有有效的技術(shù)手段來(lái)展開這項(xiàng)工作。
智能分析技術(shù)其實(shí)很早就已經(jīng)應(yīng)用于安防行業(yè),只不過(guò)受限于智能分析算法本身以及攝像機(jī)的硬件性能,早期主要是通過(guò)智能分析服務(wù)器來(lái)實(shí)現(xiàn)視頻圖像的智能識(shí)別和分析,但這種方式存在一個(gè)致命的缺陷——成本過(guò)高。一臺(tái)刀片式服務(wù)器價(jià)格在六七萬(wàn)左右,而一臺(tái)服務(wù)器只能識(shí)別七、八路1080P高清監(jiān)控錄像。以一個(gè)中等規(guī)模的城市為例,整體建設(shè)可能有十來(lái)萬(wàn)個(gè)監(jiān)控點(diǎn),即使只做2000路智能分析,也要兩百多臺(tái)服務(wù)器,這個(gè)成本是相當(dāng)可觀的。除了服務(wù)器的設(shè)備成本之外,還有服務(wù)器的能耗、所占場(chǎng)地、數(shù)據(jù)中心的網(wǎng)絡(luò)設(shè)備、后期維護(hù)等成本,這些成本不比購(gòu)買服務(wù)器的成本低。正是服務(wù)器這種智能分析模式因?yàn)槌杀具^(guò)高無(wú)法規(guī)?;瘧?yīng)用,所以視頻信息無(wú)法大規(guī)模轉(zhuǎn)換成結(jié)構(gòu)化的數(shù)據(jù),安防大數(shù)據(jù)也就一直無(wú)法落到實(shí)地。
隨著智能分析算法的逐步成熟,以及攝像機(jī)硬件性能的不斷提升,越來(lái)越多企業(yè)開始考慮將更多智能識(shí)別算法前置到攝像機(jī)中,畢竟攝像機(jī)本身的成本增加是可以預(yù)見的。在安防業(yè)內(nèi),以科達(dá)為代表的感知型攝像機(jī)這類智能攝像機(jī)的推出,比較經(jīng)濟(jì)有效地解決了視頻數(shù)據(jù)結(jié)構(gòu)化的問(wèn)題,為安防大數(shù)據(jù)應(yīng)用打下了基礎(chǔ)。
除了視頻數(shù)據(jù)的非結(jié)構(gòu)化外,與其他行業(yè)相比,安防行業(yè)的大數(shù)據(jù)還有一些典型特征,這些特征對(duì)存儲(chǔ)系統(tǒng)提出了更高的要求。比如視頻的數(shù)據(jù)量特別大,且還在不斷增多,就要求存儲(chǔ)系統(tǒng)能夠很方便地?cái)U(kuò)容;視頻的價(jià)值密度低,且是實(shí)時(shí)的,連續(xù)的,稍縱即逝的,不容丟失,就要求存儲(chǔ)的可靠性要高;一個(gè)PB級(jí)的存儲(chǔ)系統(tǒng)硬盤就有幾千甚至幾萬(wàn)塊,這么多硬盤可能每天都會(huì)有損壞,如果一損壞就要更換會(huì)非常麻煩,這就對(duì)存儲(chǔ)提出了可維護(hù)性的要求;既然是大數(shù)據(jù)視頻,說(shuō)明會(huì)有各種各樣的用戶會(huì)去訪問(wèn)這些視頻數(shù)據(jù),所以對(duì)并發(fā)訪問(wèn)會(huì)有更高要求等等。要滿足上述要求,傳統(tǒng)的存儲(chǔ)方式已經(jīng)無(wú)能為力,只有云存儲(chǔ)才能支撐。
一段視頻經(jīng)過(guò)智能攝像機(jī)的分析提取以后,形成了原始視頻、視頻里面每個(gè)運(yùn)動(dòng)目標(biāo)的圖片以及每個(gè)運(yùn)動(dòng)目標(biāo)的語(yǔ)義文字描述三類數(shù)據(jù),其中圖片和視頻是非結(jié)構(gòu)化數(shù)據(jù),一般存于云存儲(chǔ)系統(tǒng)中,而語(yǔ)義的文字描述這類結(jié)構(gòu)化數(shù)據(jù)存在于后端的大數(shù)據(jù)數(shù)據(jù)庫(kù)中,每一條文字的描述對(duì)應(yīng)相應(yīng)的目標(biāo)圖片和視頻。在完成了視頻的結(jié)構(gòu)化處理,以及三類數(shù)據(jù)的存儲(chǔ)之后,應(yīng)用就是接下來(lái)的關(guān)鍵,否則存儲(chǔ)的數(shù)據(jù)也沒有價(jià)值。
盡管在不同的垂直行業(yè),安防大數(shù)據(jù)的應(yīng)用會(huì)有一定差異,但從目前應(yīng)用最為成熟的公安、交通等行業(yè)來(lái)看,大數(shù)據(jù)應(yīng)用大致可以歸結(jié)為檢索、分析研判、實(shí)時(shí)布控和調(diào)度三大類。
第一類檢索,在實(shí)現(xiàn)視頻結(jié)構(gòu)化之前,查找、檢索視頻只能靠人,而將視頻結(jié)構(gòu)化之后,利用后端的大數(shù)據(jù)檢索系統(tǒng),就能很方便地搜出相對(duì)應(yīng)的文字、圖片以及視頻。比如要查找某一時(shí)間段經(jīng)過(guò)某個(gè)路段一個(gè)穿藍(lán)色衣服的可疑人員,用戶只需要輸入“藍(lán)色衣服”,就能找出該時(shí)間段內(nèi)所有穿藍(lán)色衣服的人的圖片,點(diǎn)擊圖片就可以獲取這個(gè)人經(jīng)過(guò)這個(gè)路段的視頻。
第二類分析研判,比如通過(guò)車輛的多點(diǎn)碰撞,看是否有哪輛車在幾個(gè)路口都出現(xiàn)過(guò),從而幫助公安發(fā)現(xiàn)嫌疑車輛。
第三類是實(shí)時(shí)布控和調(diào)度,比如,公安知道一個(gè)嫌疑人住在某個(gè)小區(qū),并且嫌疑人照片已經(jīng)存在于系統(tǒng)后臺(tái),就可以通過(guò)安裝在門口的感知型攝像機(jī)抓拍每個(gè)進(jìn)出小區(qū)人員的人臉特征,并立刻送到后臺(tái)去比對(duì),一旦發(fā)現(xiàn)某個(gè)人員的外貌特征與目標(biāo)嫌疑人比較相似,系統(tǒng)就會(huì)馬上報(bào)警,公安人員即可指揮調(diào)度實(shí)施現(xiàn)場(chǎng)抓捕。當(dāng)然,要結(jié)合行業(yè)需求實(shí)現(xiàn)這三大類應(yīng)用,需要企業(yè)深入研究行業(yè)用戶的需求,對(duì)行業(yè)需求的精準(zhǔn)把握是大數(shù)據(jù)應(yīng)用的關(guān)鍵。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
訓(xùn)練與驗(yàn)證損失驟升:機(jī)器學(xué)習(xí)訓(xùn)練中的異常診斷與解決方案 在機(jī)器學(xué)習(xí)模型訓(xùn)練過(guò)程中,“損失曲線” 是反映模型學(xué)習(xí)狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對(duì)數(shù)據(jù)的需求已從 “存儲(chǔ)” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計(jì)基本概念成為業(yè)務(wù)決策的底層邏輯 統(tǒng)計(jì)基本概念是商業(yè)數(shù)據(jù)分析的 “基礎(chǔ)語(yǔ)言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫(kù)表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無(wú)論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫(kù)管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫(kù)表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫(kù))處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場(chǎng)景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對(duì)象的 text 與 content:區(qū)別、場(chǎng)景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請(qǐng)求開發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫(kù)表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請(qǐng)求工具對(duì)比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請(qǐng)求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問(wèn)題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問(wèn)題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營(yíng)問(wèn)題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過(guò)程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營(yíng)銷案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營(yíng)銷成為企業(yè)突圍的核心方 ...
2025-09-11