
如何感知安防大數(shù)據(jù)
大數(shù)據(jù)的感知,是了解和運用大數(shù)據(jù)的第一步,也可以理解為大數(shù)據(jù)的獲取。
在當(dāng)前大數(shù)據(jù)變革的時代,移動互聯(lián)網(wǎng)、智能終端、新型傳感器快速滲透到地球的每一個角落,人人有終端、物物可傳感、處處可上網(wǎng)、時時在鏈接,數(shù)據(jù)增長速度用幾何式增長甚至爆發(fā)式增長都很難形容得貼切。有機(jī)構(gòu)預(yù)計,到2020年全球數(shù)據(jù)使用量將達(dá)到約44ZB(1ZB=10萬億億字節(jié)),將涵蓋經(jīng)濟(jì)社會發(fā)展各個領(lǐng)域。由此產(chǎn)生的革命性影響將重塑生產(chǎn)力發(fā)展模式,重構(gòu)生產(chǎn)關(guān)系組織結(jié)構(gòu),提升產(chǎn)業(yè)效率和管理水平,提高政府治理的精準(zhǔn)性、高效性和預(yù)見性。毋庸置疑,大數(shù)據(jù)將創(chuàng)造下一代互聯(lián)網(wǎng)生態(tài)、下一代創(chuàng)新體系、下一代制造業(yè)形態(tài)以及下一代社會治理結(jié)構(gòu)。
一、大數(shù)據(jù)的認(rèn)識
近年來大數(shù)據(jù)技術(shù)的快速發(fā)展深刻改變了我們的生活、工作和思維方式。大數(shù)據(jù)研究專家舍恩伯格指出,大數(shù)據(jù)時代,人們對待數(shù)據(jù)的思維方式會發(fā)生如下三個變化:第一,人們處理的數(shù)據(jù)從樣本數(shù)據(jù)變成全部數(shù)據(jù);第二,由于是全樣本數(shù)據(jù),人們不得不接受數(shù)據(jù)的混雜性,而放棄對精確性的追求;第三,人類通過對大數(shù)據(jù)的處理,放棄對因果關(guān)系的渴求,轉(zhuǎn)而關(guān)注相關(guān)關(guān)系。事實上,大數(shù)據(jù)時代帶給人們的思維方式的深刻轉(zhuǎn)變遠(yuǎn)不止上述三個方面。筆者認(rèn)為,大數(shù)據(jù)思維最關(guān)鍵的轉(zhuǎn)變在于從自然思維轉(zhuǎn)向智能思維,使得大數(shù)據(jù)像具有生命力一樣,獲得類似于“人腦”的智能,甚至智慧。
(一)總體思維
社會科學(xué)研究社會現(xiàn)象的總體特征,以往采樣一直是主要數(shù)據(jù)獲取手段,這是人類在無法獲得總體數(shù)據(jù)信息條件下的無奈選擇。在大數(shù)據(jù)時代,人們可以獲得與分析更多的數(shù)據(jù),甚至是與之相關(guān)的所有數(shù)據(jù),而不再依賴于采樣,從而可以帶來更全面的認(rèn)識,可以更清楚地發(fā)現(xiàn)樣本無法揭示的細(xì)節(jié)信息。如今,技術(shù)環(huán)境已經(jīng)有了很大的改善。在大數(shù)據(jù)時代進(jìn)行抽樣分析就像是在汽車時代騎馬一樣。在某些特定的情況下,依然可以使用樣本分析法,但這不再是分析數(shù)據(jù)的主要方式?!耙簿褪钦f,在大數(shù)據(jù)時代,隨著數(shù)據(jù)收集、存儲、分析技術(shù)的突破性發(fā)展,人們可以更加方便、快捷、動態(tài)地獲得研究對象有關(guān)的所有數(shù)據(jù),而不再因諸多限制不得不采用樣本研究方法,相應(yīng)地,思維方式也應(yīng)該從樣本思維轉(zhuǎn)向總體思維,從而能夠更加全面、立體、系統(tǒng)地認(rèn)識總體狀況。
(二)容錯思維
在小數(shù)據(jù)時代,由于收集的樣本信息量比較少,所以必須確保記錄下來的數(shù)據(jù)盡量結(jié)構(gòu)化、精確化,否則,分析得出的結(jié)論在推及總體上就會”南轅北轍“,因此,就必須十分注重精確思維。然而,在大數(shù)據(jù)時代,得益于大數(shù)據(jù)技術(shù)的突破,大量的非結(jié)構(gòu)化、異構(gòu)化的數(shù)據(jù)能夠得到儲存和分析,這一方面提升了從數(shù)據(jù)中獲取知識和洞見的能力,另一方面也對傳統(tǒng)的精確思維造成了挑戰(zhàn)。在大數(shù)據(jù)時代,思維方式要從精確思維轉(zhuǎn)向容錯思維,當(dāng)擁有海量即時數(shù)據(jù)時,絕對的精準(zhǔn)不再是追求的主要目標(biāo),適當(dāng)忽略微觀層面上的精確度,容許一定程度的錯誤與混雜,反而可以在宏觀層面擁有更好的知識和洞察力。
(三)相關(guān)思維
在小數(shù)據(jù)世界中,人們往往執(zhí)著于現(xiàn)象背后的因果關(guān)系,試圖通過有限樣本數(shù)據(jù)來剖析其中的內(nèi)在機(jī)理。小數(shù)據(jù)的另一個缺陷就是有限的樣本數(shù)據(jù)無法反映出事物之間的普遍性的相關(guān)關(guān)系。而在大數(shù)據(jù)時代,人們可以通過大數(shù)據(jù)技術(shù)挖掘出事物之間隱蔽的相關(guān)關(guān)系,獲得更多的認(rèn)知與洞見,運用這些認(rèn)知與洞見就可以幫助我們捕捉現(xiàn)在和預(yù)測未來,而建立在相關(guān)關(guān)系分析基礎(chǔ)上的預(yù)測正是大數(shù)據(jù)的核心議題。通過關(guān)注線性的相關(guān)關(guān)系,以及復(fù)雜的非線性相關(guān)關(guān)系,可以幫助人們看到很多以前不曾注意的聯(lián)系,還可以掌握以前無法理解的復(fù)雜技術(shù)和社會動態(tài),相關(guān)關(guān)系甚至可以超越因果關(guān)系,成為我們了解這個世界的更好視角。舍恩伯格指出,大數(shù)據(jù)的出現(xiàn)讓人們放棄了對因果關(guān)系的渴求,轉(zhuǎn)而關(guān)注相關(guān)關(guān)系,人們只需知道”是什么“,而不用知道”為什么“。人們不必非得知道事物或現(xiàn)象背后的復(fù)雜深層原因,而只需要通過大數(shù)據(jù)分析獲知”是什么“就意義非凡,這會給人們提供非常新穎且有價值的觀點、信息和知識。也就是說,在大數(shù)據(jù)時代,思維方式要從因果思維轉(zhuǎn)向相關(guān)思維,努力顛覆千百年來人類形成的傳統(tǒng)思維模式和固有偏見,才能更好地分享大數(shù)據(jù)帶來的深刻洞見。
(四)智能思維
不斷提高機(jī)器的自動化、智能化水平始終是人類社會長期不懈努力的方向。計算機(jī)的出現(xiàn)極大地推動了自動控制、人工智能和機(jī)器學(xué)習(xí)等新技術(shù)的發(fā)展,”機(jī)器人“研發(fā)也取得了突飛猛進(jìn)的成果并開始一定應(yīng)用。應(yīng)該說,自進(jìn)入到信息社會以來,人類社會的自動化、智能化水平已得到明顯提升,但始終面臨瓶頸而無法取得突破性進(jìn)展,機(jī)器的思維方式仍屬于線性、簡單、物理的自然思維,智能水平仍不盡如人意。但是,大數(shù)據(jù)時代的到來,可以為提升機(jī)器智能帶來契機(jī),因為大數(shù)據(jù)將有效推進(jìn)機(jī)器思維方式由自然思維轉(zhuǎn)向智能思維,這才是大數(shù)據(jù)思維轉(zhuǎn)變的關(guān)鍵所在、核心內(nèi)容。眾所周知,人腦之所以具有智能、智慧,就在于它能夠?qū)χ茉獾臄?shù)據(jù)信息進(jìn)行全面收集、邏輯判斷和歸納總結(jié),獲得有關(guān)事物或現(xiàn)象的認(rèn)識與見解。同樣,在大數(shù)據(jù)時代,隨著物聯(lián)網(wǎng)、云計算、社會計算、可視技術(shù)等的突破發(fā)展,大數(shù)據(jù)系統(tǒng)也能夠自動地搜索所有相關(guān)的數(shù)據(jù)信息,并進(jìn)而類似”人腦“一樣主動、立體、邏輯地分析數(shù)據(jù)、做出判斷、提供洞見,那么,無疑也就具有了類似人類的智能思維能力和預(yù)測未來的能力?!敝悄堋⒅腔邸笆谴髷?shù)據(jù)時代的顯著特征,大數(shù)據(jù)時代的思維方式也要求從自然思維轉(zhuǎn)向智能思維,不斷提升機(jī)器或系統(tǒng)的社會計算能力和智能化水平,從而獲得具有洞察力和新價值的東西,甚至類似于人類的”智慧“。
大數(shù)據(jù)時代將帶來深刻的思維轉(zhuǎn)變,大數(shù)據(jù)不僅將改變每個人的日常生活和工作方式,改變商業(yè)組織和社會組織的運行方式,而且將從根本上奠定國家和社會治理的基礎(chǔ)數(shù)據(jù),徹底改變長期以來國家與社會諸多領(lǐng)域存在的”不可治理“狀況,使得國家和社會治理更加透明、有效和智慧,不斷成為企業(yè)、社會和國家層面重要的戰(zhàn)略資源,成為機(jī)構(gòu)的資產(chǎn),成為提升機(jī)構(gòu)和公司競爭力的有力武器。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計學(xué)領(lǐng)域,假設(shè)檢驗是驗證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學(xué)計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學(xué)計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價值 在數(shù)據(jù)驅(qū)動決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實踐到業(yè)務(wù)價值挖掘 在數(shù)據(jù)分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價值導(dǎo)向 統(tǒng)計模型作為數(shù)據(jù)分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10