
大數(shù)據(jù)分析:那些必須要知道的事
隨著大數(shù)據(jù)時(shí)代的到來(lái),大數(shù)據(jù)在商業(yè)領(lǐng)域的應(yīng)用正廣泛深入,很多行業(yè)都已經(jīng)開始利用大數(shù)據(jù)來(lái)提高銷售,降低成本,精準(zhǔn)營(yíng)銷等等。然而,其實(shí)大數(shù)據(jù)在網(wǎng)絡(luò)安全與信息安全方面也有很長(zhǎng)足的應(yīng)用。特別是利用大數(shù)據(jù)來(lái)甄別和發(fā)現(xiàn)風(fēng)險(xiǎn)和漏洞。
通過(guò)大數(shù)據(jù),人們可以分析大量的潛在安全事件,找出它們之間的聯(lián)系從而勾勒出一個(gè)完整的安全威脅。通過(guò)大數(shù)據(jù),分散的數(shù)據(jù)可以被整合起來(lái),使得安全人員能夠采用更加主動(dòng)的安全防御手段。
今天,網(wǎng)絡(luò)環(huán)境極為復(fù)雜,APT攻擊以及其他一些網(wǎng)絡(luò)攻擊可以通過(guò)對(duì)從不同數(shù)據(jù)源的數(shù)據(jù)的搜索和分析來(lái)對(duì)安全威脅加以甄別,要做到這一點(diǎn),就需要對(duì)一系列數(shù)據(jù)源的進(jìn)行監(jiān)控,包括DNS數(shù)據(jù),命令與控制(C2),黑白名單等。從而能夠把這些數(shù)據(jù)進(jìn)行關(guān)聯(lián)來(lái)進(jìn)行發(fā)囧。
企業(yè)針對(duì)安全的大數(shù)據(jù)分析下面是一些要點(diǎn):
DNS數(shù)據(jù)
DNS數(shù)據(jù)能夠提供一系列新注冊(cè)域名,經(jīng)常用來(lái)進(jìn)行垃圾信息發(fā)送的域名,以及新創(chuàng)建的域名等等,所有這些信息都可以和黑白名單結(jié)合起來(lái),所有這些數(shù)據(jù)都應(yīng)該收集起來(lái)做進(jìn)一步分析。
如果自有DNS服務(wù)器,就能過(guò)檢查那些對(duì)外的域名查詢,這樣可能發(fā)現(xiàn)一些無(wú)法解析的域名。這種情況就可能意味著你檢測(cè)到了一個(gè)“域名生成算法”.這樣的信息就能夠讓安全團(tuán)隊(duì)對(duì)公司網(wǎng)絡(luò)進(jìn)行保護(hù)。而且如果對(duì)局域網(wǎng)流量數(shù)據(jù)日志進(jìn)行分析的話,就有可能找到對(duì)應(yīng)的受到攻擊的機(jī)器。
命令與控制(C2)系統(tǒng)
把命令與控制數(shù)據(jù)結(jié)合進(jìn)來(lái)可以得到一個(gè)IP地址和域名的黑名單。對(duì)于公司網(wǎng)絡(luò)來(lái)說(shuō),網(wǎng)絡(luò)流量絕對(duì)不應(yīng)該流向那些已知的命令與控制系統(tǒng)。如果網(wǎng)絡(luò)安全人員要仔細(xì)調(diào)查網(wǎng)絡(luò)攻擊的話,可以把來(lái)自C2系統(tǒng)的流量引導(dǎo)到公司設(shè)好的“蜜罐”機(jī)器上去。
安全威脅情報(bào)
有一些類似與網(wǎng)絡(luò)信譽(yù)的數(shù)據(jù)源可以用來(lái)判定一個(gè)地址是否是安全的。有些數(shù)據(jù)源提供“是”與“否”的判定,有的還提供一些關(guān)于威脅等級(jí)的信息。網(wǎng)絡(luò)安全人員能夠根據(jù)他們能夠接受的風(fēng)險(xiǎn)大小來(lái)決定某個(gè)地址是否應(yīng)該訪問(wèn)。
網(wǎng)絡(luò)流量日志
有很多廠商都提供記錄網(wǎng)絡(luò)流量日志的工具。在利用流量日志來(lái)分析安全威脅的時(shí)候,人們很容易被淹沒(méi)在大量的“噪音”數(shù)據(jù)中。不過(guò)流量日志依然是安全分析的基本要求。有一些好的算法和軟件能夠幫助人們提供分析質(zhì)量。
“蜜罐”數(shù)據(jù)
“蜜罐”可以有效地檢測(cè)針對(duì)特定網(wǎng)絡(luò)的惡意軟件。此外,通過(guò)“蜜罐”獲得的惡意軟件可以通過(guò)分析獲得其特征碼,從而進(jìn)一步監(jiān)控網(wǎng)絡(luò)中其他設(shè)備的感染情況。這樣的信息是非常有價(jià)值的,尤其是很多APT攻擊所采用的定制的惡意代碼往往無(wú)法被常規(guī)防病毒軟件所發(fā)現(xiàn)。參見(jiàn)本站文章企業(yè)設(shè)置“蜜罐”的五大理由
數(shù)據(jù)質(zhì)量很重要
最后,企業(yè)要注意數(shù)據(jù)的質(zhì)量。市場(chǎng)上有很多數(shù)據(jù)可用,在安全人員進(jìn)行大數(shù)據(jù)安全分析時(shí),這些數(shù)據(jù)的質(zhì)量和準(zhǔn)確性是一個(gè)最重要的考量。因此,企業(yè)需要有一個(gè)內(nèi)部的數(shù)據(jù)評(píng)估團(tuán)隊(duì)針對(duì)數(shù)據(jù)來(lái)源提出相應(yīng)的問(wèn)題,如:最近的數(shù)據(jù)是什么時(shí)候添加的?有沒(méi)有樣本數(shù)據(jù)以供評(píng)估?每天能夠添加多少數(shù)據(jù)?這些數(shù)據(jù)哪些是免費(fèi)的?數(shù)據(jù)總共收集了多久?等等。
安全事件和數(shù)據(jù)泄露的新聞幾乎每天都能夠出現(xiàn)在報(bào)紙上,即使企業(yè)已經(jīng)開始采取手段防御APT,傳統(tǒng)的安全防御手段對(duì)于APT之類的攻擊顯得辦法不多。而利用大數(shù)據(jù),企業(yè)可以采取更為主動(dòng)的防御措施,使得安全防御的深度和廣度都大為加強(qiáng)。
大數(shù)據(jù)價(jià)值的集中體現(xiàn),就是運(yùn)用大數(shù)據(jù)分析將本身存在的價(jià)值應(yīng)用到實(shí)處,然而,大數(shù)據(jù)分析存在的安全問(wèn)題也不容忽視,為此,企業(yè)應(yīng)綜合考量影響大數(shù)據(jù)分析安全性的各項(xiàng)因素,掌握每個(gè)要點(diǎn),就能做到萬(wàn)無(wú)一失。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
訓(xùn)練與驗(yàn)證損失驟升:機(jī)器學(xué)習(xí)訓(xùn)練中的異常診斷與解決方案 在機(jī)器學(xué)習(xí)模型訓(xùn)練過(guò)程中,“損失曲線” 是反映模型學(xué)習(xí)狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對(duì)數(shù)據(jù)的需求已從 “存儲(chǔ)” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計(jì)基本概念成為業(yè)務(wù)決策的底層邏輯 統(tǒng)計(jì)基本概念是商業(yè)數(shù)據(jù)分析的 “基礎(chǔ)語(yǔ)言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫(kù)表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無(wú)論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫(kù)管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫(kù)表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫(kù))處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場(chǎng)景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對(duì)象的 text 與 content:區(qū)別、場(chǎng)景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請(qǐng)求開發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫(kù)表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請(qǐng)求工具對(duì)比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請(qǐng)求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問(wèn)題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問(wèn)題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營(yíng)問(wèn)題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過(guò)程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營(yíng)銷案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見(jiàn)頂” 的當(dāng)下,精準(zhǔn)營(yíng)銷成為企業(yè)突圍的核心方 ...
2025-09-11