
大數(shù)據(jù)信息安全分析
企業(yè)和其他組織一直在充滿敵意的信息安全環(huán)境中運行,在這個環(huán)境中,計算和存儲資源成為攻擊者使用入侵系統(tǒng)進行惡意攻擊的目標。其中,個人機密信息被竊取,然后被放在地下市場出售,而國家支持的攻擊導致大量數(shù)據(jù)泄露。在這種情況下,一個企業(yè)需要部署大數(shù)據(jù)安全性分析工具
來保護有價值的公司資源。
信息安全的很大一部分工作是監(jiān)控和分析服務器、網(wǎng)絡和其他設(shè)備上的數(shù)據(jù)。如今大數(shù)據(jù)分析方面的進步也已經(jīng)應用于安防監(jiān)控中,并且它們可被用于實現(xiàn)更廣泛和更深入的分析。它們與傳統(tǒng)的信息安全分析存在顯著的差異,本文將從兩個方面分別介紹大數(shù)據(jù)安全分析的新的特點,以及企業(yè)在選擇大數(shù)據(jù)分析技術(shù)時需要考慮的關(guān)鍵因素。
大數(shù)據(jù)安全分析的特征
在許多方面,大數(shù)據(jù)安全分析是[安全信息和事件管理security information and event management ,SIEM)及相關(guān)技術(shù)的延伸。雖然只是在分析的數(shù)據(jù)量和數(shù)據(jù)類型方面存在量的差異,但對從安全設(shè)備和應用程序提取到的信息類型來說,卻導致了質(zhì)的差異。
大數(shù)據(jù)安全分析工具通常包括兩種功能類別:SIEM,以及性能和可用性監(jiān)控(PAM)。SIEM工具通常包括日志管理、事件管理和行為分析,以及數(shù)據(jù)庫和應用程序監(jiān)控。而PAM工具專注于運行管理。然而,大數(shù)據(jù)分析工具比純粹地將SIEM和PAM工具放在一起要擁有更多的功能;它們的目的是實時地收集、整合和分析大規(guī)模的數(shù)據(jù),這需要一些額外的功能。
與SIEM一樣,大數(shù)據(jù)分析工具具有在網(wǎng)絡上準確發(fā)現(xiàn)設(shè)備的能力。在一些情況下,一個配置管理數(shù)據(jù)庫可以補充和提高自動收集到的數(shù)據(jù)的質(zhì)量。此外,大數(shù)據(jù)分析工具還必須能夠與LDAP或Active Directory服務器,以及其他的第三方安全工具進行集成。對事件響應工作流程的支持對于SIEM工具可能并不是非常重要,但是當日志和其他來源的安全事件數(shù)據(jù)的的數(shù)據(jù)量非常大時,這項功能就必不可少了。
大數(shù)據(jù)信息安全分析與其他領(lǐng)域的安全分析的區(qū)別主要表現(xiàn)在五個主要特征。
主要特性1:可擴展性
大數(shù)據(jù)分析其中的一個主要特點是可伸縮性。這些平臺必須擁有實時或接近實時的數(shù)據(jù)收集能力。網(wǎng)絡流通是一個不間斷的數(shù)據(jù)包流,數(shù)據(jù)分析的速度必須要和數(shù)據(jù)獲取的速度一樣快。 該分析工具不可能讓網(wǎng)絡流通暫停來趕上積壓的需要分析的數(shù)據(jù)包。
大數(shù)據(jù)的安全分析不只是用一種無狀態(tài)的方式檢查數(shù)據(jù)包或進行深度數(shù)據(jù)包分析,對這個問題的理解是非常重要的。雖然這些都是非常重要和必要的,但是具備跨越時間和空間的事件關(guān)聯(lián)能力是大數(shù)據(jù)分析平臺的關(guān)鍵。這意味著只需要一段很短的時間,一個設(shè)備(比如web服務器)上記錄的事件流,可以明顯地與一個終端用戶設(shè)備上的事件相對應。
主要特性2:報告和可視化
大數(shù)據(jù)分析的另一個重要功能是對分析的報告和支持。安全專家早就通過報表工具來支持業(yè)務和合規(guī)性報告。他們也有通過帶預配置安全指標的儀表板來提供關(guān)鍵性能指標的高層次概述。雖然現(xiàn)有的這兩種工具是必要的,但不足以滿足大數(shù)據(jù)的需求。
對安全分析師來說,要求可視化工具通過穩(wěn)定和快速的識別方式將大數(shù)據(jù)中獲得的信息呈現(xiàn)出來。例如,Sqrrl使用可視化技術(shù),能夠幫助分析師了解相互連接的數(shù)據(jù)(如網(wǎng)站,用戶和HTTP交易信息)中的復雜關(guān)系。
主要特性3:持久的大數(shù)據(jù)存儲
大數(shù)據(jù)安全分析名字的由來,是因為區(qū)別于其他安全工具,它提供了突出的存儲和分析能力。大數(shù)據(jù)安全分析的平臺通常采用大數(shù)據(jù)存儲系統(tǒng),例如Hadoop分布式文件系統(tǒng)(HDFS)和更長的延遲檔案儲存,以及后端處理,以及一個行之有效的批處理計算模型MapReduce。但是MapReduce并不一定是非常有效的,它需要非常密集的I / O支出。一個流行工具Apache Spark可以作為MapReduce的替代,它是一個更廣義的處理模型,相比MapReduce能更有效地利用內(nèi)存。
大數(shù)據(jù)分析系統(tǒng),如MapReduce和Spark,解決了安全分析的計算需求。同時,長時持久存儲通常還取決于關(guān)系或NoSQL數(shù)據(jù)庫。例如,Splunk Hunk平臺支持在Hadoop和NoSQL數(shù)據(jù)庫之上的分析和可視化。該平臺位于一個組織的非關(guān)系型數(shù)據(jù)存儲與應用環(huán)境的其余部分之間。Hunk應用直接集成了數(shù)據(jù)存儲,不需要被轉(zhuǎn)移到二級內(nèi)存存儲。Hunk平臺包括用于分析大數(shù)據(jù)的一系列工具。它支持自定義的儀表板和Hunk應用程序開發(fā),它可以直接構(gòu)建在一個HDFS環(huán)境,以及自適應搜索和可視化工具之上。
大數(shù)據(jù)安全分析平臺的另一個重要特點是智能反饋,在那里建立了漏洞數(shù)據(jù)庫以及安全性博客和其他新聞來源,潛在的有用信息能夠被持續(xù)更新。大數(shù)據(jù)安全平臺可從多種來源提取數(shù)據(jù),能夠以它們自定義的數(shù)據(jù)收集方法復制威脅通知和關(guān)聯(lián)信息。
主要特性4:信息環(huán)境
由于安全事件產(chǎn)生這么多的數(shù)據(jù),就給分析師和其他信息安全專業(yè)人員帶來了巨大的風險,限制了他們辨別關(guān)鍵事件的能力。有用的大數(shù)據(jù)安全分析工具都在特定用戶、設(shè)備和時間的環(huán)境下分析數(shù)據(jù)。
沒有這種背景的數(shù)據(jù)是沒什么用的,并且會導致更高的誤報率。背景信息還改善了行為分析和異常檢測的質(zhì)量。背景信息可以包括相對靜態(tài)的信息,例如一個特定的雇員在特定部門工作。它還可以包括更多的動態(tài)信息,例如,可能會隨著時間而改變的典型使用模式。例如,周一早晨有大量對數(shù)據(jù)倉庫的訪問數(shù)據(jù)是很正常的,因為管理者需要進行一些臨時查詢,以便更好地了解周報中描述的事件。
主要特性5:功能廣泛性
大數(shù)據(jù)安全分析的最后一個顯著特征是它的功能涵蓋了非常廣泛的安全領(lǐng)域。當然,大數(shù)據(jù)分析將收集來自終端設(shè)備的數(shù)據(jù),可能是通過因特網(wǎng)連接到TCP或IP網(wǎng)絡的任何設(shè)備,包括筆記本電腦、智能手機或任何物聯(lián)網(wǎng)設(shè)備。除了物理設(shè)備和虛擬服務器,大數(shù)據(jù)安全分析必須加入與軟件相關(guān)的安全性。例如,脆弱性評估被用于確定在給定的環(huán)境中的任何可能的安全漏洞。網(wǎng)絡是一個信息和標準的豐富來源,例如Cisco開發(fā)的NetFlow網(wǎng)絡協(xié)議,其可以被用于收集給定網(wǎng)絡上的流量信息。
大數(shù)據(jù)分析平臺,也可以使用入侵檢測產(chǎn)品分析系統(tǒng)或環(huán)境行為,以發(fā)現(xiàn)可能的惡意活動。
大數(shù)據(jù)安全分析與其他形式的安全分析存在質(zhì)的不同。需要可擴展性,需要集成和可視化不同類型數(shù)據(jù)的工具,環(huán)境信息越來越重要,安全功能的廣泛性,其讓導致供應商應用先進的數(shù)據(jù)分析和存儲工具到信息安全中。
如何選擇合適的大數(shù)據(jù)安全分析平臺
大數(shù)據(jù)安全分析技術(shù)結(jié)合了先進的安全事件分析功能和事故管理系統(tǒng)功能(SIEM),適用于很多企業(yè)案例,但不是全部。在投資大數(shù)據(jù)分析平臺之前,請考慮公司使用大數(shù)據(jù)安全系統(tǒng)的組織的能力水平。這里需要考慮幾個因素,從需要保護的IT基礎(chǔ)設(shè)施,到部署更多安全控制的成本和益處。
基礎(chǔ)設(shè)施規(guī)模
擁有大量IT基礎(chǔ)設(shè)施的組織是大數(shù)據(jù)安全分析主要候選者。應用程序、操作系統(tǒng)和網(wǎng)絡設(shè)備都可以捕獲到惡意活動的痕跡。單獨一種類型的數(shù)據(jù)不能提供足夠的證據(jù)來標識活動的威脅,多個數(shù)據(jù)源的組合可以為一個攻擊的狀態(tài)提供更全面的視角。
現(xiàn)有的基礎(chǔ)設(shè)施和安全控制生成了原始數(shù)據(jù),但是大數(shù)據(jù)分析應用程序不需要收集、采集和分析所有的信息。在只有幾臺設(shè)備,而且網(wǎng)絡結(jié)構(gòu)不是很復雜的環(huán)境中,大數(shù)據(jù)安全分析可能并不是十分必要,在這種情況下,傳統(tǒng)的SEIM可能已經(jīng)足夠。
近實時監(jiān)控
驅(qū)動大數(shù)據(jù)安全分析需求的另一個因素是近實時采集事故信息的必要性。在一些保存著高價值數(shù)據(jù)、同時又容易遭受到嚴重攻擊的環(huán)境中,實時監(jiān)控尤為重要,如金融服務、醫(yī)療保健、政府機構(gòu)等。
最近Verizon的研究發(fā)現(xiàn),在60%的事件,攻擊者能夠在幾分鐘內(nèi)攻克系統(tǒng),但幾天內(nèi)檢測到漏洞的比例也很低。減少檢測時間的一種方法是從整個基礎(chǔ)設(shè)施中實時地收集多樣數(shù)據(jù),并立即篩選出與攻擊事件有關(guān)的數(shù)據(jù)。這是一個大數(shù)據(jù)分析的關(guān)鍵用例。
詳細歷史數(shù)據(jù)
盡管盡了最大努力,在一段時間內(nèi)可能檢測不到攻擊。在這種情況下,能夠訪問歷史日志和其它事件數(shù)據(jù)是很重要的。只要有足夠的數(shù)據(jù)可用,取證分析可以幫助識別攻擊是如何發(fā)生的。
在某些情況下,取證分析不需要確定漏洞或糾正安全弱點。例如,如果一個小企業(yè)受到攻擊,最經(jīng)濟有效的補救措施可能雇安全顧問來評估目前的配置和做法,并提出修改建議。在這種情況下,并不需要大數(shù)據(jù)安全分析。其他的安全措施就可能很有效,而且價格便宜。
本地vs云基礎(chǔ)架構(gòu)
顧名思義,大數(shù)據(jù)安全分析需要收集和分析大量各種類型的數(shù)據(jù)。如捕獲網(wǎng)絡上的所有流量的能力,對捕獲安全事件信息的任何限制,都可能對從大數(shù)據(jù)安全分析系統(tǒng)獲得的信息的質(zhì)量產(chǎn)生嚴重影響。這一點在云環(huán)境下尤其突出。
云提供商限制網(wǎng)絡流量的訪問,以減輕網(wǎng)絡攻擊的風險。例如,云計算客戶不能開發(fā)網(wǎng)段來收集網(wǎng)絡數(shù)據(jù)包的全面數(shù)據(jù)。前瞻性的大數(shù)據(jù)安全分析用戶應該考慮云計算供應商是如何施加限制來遏制分析范圍的。
有些情況下,大數(shù)據(jù)安全分析對云基礎(chǔ)設(shè)施是有用的,但是,特別是云上有關(guān)登錄生成的數(shù)據(jù)。例如,亞馬遜Web服務提供了性能監(jiān)控服務,稱為CloudWatch的,和云API調(diào)用的審計日志,稱為CloudTrail。云上的操作數(shù)據(jù)可能不會和其他數(shù)據(jù)源的數(shù)據(jù)一樣精細,但它可以補充其他數(shù)據(jù)源。
利用數(shù)據(jù)的能力
大數(shù)據(jù)安全分析攝取和關(guān)聯(lián)了大量數(shù)據(jù)。即使當數(shù)據(jù)被概括和聚集的時候,對它的解釋也可能是很有挑戰(zhàn)性的。從大數(shù)據(jù)分析產(chǎn)生的信息的質(zhì)量,部分上講是分析師解釋數(shù)據(jù)能力的一項指標。當企業(yè)與安全事件扯上關(guān)系的時候,它們需要那些能夠切斷攻擊鏈路,以及理解網(wǎng)絡流量和操作系統(tǒng)事件的安全分析師。
例如,分析師可能會收到一個數(shù)據(jù)庫服務器上有關(guān)可疑活動的警報。這很可能不是一個攻擊的第一步。分析師是否可以啟動一個警報,并通過導航歷史數(shù)據(jù)找到相關(guān)事件來確定它是否確實是一個攻擊?如果不能,那么該組織并沒有意識到大數(shù)據(jù)安全分析平臺帶來的好處。
其他安全控制
企業(yè)在投身大數(shù)據(jù)安全分析之前,需要考慮它們在安全實踐方面的整體成熟度。也就是說,其他更便宜和更為簡單的控制應該放在第一位。
應該定義、執(zhí)行和監(jiān)測清晰的身份和訪問管理策略。例如,操作系統(tǒng)和應用程序應該定期修補。在虛擬環(huán)境的情況下,機器圖像應定期重建,以確保最新的補丁被并入。應該使用警報系統(tǒng)監(jiān)視可疑事件或顯著的環(huán)境變化(例如服務器上增加了一個管理員帳戶)。應當部署web應用防火墻來減少注入攻擊的風險和其他基于應用程序的威脅。
大數(shù)據(jù)安全分析的好處可能是巨大的,尤其是當部署到已經(jīng)實現(xiàn)了全面的防御戰(zhàn)略的基礎(chǔ)設(shè)施。
大數(shù)據(jù)安全分析商業(yè)案例
大數(shù)據(jù)安全分析是一項新的信息安全控制技術(shù)。這些系統(tǒng)的主要用途是合并來自于多個來源的數(shù)據(jù),并減少手動集成解決方案的需求。同時還解決了其他安全控制存在的不足,例如跨多個數(shù)據(jù)源查詢困難。通過捕獲來自于多個來源的數(shù)據(jù)流,大數(shù)據(jù)分析系統(tǒng)提高了收集取證重要細節(jié)的機會。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(RNN)家族中,長短期記憶網(wǎng)絡(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預測分析中的應用:從數(shù)據(jù)查詢到趨勢預判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應對策略? 長短期記憶網(wǎng)絡(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調(diào)研數(shù)據(jù)中的深度應用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03