大數(shù)據(jù)信息安全分析

企業(yè)和其他組織一直在充滿敵意的信息安全環(huán)境中運行，在這個環(huán)境中，計算和存儲資源成為攻擊者使用入侵系統(tǒng)進(jìn)行惡意攻擊的目標(biāo)。其中，個人機密信息被竊取，然后被放在地下市場出售，而國家支持的攻擊導(dǎo)致大量數(shù)據(jù)泄露。在這種情況下，一個企業(yè)需要部署大數(shù)據(jù)安全性分析工具

來保護(hù)有價值的公司資源。

信息安全的很大一部分工作是監(jiān)控和分析服務(wù)器、網(wǎng)絡(luò)和其他設(shè)備上的數(shù)據(jù)。如今大數(shù)據(jù)分析方面的進(jìn)步也已經(jīng)應(yīng)用于安防監(jiān)控中，并且它們可被用于實現(xiàn)更廣泛和更深入的分析。它們與傳統(tǒng)的信息安全分析存在顯著的差異，本文將從兩個方面分別介紹大數(shù)據(jù)安全分析的新的特點，以及企業(yè)在選擇大數(shù)據(jù)分析技術(shù)時需要考慮的關(guān)鍵因素。

大數(shù)據(jù)安全分析的特征

在許多方面，大數(shù)據(jù)安全分析是[安全信息和事件管理security information and event management ，SIEM)及相關(guān)技術(shù)的延伸。雖然只是在分析的數(shù)據(jù)量和數(shù)據(jù)類型方面存在量的差異，但對從安全設(shè)備和應(yīng)用程序提取到的信息類型來說，卻導(dǎo)致了質(zhì)的差異。

大數(shù)據(jù)安全分析工具通常包括兩種功能類別：SIEM，以及性能和可用性監(jiān)控(PAM)。SIEM工具通常包括日志管理、事件管理和行為分析，以及數(shù)據(jù)庫和應(yīng)用程序監(jiān)控。而PAM工具專注于運行管理。然而，大數(shù)據(jù)分析工具比純粹地將SIEM和PAM工具放在一起要擁有更多的功能;它們的目的是實時地收集、整合和分析大規(guī)模的數(shù)據(jù)，這需要一些額外的功能。

與SIEM一樣，大數(shù)據(jù)分析工具具有在網(wǎng)絡(luò)上準(zhǔn)確發(fā)現(xiàn)設(shè)備的能力。在一些情況下，一個配置管理數(shù)據(jù)庫可以補充和提高自動收集到的數(shù)據(jù)的質(zhì)量。此外，大數(shù)據(jù)分析工具還必須能夠與LDAP或Active Directory服務(wù)器，以及其他的第三方安全工具進(jìn)行集成。對事件響應(yīng)工作流程的支持對于SIEM工具可能并不是非常重要，但是當(dāng)日志和其他來源的安全事件數(shù)據(jù)的的數(shù)據(jù)量非常大時，這項功能就必不可少了。

大數(shù)據(jù)信息安全分析與其他領(lǐng)域的安全分析的區(qū)別主要表現(xiàn)在五個主要特征。

主要特性1：可擴展性

大數(shù)據(jù)分析其中的一個主要特點是可伸縮性。這些平臺必須擁有實時或接近實時的數(shù)據(jù)收集能力。網(wǎng)絡(luò)流通是一個不間斷的數(shù)據(jù)包流，數(shù)據(jù)分析的速度必須要和數(shù)據(jù)獲取的速度一樣快。 該分析工具不可能讓網(wǎng)絡(luò)流通暫停來趕上積壓的需要分析的數(shù)據(jù)包。

大數(shù)據(jù)的安全分析不只是用一種無狀態(tài)的方式檢查數(shù)據(jù)包或進(jìn)行深度數(shù)據(jù)包分析，對這個問題的理解是非常重要的。雖然這些都是非常重要和必要的，但是具備跨越時間和空間的事件關(guān)聯(lián)能力是大數(shù)據(jù)分析平臺的關(guān)鍵。這意味著只需要一段很短的時間，一個設(shè)備(比如web服務(wù)器)上記錄的事件流，可以明顯地與一個終端用戶設(shè)備上的事件相對應(yīng)。

主要特性2：報告和可視化

大數(shù)據(jù)分析的另一個重要功能是對分析的報告和支持。安全專家早就通過報表工具來支持業(yè)務(wù)和合規(guī)性報告。他們也有通過帶預(yù)配置安全指標(biāo)的儀表板來提供關(guān)鍵性能指標(biāo)的高層次概述。雖然現(xiàn)有的這兩種工具是必要的，但不足以滿足大數(shù)據(jù)的需求。

對安全分析師來說，要求可視化工具通過穩(wěn)定和快速的識別方式將大數(shù)據(jù)中獲得的信息呈現(xiàn)出來。例如，Sqrrl使用可視化技術(shù)，能夠幫助分析師了解相互連接的數(shù)據(jù)(如網(wǎng)站，用戶和HTTP交易信息)中的復(fù)雜關(guān)系。

主要特性3：持久的大數(shù)據(jù)存儲

大數(shù)據(jù)安全分析名字的由來，是因為區(qū)別于其他安全工具，它提供了突出的存儲和分析能力。大數(shù)據(jù)安全分析的平臺通常采用大數(shù)據(jù)存儲系統(tǒng)，例如Hadoop分布式文件系統(tǒng)(HDFS)和更長的延遲檔案儲存，以及后端處理，以及一個行之有效的批處理計算模型MapReduce。但是MapReduce并不一定是非常有效的，它需要非常密集的I / O支出。一個流行工具Apache Spark可以作為MapReduce的替代，它是一個更廣義的處理模型，相比MapReduce能更有效地利用內(nèi)存。

大數(shù)據(jù)分析系統(tǒng)，如MapReduce和Spark，解決了安全分析的計算需求。同時，長時持久存儲通常還取決于關(guān)系或NoSQL數(shù)據(jù)庫。例如，Splunk Hunk平臺支持在Hadoop和NoSQL數(shù)據(jù)庫之上的分析和可視化。該平臺位于一個組織的非關(guān)系型數(shù)據(jù)存儲與應(yīng)用環(huán)境的其余部分之間。Hunk應(yīng)用直接集成了數(shù)據(jù)存儲，不需要被轉(zhuǎn)移到二級內(nèi)存存儲。Hunk平臺包括用于分析大數(shù)據(jù)的一系列工具。它支持自定義的儀表板和Hunk應(yīng)用程序開發(fā)，它可以直接構(gòu)建在一個HDFS環(huán)境，以及自適應(yīng)搜索和可視化工具之上。

大數(shù)據(jù)安全分析平臺的另一個重要特點是智能反饋，在那里建立了漏洞數(shù)據(jù)庫以及安全性博客和其他新聞來源，潛在的有用信息能夠被持續(xù)更新。大數(shù)據(jù)安全平臺可從多種來源提取數(shù)據(jù)，能夠以它們自定義的數(shù)據(jù)收集方法復(fù)制威脅通知和關(guān)聯(lián)信息。

主要特性4：信息環(huán)境

由于安全事件產(chǎn)生這么多的數(shù)據(jù)，就給分析師和其他信息安全專業(yè)人員帶來了巨大的風(fēng)險，限制了他們辨別關(guān)鍵事件的能力。有用的大數(shù)據(jù)安全分析工具都在特定用戶、設(shè)備和時間的環(huán)境下分析數(shù)據(jù)。

沒有這種背景的數(shù)據(jù)是沒什么用的，并且會導(dǎo)致更高的誤報率。背景信息還改善了行為分析和異常檢測的質(zhì)量。背景信息可以包括相對靜態(tài)的信息，例如一個特定的雇員在特定部門工作。它還可以包括更多的動態(tài)信息，例如，可能會隨著時間而改變的典型使用模式。例如，周一早晨有大量對數(shù)據(jù)倉庫的訪問數(shù)據(jù)是很正常的，因為管理者需要進(jìn)行一些臨時查詢，以便更好地了解周報中描述的事件。

主要特性5：功能廣泛性

大數(shù)據(jù)安全分析的最后一個顯著特征是它的功能涵蓋了非常廣泛的安全領(lǐng)域。當(dāng)然，大數(shù)據(jù)分析將收集來自終端設(shè)備的數(shù)據(jù)，可能是通過因特網(wǎng)連接到TCP或IP網(wǎng)絡(luò)的任何設(shè)備，包括筆記本電腦、智能手機或任何物聯(lián)網(wǎng)設(shè)備。除了物理設(shè)備和虛擬服務(wù)器，大數(shù)據(jù)安全分析必須加入與軟件相關(guān)的安全性。例如，脆弱性評估被用于確定在給定的環(huán)境中的任何可能的安全漏洞。網(wǎng)絡(luò)是一個信息和標(biāo)準(zhǔn)的豐富來源，例如Cisco開發(fā)的NetFlow網(wǎng)絡(luò)協(xié)議，其可以被用于收集給定網(wǎng)絡(luò)上的流量信息。

大數(shù)據(jù)分析平臺，也可以使用入侵檢測產(chǎn)品分析系統(tǒng)或環(huán)境行為，以發(fā)現(xiàn)可能的惡意活動。

大數(shù)據(jù)安全分析與其他形式的安全分析存在質(zhì)的不同。需要可擴展性，需要集成和可視化不同類型數(shù)據(jù)的工具，環(huán)境信息越來越重要，安全功能的廣泛性，其讓導(dǎo)致供應(yīng)商應(yīng)用先進(jìn)的數(shù)據(jù)分析和存儲工具到信息安全中。

如何選擇合適的大數(shù)據(jù)安全分析平臺

大數(shù)據(jù)安全分析技術(shù)結(jié)合了先進(jìn)的安全事件分析功能和事故管理系統(tǒng)功能(SIEM)，適用于很多企業(yè)案例，但不是全部。在投資大數(shù)據(jù)分析平臺之前，請考慮公司使用大數(shù)據(jù)安全系統(tǒng)的組織的能力水平。這里需要考慮幾個因素，從需要保護(hù)的IT基礎(chǔ)設(shè)施，到部署更多安全控制的成本和益處。

基礎(chǔ)設(shè)施規(guī)模

擁有大量IT基礎(chǔ)設(shè)施的組織是大數(shù)據(jù)安全分析主要候選者。應(yīng)用程序、操作系統(tǒng)和網(wǎng)絡(luò)設(shè)備都可以捕獲到惡意活動的痕跡。單獨一種類型的數(shù)據(jù)不能提供足夠的證據(jù)來標(biāo)識活動的威脅，多個數(shù)據(jù)源的組合可以為一個攻擊的狀態(tài)提供更全面的視角。

現(xiàn)有的基礎(chǔ)設(shè)施和安全控制生成了原始數(shù)據(jù)，但是大數(shù)據(jù)分析應(yīng)用程序不需要收集、采集和分析所有的信息。在只有幾臺設(shè)備，而且網(wǎng)絡(luò)結(jié)構(gòu)不是很復(fù)雜的環(huán)境中，大數(shù)據(jù)安全分析可能并不是十分必要，在這種情況下，傳統(tǒng)的SEIM可能已經(jīng)足夠。

近實時監(jiān)控

驅(qū)動大數(shù)據(jù)安全分析需求的另一個因素是近實時采集事故信息的必要性。在一些保存著高價值數(shù)據(jù)、同時又容易遭受到嚴(yán)重攻擊的環(huán)境中，實時監(jiān)控尤為重要，如金融服務(wù)、醫(yī)療保健、政府機構(gòu)等。

最近Verizon的研究發(fā)現(xiàn)，在60%的事件，攻擊者能夠在幾分鐘內(nèi)攻克系統(tǒng)，但幾天內(nèi)檢測到漏洞的比例也很低。減少檢測時間的一種方法是從整個基礎(chǔ)設(shè)施中實時地收集多樣數(shù)據(jù)，并立即篩選出與攻擊事件有關(guān)的數(shù)據(jù)。這是一個大數(shù)據(jù)分析的關(guān)鍵用例。

詳細(xì)歷史數(shù)據(jù)

盡管盡了最大努力，在一段時間內(nèi)可能檢測不到攻擊。在這種情況下，能夠訪問歷史日志和其它事件數(shù)據(jù)是很重要的。只要有足夠的數(shù)據(jù)可用，取證分析可以幫助識別攻擊是如何發(fā)生的。

在某些情況下，取證分析不需要確定漏洞或糾正安全弱點。例如，如果一個小企業(yè)受到攻擊，最經(jīng)濟(jì)有效的補救措施可能雇安全顧問來評估目前的配置和做法，并提出修改建議。在這種情況下，并不需要大數(shù)據(jù)安全分析。其他的安全措施就可能很有效，而且價格便宜。

本地vs云基礎(chǔ)架構(gòu)

顧名思義，大數(shù)據(jù)安全分析需要收集和分析大量各種類型的數(shù)據(jù)。如捕獲網(wǎng)絡(luò)上的所有流量的能力，對捕獲安全事件信息的任何限制，都可能對從大數(shù)據(jù)安全分析系統(tǒng)獲得的信息的質(zhì)量產(chǎn)生嚴(yán)重影響。這一點在云環(huán)境下尤其突出。

云提供商限制網(wǎng)絡(luò)流量的訪問，以減輕網(wǎng)絡(luò)攻擊的風(fēng)險。例如，云計算客戶不能開發(fā)網(wǎng)段來收集網(wǎng)絡(luò)數(shù)據(jù)包的全面數(shù)據(jù)。前瞻性的大數(shù)據(jù)安全分析用戶應(yīng)該考慮云計算供應(yīng)商是如何施加限制來遏制分析范圍的。

有些情況下，大數(shù)據(jù)安全分析對云基礎(chǔ)設(shè)施是有用的，但是，特別是云上有關(guān)登錄生成的數(shù)據(jù)。例如，亞馬遜Web服務(wù)提供了性能監(jiān)控服務(wù)，稱為CloudWatch的，和云API調(diào)用的審計日志，稱為CloudTrail。云上的操作數(shù)據(jù)可能不會和其他數(shù)據(jù)源的數(shù)據(jù)一樣精細(xì)，但它可以補充其他數(shù)據(jù)源。

利用數(shù)據(jù)的能力

大數(shù)據(jù)安全分析攝取和關(guān)聯(lián)了大量數(shù)據(jù)。即使當(dāng)數(shù)據(jù)被概括和聚集的時候，對它的解釋也可能是很有挑戰(zhàn)性的。從大數(shù)據(jù)分析產(chǎn)生的信息的質(zhì)量，部分上講是分析師解釋數(shù)據(jù)能力的一項指標(biāo)。當(dāng)企業(yè)與安全事件扯上關(guān)系的時候，它們需要那些能夠切斷攻擊鏈路，以及理解網(wǎng)絡(luò)流量和操作系統(tǒng)事件的安全分析師。

例如，分析師可能會收到一個數(shù)據(jù)庫服務(wù)器上有關(guān)可疑活動的警報。這很可能不是一個攻擊的第一步。分析師是否可以啟動一個警報，并通過導(dǎo)航歷史數(shù)據(jù)找到相關(guān)事件來確定它是否確實是一個攻擊?如果不能，那么該組織并沒有意識到大數(shù)據(jù)安全分析平臺帶來的好處。

其他安全控制

企業(yè)在投身大數(shù)據(jù)安全分析之前，需要考慮它們在安全實踐方面的整體成熟度。也就是說，其他更便宜和更為簡單的控制應(yīng)該放在第一位。

應(yīng)該定義、執(zhí)行和監(jiān)測清晰的身份和訪問管理策略。例如，操作系統(tǒng)和應(yīng)用程序應(yīng)該定期修補。在虛擬環(huán)境的情況下，機器圖像應(yīng)定期重建，以確保最新的補丁被并入。應(yīng)該使用警報系統(tǒng)監(jiān)視可疑事件或顯著的環(huán)境變化(例如服務(wù)器上增加了一個管理員帳戶)。應(yīng)當(dāng)部署web應(yīng)用防火墻來減少注入攻擊的風(fēng)險和其他基于應(yīng)用程序的威脅。

大數(shù)據(jù)安全分析的好處可能是巨大的，尤其是當(dāng)部署到已經(jīng)實現(xiàn)了全面的防御戰(zhàn)略的基礎(chǔ)設(shè)施。

大數(shù)據(jù)安全分析商業(yè)案例

大數(shù)據(jù)安全分析是一項新的信息安全控制技術(shù)。這些系統(tǒng)的主要用途是合并來自于多個來源的數(shù)據(jù)，并減少手動集成解決方案的需求。同時還解決了其他安全控制存在的不足，例如跨多個數(shù)據(jù)源查詢困難。通過捕獲來自于多個來源的數(shù)據(jù)流，大數(shù)據(jù)分析系統(tǒng)提高了收集取證重要細(xì)節(jié)的機會。