為什么需要大數(shù)據(jù)安全分析_數(shù)據(jù)分析師考試

毫無疑問，我們已經(jīng)進入了大數(shù)據(jù)（BigData）時代。人類的生產(chǎn)生活每天都在產(chǎn)生大量的數(shù)據(jù)，并且產(chǎn)生的速度越來越快。根據(jù)IDC和EMC的聯(lián)合調查，到2020年全球數(shù)據(jù)總量將達到40ZB。2013年，Gartner將大數(shù)據(jù)列為未來信息架構發(fā)展的10大趨勢之首。Gartner預測將在2011年到2016年間累計創(chuàng)造2320億美元的產(chǎn)值。

大數(shù)據(jù)早就存在，只是一直沒有足夠的基礎實施和技術來對這些數(shù)據(jù)進行有價值的挖據(jù)。隨著存儲成本的不斷下降、以及分析技術的不斷進步，尤其是云計算的出現(xiàn)，不少公司已經(jīng)發(fā)現(xiàn)了大數(shù)據(jù)的巨大價值：它們能揭示其他手段所看不到的新變化趨勢，包括需求、供給和顧客習慣等等。比如，銀行可以以此對自己的客戶有更深入的了解，提供更有個性的定制化服務；銀行和保險公司可以發(fā)現(xiàn)詐騙和騙保；零售企業(yè)更精確探知顧客需求變化，為不同的細分客戶群體提供更有針對性的選擇；制藥企業(yè)可以以此為依據(jù)開發(fā)新藥，詳細追蹤藥物療效，并監(jiān)測潛在的副作用；安全公司則可以識別更具隱蔽性的攻擊、入侵和違規(guī)。

當前網(wǎng)絡與信息安全領域，正在面臨著多種挑戰(zhàn)。一方面，企業(yè)和組織安全體系架構的日趨復雜，各種類型的安全數(shù)據(jù)越來越多，傳統(tǒng)的分析能力明顯力不從心；另一方面，新型威脅的興起，內控與合規(guī)的深入，傳統(tǒng)的分析方法存在諸多缺陷，越來越需要分析更多的安全信息、并且要更加快速的做出判定和響應。信息安全也面臨大數(shù)據(jù)帶來的挑戰(zhàn)。

1 安全數(shù)據(jù)的大數(shù)據(jù)化

安全數(shù)據(jù)的大數(shù)據(jù)化主要體現(xiàn)在以下三個方面：

1） 數(shù)據(jù)量越來越大：網(wǎng)絡已經(jīng)從千兆邁向了萬兆，網(wǎng)絡安全設備要分析的數(shù)據(jù)包數(shù)據(jù)量急劇上升。同時，隨著NGFW的出現(xiàn)，安全網(wǎng)關要進行應用層協(xié)議的分析，分析的數(shù)據(jù)量更是大增。與此同時，隨著安全防御的縱深化，安全監(jiān)測的內容不斷細化，除了傳統(tǒng)的攻擊監(jiān)測，還出現(xiàn)了合規(guī)監(jiān)測、應用監(jiān)測、用戶行為監(jiān)測、性能檢測、事務監(jiān)測，等等，這些都意味著要監(jiān)測和分析比以往更多的數(shù)據(jù)。此外，隨著APT等新型威脅的興起，全包捕獲技術逐步應用，海量數(shù)據(jù)處理問題也日益凸顯。

2） 速度越來越快：對于網(wǎng)絡設備而言，包處理和轉發(fā)的速度需要更快；對于安管平臺、事件分析平臺而言，數(shù)據(jù)源的事件發(fā)送速率（EPS，Event per Second，事件數(shù)每秒）越來越快。

3） 種類越來越多：除了數(shù)據(jù)包、日志、資產(chǎn)數(shù)據(jù)，安全要素信息還加入了漏洞信息、配置信息、身份與訪問信息、用戶行為信息、應用信息、業(yè)務信息、外部情報信息等。

安全數(shù)據(jù)的大數(shù)據(jù)化，自然引發(fā)人們思考如何將大數(shù)據(jù)技術應用于安全領域。

2 傳統(tǒng)的安全分析面臨挑戰(zhàn)

安全數(shù)據(jù)的數(shù)量、速度、種類的迅速膨脹，不僅帶來了海量異構數(shù)據(jù)的融合、存儲和管理的問題，甚至動搖了傳統(tǒng)的安全分析方法。

當前絕大多數(shù)安全分析工具和方法都是針對小數(shù)據(jù)量設計的，在面對大數(shù)據(jù)量時難以為繼。新的攻擊手段層出不窮，需要檢測的數(shù)據(jù)越來越多，現(xiàn)有的分析技術不堪重負。面對天量的安全要素信息，我們如何才能更加迅捷地感知網(wǎng)絡安全態(tài)勢？

傳統(tǒng)的分析方法大都采用基于規(guī)則和特征的分析引擎，必須要有規(guī)則庫和特征庫才能工作，而規(guī)則和特征只能對已知的攻擊和威脅進行描述，無法識別未知的攻擊，或者是尚未被描述成規(guī)則的攻擊和威脅。面對未知攻擊和復雜攻擊如APT等，需要更有效的分析方法和技術！如何做到知所未知？

面對天量安全數(shù)據(jù)，傳統(tǒng)的集中化安全分析平臺（譬如SIEM，安全管理平臺等）也遭遇到了諸多瓶頸，主要表現(xiàn)在以下幾方面：

l高速海量安全數(shù)據(jù)的采集和存儲變得困難

l異構數(shù)據(jù)的存儲和管理變得困難

l威脅數(shù)據(jù)源較小，導致系統(tǒng)判斷能力有限

l對歷史數(shù)據(jù)的檢測能力很弱

l安全事件的調查效率太低

l安全系統(tǒng)相互獨立，無有效手段協(xié)同工作

l分析的方法較少

l對于趨勢性的東西預測較難，對早期預警的能力比較差

l系統(tǒng)交互能力有限，數(shù)據(jù)展示效果有待提高

從上世紀80年代入侵檢測技術的誕生和確立以來，安全分析已經(jīng)發(fā)展了很長的時間。當前，信息與網(wǎng)絡安全分析存在兩個基本的發(fā)展趨勢：情境感知的安全分析與智能化的安全分析。

Gartner在2010年的一份報告中指出，“未來的信息安全將是情境感知的和自適應的”。所謂情境感知，就是利用更多的相關性要素信息的綜合研判來提升安全決策的能力，包括資產(chǎn)感知、位置感知、拓撲感知、應用感知、身份感知、內容感知，等等。情境感知極大地擴展了安全分析的縱深，納入了更多的安全要素信息，拉升了分析的空間和時間范圍，也必然對傳統(tǒng)的安全分析方法提出了挑戰(zhàn)。

同樣是在2010年，Gartner的另一份報告指出，要“為企業(yè)安全智能的興起做好準備”。在這份報告中，Gartner提出了安全智能的概念，強調必須將過去分散的安全信息進行集成與關聯(lián)，獨立的分析方法和工具進行整合形成交互，從而實現(xiàn)智能化的安全分析與決策。而信息的集成、技術的整合必然導致安全要素信息的迅猛增長，智能的分析必然要求將機器學習、數(shù)據(jù)挖據(jù)等技術應用于安全分析，并且要更快更好地的進行安全決策。

3 信息與網(wǎng)絡安全需要大數(shù)據(jù)安全分析

安全數(shù)據(jù)的大數(shù)據(jù)化，以及傳統(tǒng)安全分析所面臨的挑戰(zhàn)和發(fā)展趨勢，都指向了同一個技術——大數(shù)據(jù)分析。正如Gartner在2011年明確指出，“信息安全正在變成一個大數(shù)據(jù)分析問題”。

于是，業(yè)界出現(xiàn)了將大數(shù)據(jù)分析技術應用于信息安全的技術——大數(shù)據(jù)安全分析（BigDataSecurityAnalysis，簡稱BDSA），也有人稱做針對安全的大數(shù)據(jù)分析（Big Data Analysis for Security）。

借助大數(shù)據(jù)安全分析技術，能夠更好地解決天量安全要素信息的采集、存儲的問題，借助基于大數(shù)據(jù)分析技術的機器學習和數(shù)據(jù)挖據(jù)算法，能夠更加智能地洞悉信息與網(wǎng)絡安全的態(tài)勢，更加主動、彈性地去應對新型復雜的威脅和未知多變的風險。

4 啟明星辰大數(shù)據(jù)安全分析平臺

作為國內信息安全領導廠商的啟明星辰依托十幾年在信息安全分析領域積累的豐富經(jīng)驗和領先技術在國內率先推出了具有自主知識產(chǎn)權的啟明星辰泰合大數(shù)據(jù)安全分析平臺（TSOCBigDataSecurity Analysis Platform，簡稱TSOC-BDSAP）。該平臺幫助客戶實現(xiàn)在規(guī)模不斷擴大的異構海量數(shù)據(jù)如事件、流、網(wǎng)絡原始流量、文件等信息中，結合流行的關聯(lián)分析、機器學習、數(shù)理統(tǒng)計、實時分析、歷史分析和人機交互等多種分析方法和技術，發(fā)現(xiàn)傳統(tǒng)的安全產(chǎn)品無法檢測的安全攻擊和威脅。

啟明星辰專門成立了泰合產(chǎn)品本部負責大數(shù)據(jù)安全分析領域及泰合系列管控類和審計類系統(tǒng)的研發(fā)、咨詢、項目實施與運維。泰合產(chǎn)品本部分別在北京、上海、廣州設有研發(fā)中心。

作為中國最早研發(fā)和最領先的安全管理平臺之一，啟明星辰泰合（TSOC）系列安管平臺經(jīng)過10多年的持續(xù)積累，獲得了十多項發(fā)明專利，得到了國家多項專項基金的支持，并擁有目前國內最多的客戶群，從2008年到2013年連續(xù)六年位居中國安全管理平臺市場占有率第一，已經(jīng)成為了安全管理平臺領域的絕對領導者，并且也位居國內大數(shù)據(jù)安全分析領域的領導者陣營。