為什么需要大數(shù)據(jù)安全分析_數(shù)據(jù)分析師

毫無(wú)疑問(wèn)，我們已經(jīng)進(jìn)入了大數(shù)據(jù)(Big Data)時(shí)代。人類(lèi)的生產(chǎn)生活每天都在產(chǎn)生大量的數(shù)據(jù)，并且產(chǎn)生的速度越來(lái)越快。根據(jù)IDC和EMC的聯(lián)合調(diào)查，到2020年全球數(shù)據(jù)總量將達(dá)到40ZB。2013年，Gartner將大數(shù)據(jù)列為未來(lái)信息架構(gòu)發(fā)展的10大趨勢(shì)之首。Gartner預(yù)測(cè)將在2011年到2016年間累計(jì)創(chuàng)造2320億美元的產(chǎn)值。

　　大數(shù)據(jù)早就存在，只是一直沒(méi)有足夠的基礎(chǔ)實(shí)施和技術(shù)來(lái)對(duì)這些數(shù)據(jù)進(jìn)行有價(jià)值的挖據(jù)。隨著存儲(chǔ)成本的不斷下降、以及分析技術(shù)的不斷進(jìn)步，尤其是云計(jì)算的出現(xiàn)，不少公司已經(jīng)發(fā)現(xiàn)了大數(shù)據(jù)的巨大價(jià)值：它們能揭示其他手段所看不到的新變化趨勢(shì)，包括需求、供給和顧客習(xí)慣等等。比如，銀行可以以此對(duì)自己的客戶(hù)有更深入的了解，提供更有個(gè)性的定制化服務(wù);銀行和保險(xiǎn)公司可以發(fā)現(xiàn)詐騙和騙保;零售企業(yè)更精確探知顧客需求變化，為不同的細(xì)分客戶(hù)群體提供更有針對(duì)性的選擇;制藥企業(yè)可以以此為依據(jù)開(kāi)發(fā)新藥，詳細(xì)追蹤藥物療效，并監(jiān)測(cè)潛在的副作用;安全公司則可以識(shí)別更具隱蔽性的攻擊、入侵和違規(guī)。

　　當(dāng)前網(wǎng)絡(luò)與信息安全領(lǐng)域，正在面臨著多種挑戰(zhàn)。一方面，企業(yè)和組織安全體系架構(gòu)的日趨復(fù)雜，各種類(lèi)型的安全數(shù)據(jù)越來(lái)越多，傳統(tǒng)的分析能力明顯力不從心;另一方面，新型威脅的興起，內(nèi)控與合規(guī)的深入，傳統(tǒng)的分析方法存在諸多缺陷，越來(lái)越需要分析更多的安全信息、并且要更加快速的做出判定和響應(yīng)。信息安全也面臨大數(shù)據(jù)帶來(lái)的挑戰(zhàn)。

　 安全數(shù)據(jù)的大數(shù)據(jù)化

　　安全數(shù)據(jù)的大數(shù)據(jù)化主要體現(xiàn)在以下三個(gè)方面：

　　1) 數(shù)據(jù)量越來(lái)越大：網(wǎng)絡(luò)已經(jīng)從千兆邁向了萬(wàn)兆，網(wǎng)絡(luò)安全設(shè)備要分析的數(shù)據(jù)包數(shù)據(jù)量急劇上升。同時(shí)，隨著NGFW的出現(xiàn)，安全網(wǎng)關(guān)要進(jìn)行應(yīng)用層協(xié)議的分析，分析的數(shù)據(jù)量更是大增。與此同時(shí)，隨著安全防御的縱深化，安全監(jiān)測(cè)的內(nèi)容不斷細(xì)化，除了傳統(tǒng)的攻擊監(jiān)測(cè)，還出現(xiàn)了合規(guī)監(jiān)測(cè)、應(yīng)用監(jiān)測(cè)、用戶(hù)行為監(jiān)測(cè)、性能檢測(cè)、事務(wù)監(jiān)測(cè)，等等，這些都意味著要監(jiān)測(cè)和分析比以往更多的數(shù)據(jù)。此外，隨著APT等新型威脅的興起，全包捕獲技術(shù)逐步應(yīng)用，海量數(shù)據(jù)處理問(wèn)題也日益凸顯。

　　2) 速度越來(lái)越快：對(duì)于網(wǎng)絡(luò)設(shè)備而言，包處理和轉(zhuǎn)發(fā)的速度需要更快;對(duì)于安管平臺(tái)、事件分析平臺(tái)而言，數(shù)據(jù)源的事件發(fā)送速率(EPS，Event per Second，事件數(shù)每秒)越來(lái)越快。

　　3) 種類(lèi)越來(lái)越多：除了數(shù)據(jù)包、日志、資產(chǎn)數(shù)據(jù)，安全要素信息還加入了漏洞信息、配置信息、身份與訪問(wèn)信息、用戶(hù)行為信息、應(yīng)用信息、業(yè)務(wù)信息、外部情報(bào)信息等。

　　安全數(shù)據(jù)的大數(shù)據(jù)化，自然引發(fā)人們思考如何將大數(shù)據(jù)技術(shù)應(yīng)用于安全領(lǐng)域。

　　傳統(tǒng)的安全分析面臨挑戰(zhàn)

　　安全數(shù)據(jù)的數(shù)量、速度、種類(lèi)的迅速膨脹，不僅帶來(lái)了海量異構(gòu)數(shù)據(jù)的融合、存儲(chǔ)和管理的問(wèn)題，甚至動(dòng)搖了傳統(tǒng)的安全分析方法。

　　當(dāng)前絕大多數(shù)安全分析工具和方法都是針對(duì)小數(shù)據(jù)量設(shè)計(jì)的，在面對(duì)大數(shù)據(jù)量時(shí)難以為繼。新的攻擊手段層出不窮，需要檢測(cè)的數(shù)據(jù)越來(lái)越多，現(xiàn)有的分析技術(shù)不堪重負(fù)。面對(duì)天量的安全要素信息，我們?nèi)绾尾拍芨友附莸馗兄W(wǎng)絡(luò)安全態(tài)勢(shì)？

　　傳統(tǒng)的分析方法大都采用基于規(guī)則和特征的分析引擎，必須要有規(guī)則庫(kù)和特征庫(kù)才能工作，而規(guī)則和特征只能對(duì)已知的攻擊和威脅進(jìn)行描述，無(wú)法識(shí)別未知的攻擊，或者是尚未被描述成規(guī)則的攻擊和威脅。面對(duì)未知攻擊和復(fù)雜攻擊如APT等，需要更有效的分析方法和技術(shù)!如何做到知所未知？

　　面對(duì)天量安全數(shù)據(jù)，傳統(tǒng)的集中化安全分析平臺(tái)(譬如SIEM，安全管理平臺(tái)等)也遭遇到了諸多瓶頸，主要表現(xiàn)在以下幾方面：

　　· 高速海量安全數(shù)據(jù)的采集和存儲(chǔ)變得困難

　　· 異構(gòu)數(shù)據(jù)的存儲(chǔ)和管理變得困難

　　· 威脅數(shù)據(jù)源較小，導(dǎo)致系統(tǒng)判斷能力有限

　　· 對(duì)歷史數(shù)據(jù)的檢測(cè)能力很弱

　　· 安全事件的調(diào)查效率太低

　　· 安全系統(tǒng)相互獨(dú)立，無(wú)有效手段協(xié)同工作

　  · 分析的方法較少

　　· 對(duì)于趨勢(shì)性的東西預(yù)測(cè)較難，對(duì)早期預(yù)警的能力比較差

　　· 系統(tǒng)交互能力有限，數(shù)據(jù)展示效果有待提高

　　從上世紀(jì)80年代入侵檢測(cè)技術(shù)的誕生和確立以來(lái)，安全分析已經(jīng)發(fā)展了很長(zhǎng)的時(shí)間。當(dāng)前，信息與網(wǎng)絡(luò)安全分析存在兩個(gè)基本的發(fā)展趨勢(shì)：情境感知的安全分析與智能化的安全分析。

　　Gartner在2010年的一份報(bào)告中指出，“未來(lái)的信息安全將是情境感知的和自適應(yīng)的”。所謂情境感知，就是利用更多的相關(guān)性要素信息的綜合研判來(lái)提升安全決策的能力，包括資產(chǎn)感知、位置感知、拓?fù)涓兄?、?yīng)用感知、身份感知、內(nèi)容感知，等等。情境感知極大地?cái)U(kuò)展了安全分析的縱深，納入了更多的安全要素信息，拉升了分析的空間和時(shí)間范圍，也必然對(duì)傳統(tǒng)的安全分析方法提出了挑戰(zhàn)。

　　同樣是在2010年，Gartner的另一份報(bào)告指出，要“為企業(yè)安全智能的興起做好準(zhǔn)備”。在這份報(bào)告中，Gartner提出了安全智能的概念，強(qiáng)調(diào)必須將過(guò)去分散的安全信息進(jìn)行集成與關(guān)聯(lián)，獨(dú)立的分析方法和工具進(jìn)行整合形成交互，從而實(shí)現(xiàn)智能化的安全分析與決策。而信息的集成、技術(shù)的整合必然導(dǎo)致安全要素信息的迅猛增長(zhǎng)，智能的分析必然要求將機(jī)器學(xué)習(xí)、數(shù)據(jù)挖據(jù)等技術(shù)應(yīng)用于安全分析，并且要更快更好地的進(jìn)行安全決策。

　　 信息與網(wǎng)絡(luò)安全需要大數(shù)據(jù)安全分析

　　安全數(shù)據(jù)的大數(shù)據(jù)化，以及傳統(tǒng)安全分析所面臨的挑戰(zhàn)和發(fā)展趨勢(shì)，都指向了同一個(gè)技術(shù)——大數(shù)據(jù)分析。正如Gartner在2011年明確指出，“信息安全正在變成一個(gè)大數(shù)據(jù)分析問(wèn)題”。

　　于是，業(yè)界出現(xiàn)了將大數(shù)據(jù)分析技術(shù)應(yīng)用于信息安全的技術(shù)——大數(shù)據(jù)安全分析(Big Data Security Analysis，簡(jiǎn)稱(chēng)BDSA)，也有人稱(chēng)做針對(duì)安全的大數(shù)據(jù)分析(Big Data Analysis for Security)。

　　借助大數(shù)據(jù)安全分析技術(shù)，能夠更好地解決天量安全要素信息的采集、存儲(chǔ)的問(wèn)題，借助基于大數(shù)據(jù)分析技術(shù)的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖據(jù)算法，能夠更加智能地洞悉信息與網(wǎng)絡(luò)安全的態(tài)勢(shì)，更加主動(dòng)、彈性地去應(yīng)對(duì)新型復(fù)雜的威脅和未知多變的風(fēng)險(xiǎn)。

　　 啟明星辰大數(shù)據(jù)安全分析平臺(tái)

　　作為國(guó)內(nèi)信息安全領(lǐng)導(dǎo)廠商的啟明星辰依托十幾年在信息安全分析領(lǐng)域積累的豐富經(jīng)驗(yàn)和領(lǐng)先技術(shù)在國(guó)內(nèi)率先推出了具有自主知識(shí)產(chǎn)權(quán)的啟明星辰泰合大數(shù)據(jù)安全分析平臺(tái)(TSOC Big Data Security Analysis Platform，簡(jiǎn)稱(chēng)TSOC-BDSAP)。該平臺(tái)幫助客戶(hù)實(shí)現(xiàn)在規(guī)模不斷擴(kuò)大的異構(gòu)海量數(shù)據(jù)如事件、流、網(wǎng)絡(luò)原始流量、文件等信息中，結(jié)合流行的關(guān)聯(lián)分析、機(jī)器學(xué)習(xí)、數(shù)理統(tǒng)計(jì)、實(shí)時(shí)分析、歷史分析和人機(jī)交互等多種分析方法和技術(shù)，發(fā)現(xiàn)傳統(tǒng)的安全產(chǎn)品無(wú)法檢測(cè)的安全攻擊和威脅。

　　啟明星辰專(zhuān)門(mén)成立了泰合產(chǎn)品本部負(fù)責(zé)大數(shù)據(jù)安全分析領(lǐng)域及泰合系列管控類(lèi)和審計(jì)類(lèi)系統(tǒng)的研發(fā)、咨詢(xún)、項(xiàng)目實(shí)施與運(yùn)維。泰合產(chǎn)品本部分別在北京、上海、廣州設(shè)有研發(fā)中心。

　　作為中國(guó)最早研發(fā)和最領(lǐng)先的安全管理平臺(tái)之一，啟明星辰泰合(TSOC)系列安管平臺(tái)經(jīng)過(guò)10多年的持續(xù)積累，獲得了十多項(xiàng)發(fā)明專(zhuān)利，得到了國(guó)家多項(xiàng)專(zhuān)項(xiàng)基金的支持，并擁有目前國(guó)內(nèi)最多的客戶(hù)群，從2008年到2013年連續(xù)六年位居中國(guó)安全管理平臺(tái)市場(chǎng)占有率第一，已經(jīng)成為了安全管理平臺(tái)領(lǐng)域的絕對(duì)領(lǐng)導(dǎo)者，并且也位居國(guó)內(nèi)大數(shù)據(jù)安全分析領(lǐng)域的領(lǐng)導(dǎo)者陣營(yíng)