大數(shù)據(jù)安全分析是什么

在《為什么需要大數(shù)據(jù)安全分析》一文中，我們已經(jīng)闡述了一個(gè)重要觀點(diǎn)，即：安全要素信息呈現(xiàn)出大數(shù)據(jù)的特征，而傳統(tǒng)的安全分析方法面臨重大挑戰(zhàn)，信息與網(wǎng)絡(luò)安全需要基于大數(shù)據(jù)的安全分析。那么，到底什么是大數(shù)據(jù)安全分析，他與我們一般意義上的大數(shù)據(jù)分析有何異同之處？讓我們先從大數(shù)據(jù)自身的定義開(kāi)始。

1大數(shù)據(jù)的定義

如何定義大數(shù)據(jù)？《大數(shù)據(jù)的沖擊》一書(shū)將大數(shù)據(jù)通俗定義為“用現(xiàn)有的一般技術(shù)難以管理的大量數(shù)據(jù)的集合”，并廣義地定義為“一個(gè)綜合性概念，它包括因具備3V（海量/高速/多樣，Volume / Variety/Velocity）特征而難以進(jìn)行管理的數(shù)據(jù)，對(duì)這些數(shù)據(jù)進(jìn)行存儲(chǔ)、處理、分析的技術(shù)，以及能夠通過(guò)分析這些數(shù)據(jù)獲得實(shí)用意義和觀點(diǎn)的人才和組織?！?

Gartner將大數(shù)據(jù)定義為“海量、高速、多變的信息資產(chǎn)，需要對(duì)它進(jìn)行經(jīng)濟(jì)的、創(chuàng)新性的信息處理從而獲得超越以往的洞察力、決策支持能力和處理的自動(dòng)化”（high volume, velocity and/or variety information assets that demand cost-effective, innovative forms of information processing that enable enhanced insight, decision making, and process automation）。

2大數(shù)據(jù)的基本特征

大數(shù)據(jù)的三個(gè)公認(rèn)的基本特點(diǎn)是3V，即海量、高速和多變。海量是指數(shù)據(jù)容量越來(lái)越大；高速表示需要處理的速度和響應(yīng)的時(shí)間越來(lái)越快，對(duì)系統(tǒng)的延時(shí)要求相當(dāng)高；多變就要處理各種各樣類(lèi)型的數(shù)據(jù)，包括結(jié)構(gòu)化的、半結(jié)構(gòu)化的、甚至是非結(jié)構(gòu)化的數(shù)據(jù)。

IBM在上述三個(gè)特點(diǎn)基礎(chǔ)之上增加了一個(gè)V（Veracity），即“真實(shí)性”、“準(zhǔn)確性”。IBM認(rèn)為只有真實(shí)而準(zhǔn)確的數(shù)據(jù)才能讓對(duì)數(shù)據(jù)的管控和治理真正有意義。

此外，業(yè)界還有人總結(jié)出其它的大數(shù)據(jù)特點(diǎn)，例如低價(jià)值密度（Value）、存活性（Viability），等等。低價(jià)值密度是指大數(shù)據(jù)中真正有意義的信息含量比重低；存活性是指特定情況下的大數(shù)據(jù)具有很強(qiáng)的時(shí)效性。

3大數(shù)據(jù)分析的定義

大數(shù)據(jù)技術(shù)的核心就是大數(shù)據(jù)分析（Big Data Analysis / Analytics）。一般地，人們將大數(shù)據(jù)分析定義為一組能夠高效存儲(chǔ)和處理海量數(shù)據(jù)、并有效達(dá)成多種分析目標(biāo)的工具及技術(shù)的集合。

Gartner將大數(shù)據(jù)分析定義為追求顯露模式檢測(cè)和發(fā)散模式檢測(cè)，以及強(qiáng)化對(duì)過(guò)去未連接資產(chǎn)的使用的實(shí)踐和方法（the practices and technology used to pursue emerging and divergent pattern detection as well as enhance the use of previously disconnected information assets），意即一套針對(duì)大數(shù)據(jù)進(jìn)行知識(shí)發(fā)現(xiàn)的方法。

通俗地講，大數(shù)據(jù)分析技術(shù)就是大數(shù)據(jù)的收集、存儲(chǔ)、分析和可視化的技術(shù)，是一套能夠解決大數(shù)據(jù)的4V（海量、高速、多變、低密度）問(wèn)題，分析出高價(jià)值（Value）的信息的工具集合。

4大數(shù)據(jù)安全分析

當(dāng)前網(wǎng)絡(luò)與信息安全領(lǐng)域，正在面臨著多種挑戰(zhàn)。一方面，企業(yè)和組織安全體系架構(gòu)的日趨復(fù)雜，各種類(lèi)型的安全數(shù)據(jù)越來(lái)越多，傳統(tǒng)的分析能力明顯力不從心；另一方面，新型威脅的興起，內(nèi)控與合規(guī)的深入，傳統(tǒng)的分析方法存在諸多缺陷，越來(lái)越需要分析更多的安全信息、并且要更加快速的做出判定和響應(yīng)。信息安全也面臨大數(shù)據(jù)帶來(lái)的挑戰(zhàn)。

于是，業(yè)界出現(xiàn)了將大數(shù)據(jù)分析技術(shù)應(yīng)用于信息安全的技術(shù)——大數(shù)據(jù)安全分析（Big Data Security Analysis / Analytics，簡(jiǎn)稱(chēng)BDSA），也有人稱(chēng)做針對(duì)安全的大數(shù)據(jù)分析（Big Data Analysis for Security）。

必須特別指出的是，大數(shù)據(jù)安全分析是指利用大數(shù)據(jù)技術(shù)來(lái)進(jìn)行安全分析，而非我們一般所言的大數(shù)據(jù)安全（Big Data Security）。大數(shù)據(jù)安全，通常是指研究如何保護(hù)大數(shù)據(jù)自身的安全，包括針對(duì)大數(shù)據(jù)計(jì)算和大數(shù)據(jù)存儲(chǔ)的安全性。

以上，也闡釋了大數(shù)據(jù)和安全的兩個(gè)連接關(guān)系，即基于大數(shù)據(jù)技術(shù)的安全和大數(shù)據(jù)自身的安全。這兩者是兩個(gè)不同的領(lǐng)域，本文探討的是前者，即基于大數(shù)據(jù)技術(shù)的安全，本質(zhì)上就是大數(shù)據(jù)技術(shù)的一種在安全領(lǐng)域的應(yīng)用。

借助大數(shù)據(jù)安全分析技術(shù)，能夠更好地解決天量安全要素信息的采集、存儲(chǔ)的問(wèn)題，借助基于大數(shù)據(jù)分析技術(shù)的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖據(jù)算法，能夠更加智能地洞悉信息與網(wǎng)絡(luò)安全的態(tài)勢(shì)，更加主動(dòng)、彈性地去應(yīng)對(duì)新型復(fù)雜的威脅和未知多變的風(fēng)險(xiǎn)。

必須強(qiáng)調(diào)的是，對(duì)于大數(shù)據(jù)安全分析而言，最關(guān)鍵的不在于大數(shù)據(jù)本身，而在于對(duì)這些數(shù)據(jù)的分析方法。大數(shù)據(jù)安全分析可以用到大數(shù)據(jù)分析的所有普適性的方法和技術(shù)，但當(dāng)應(yīng)用到網(wǎng)絡(luò)安全領(lǐng)域的時(shí)候，還必須考慮到安全數(shù)據(jù)自身的特點(diǎn)和安全分析的目標(biāo)，這樣大數(shù)據(jù)安全分析的應(yīng)用才更有價(jià)值。例如，在進(jìn)行異常行為分析，或者惡意代碼分析和APT攻擊分析的時(shí)候，分析模型才是最重要的。其次，才是考慮如何利用大數(shù)據(jù)分析技術(shù)（例如并行計(jì)算、實(shí)時(shí)計(jì)算、分布式計(jì)算）來(lái)實(shí)現(xiàn)這個(gè)分析模型。

此外，大數(shù)據(jù)安全分析要產(chǎn)生實(shí)際價(jià)值還離不開(kāi)安全分析師。

5大數(shù)據(jù)安全分析平臺(tái)

大數(shù)據(jù)安全分析不是一個(gè)產(chǎn)品分類(lèi)，而代表一種技術(shù)，一種安全分析的理念和方法。各種安全產(chǎn)品都能夠運(yùn)用大數(shù)據(jù)安全分析技術(shù)去重塑自身。

在一個(gè)較為完備的基于大數(shù)據(jù)安全分析的解決方案中，往往會(huì)有一個(gè)大數(shù)據(jù)安全分析平臺(tái)作為整個(gè)方案的核心部件，承載大數(shù)據(jù)分析的核心功能，將分散的安全要素信息進(jìn)行集中、存儲(chǔ)、分析、可視化，對(duì)分析的結(jié)果進(jìn)行分發(fā)，對(duì)分析的任務(wù)進(jìn)行調(diào)度，將各個(gè)分散的安全分析技術(shù)整合到一起，實(shí)現(xiàn)各種技術(shù)間的互動(dòng)。

6啟明星辰大數(shù)據(jù)安全分析平臺(tái)

作為國(guó)內(nèi)信息安全領(lǐng)導(dǎo)廠商的啟明星辰依托十幾年在信息安全分析領(lǐng)域積累的豐富經(jīng)驗(yàn)和領(lǐng)先技術(shù)在國(guó)內(nèi)率先推出了具有自主知識(shí)產(chǎn)權(quán)的啟明星辰泰合大數(shù)據(jù)安全分析平臺(tái)（TSOC Big Data Security Analysis Platform，簡(jiǎn)稱(chēng)TSOC-BDSAP）。該平臺(tái)幫助客戶實(shí)現(xiàn)在規(guī)模不斷擴(kuò)大的異構(gòu)海量數(shù)據(jù)如事件、流、網(wǎng)絡(luò)原始流量、文件等信息中，結(jié)合流行的關(guān)聯(lián)分析、機(jī)器學(xué)習(xí)、數(shù)理統(tǒng)計(jì)、實(shí)時(shí)分析、歷史分析和人機(jī)交互等多種分析方法和技術(shù)，發(fā)現(xiàn)傳統(tǒng)的安全產(chǎn)品無(wú)法檢測(cè)的安全攻擊和威脅。

啟明星辰專(zhuān)門(mén)成立了泰合產(chǎn)品本部負(fù)責(zé)大數(shù)據(jù)安全分析領(lǐng)域及泰合系列管控類(lèi)和審計(jì)類(lèi)系統(tǒng)的研發(fā)、咨詢、項(xiàng)目實(shí)施與運(yùn)維。泰合產(chǎn)品本部分別在北京、上海、廣州設(shè)有研發(fā)中心。

作為中國(guó)最早研發(fā)和最領(lǐng)先的安全管理平臺(tái)之一，啟明星辰泰合（TSOC）系列安管平臺(tái)經(jīng)過(guò)10多年的持續(xù)積累，獲得了十多項(xiàng)發(fā)明專(zhuān)利，得到了國(guó)家多項(xiàng)專(zhuān)項(xiàng)基金的支持，并擁有目前國(guó)內(nèi)最多的客戶群，從2008年到2013年連續(xù)六年位居中國(guó)安全管理平臺(tái)市場(chǎng)占有率第一，已經(jīng)成為了安全管理平臺(tái)領(lǐng)域的引領(lǐng)者，位居國(guó)內(nèi)大數(shù)據(jù)安全分析領(lǐng)域的領(lǐng)導(dǎo)者陣營(yíng)，也是國(guó)內(nèi)流安全領(lǐng)域的積極倡導(dǎo)者和踐行者。