大數(shù)據(jù)安全分析“架構(gòu)”_數(shù)據(jù)分析師

       44%的大型企業(yè)(即擁有超過(guò)1000名員工的企業(yè))認(rèn)為其安全數(shù)據(jù)收集和分析是“大數(shù)據(jù)”應(yīng)用，而另外44%認(rèn)為其安全數(shù)據(jù)收集和分析將會(huì)在未來(lái)2年內(nèi)成為“大數(shù)據(jù)”應(yīng)用。此外，86%的企業(yè)正在收集比兩年前“更多”或“略多”的安全數(shù)據(jù)。

      這種增長(zhǎng)趨勢(shì)非常明顯，大型企業(yè)正在收集、處理和保存越來(lái)越多的數(shù)據(jù)用于分析，他們使用來(lái)自IBM、Lancope、LogRhythm、Raytheon、RSA Security和Splunk等供應(yīng)商的工具和服務(wù)從數(shù)據(jù)中獲取可操作情報(bào)用于風(fēng)險(xiǎn)管理和事故預(yù)防/檢測(cè)/響應(yīng)。

      最近，筆者與安全專家以及供應(yīng)商圍繞大數(shù)據(jù)安全分析進(jìn)行了很多探討，這些討論往往專注于分析應(yīng)用程序方面。有時(shí)候這些討論會(huì)圍繞于安全分析基礎(chǔ)設(shè)施，例如Hadoop、HDFS、Pig和Mahout，有時(shí)候則圍繞UI、可視化分析、應(yīng)用程序整合等。

      每個(gè)人都對(duì)大數(shù)據(jù)安全分析應(yīng)用程序感興趣，但幾乎沒(méi)有人會(huì)問(wèn)大數(shù)據(jù)安全分析所需要的IT基礎(chǔ)設(shè)施基礎(chǔ)。其結(jié)果是，很多企業(yè)會(huì)受到打擊，他們甚至無(wú)法收集他們想要分析的安全數(shù)據(jù)。

      收集和處理千兆或兆兆字節(jié)的安全數(shù)據(jù)需要對(duì)大數(shù)據(jù)安全分析管道進(jìn)行一些規(guī)劃和部署，包括如下：

      ·數(shù)據(jù)包捕捉設(shè)備。這些設(shè)備包括來(lái)自Cavium、Emulex和Solarflare等供應(yīng)商的高性能智能NIC卡，磁盤(pán)驅(qū)動(dòng)器，以及來(lái)自Wireshark等供應(yīng)商的PCAP軟件，它們整合在一起作為數(shù)據(jù)包捕捉設(shè)備。這些設(shè)備需要足夠快以捕捉和處理數(shù)據(jù)包，用于分析引擎的分類。PCAP硬件設(shè)備將出現(xiàn)在整個(gè)網(wǎng)絡(luò)的關(guān)鍵連接點(diǎn)，而虛擬PCAP設(shè)備能夠支持服務(wù)器虛擬化和云計(jì)算平臺(tái)。

      ·分析分布網(wǎng)絡(luò)。數(shù)據(jù)包捕捉設(shè)備收集和處理數(shù)據(jù)，但數(shù)據(jù)仍然需要接近實(shí)時(shí)地在多個(gè)分析引擎移動(dòng)。這正是分析分布網(wǎng)絡(luò)的工作，這種系統(tǒng)包括來(lái)自Anue、Apcon、BitTap、Gigamon、Netscout和Riverbed等供應(yīng)商的設(shè)備。在某些情況下，分析分布網(wǎng)絡(luò)將補(bǔ)充數(shù)據(jù)包捕捉設(shè)備，在其他情況下，分析分布網(wǎng)絡(luò)將提供輕量級(jí)PCAP功能。(請(qǐng)注意，用來(lái)描述這個(gè)的行業(yè)術(shù)語(yǔ)是“網(wǎng)絡(luò)數(shù)據(jù)包代理設(shè)備”，但筆者認(rèn)為這太以設(shè)備為中心，所以換了名稱。)

      ·SDN。SDN可編程控制平面很可能會(huì)成為窮人的分析分布網(wǎng)絡(luò)，但SDN不會(huì)很快就搶占分配網(wǎng)絡(luò)設(shè)備的地位。SDN將會(huì)成為分析基礎(chǔ)設(shè)施的一部分，補(bǔ)充PCAP和分析分布網(wǎng)絡(luò)功能。SDN和分析分布網(wǎng)絡(luò)整合給網(wǎng)絡(luò)數(shù)據(jù)捕捉和分析引擎帶來(lái)了強(qiáng)大的連接性。

      ·分析中間件。在很多情況下，每個(gè)分析工具收集、處理和路由其自己的數(shù)據(jù)。雖然這是可行的，但這帶來(lái)了很大的冗余性、資本成本和運(yùn)營(yíng)開(kāi)銷(xiāo)。這里需要的是某種類型的基于標(biāo)準(zhǔn)的中間件，以進(jìn)行消息隊(duì)列或發(fā)布和訂閱。例如，RSA Security公司使用開(kāi)源RabiitMQ作為其分析引擎之間的中間件。

      從架構(gòu)的角度來(lái)看，企業(yè)可以采用分層的方法來(lái)部署大數(shù)據(jù)安全分析，其中分析引擎從管道中抽象出來(lái)，但可以很容易地用來(lái)定制化安全數(shù)據(jù)收集、處理和分布。這能讓首席信息官、首席信息安全官和網(wǎng)絡(luò)工程師來(lái)調(diào)整期基礎(chǔ)設(shè)施、流程和分析引擎，滿足其具體的企業(yè)和行業(yè)要求，以及管理資本和運(yùn)營(yíng)成本。

      這里有一個(gè)很明確的教訓(xùn)：你不能通過(guò)簡(jiǎn)單地連接每個(gè)分析引擎到span端口來(lái)收集、處理和路由安全數(shù)據(jù)。為了避免這種情況，首席信息官、首席信息安全官和網(wǎng)絡(luò)工程師需要通過(guò)適當(dāng)?shù)墓艿罏榇?a target="_blank" href="http://www.3lll3.cn/kecheng/3.html">數(shù)據(jù)安全分析調(diào)整其計(jì)劃。