大數(shù)據(jù)與大規(guī)模網(wǎng)絡(luò)安全感知技術(shù)初探

快速發(fā)展的互聯(lián)網(wǎng)技術(shù)不斷地改變?nèi)藗兊纳罘绞剑欢?，多層面的安全威脅和安全風(fēng)險也不斷出現(xiàn)。對于一個大型網(wǎng)絡(luò)，在網(wǎng)絡(luò)安全層面，除了訪問控制、入侵檢測、身份識別等基礎(chǔ)技術(shù)手段，需要安全運維和管理人員能夠及時感知網(wǎng)絡(luò)中的異常事件與整體安全態(tài)勢。對于安全運維人員來說，如何從成千上萬的安全事件和日志中找到最有價值、最需要處理和解決的安全問題，從而保障網(wǎng)絡(luò)的安全狀態(tài)，是他們最關(guān)心也是最需要解決的問題。與此同時，對于安全管理者和高層管理者而言，如何描述當(dāng)前網(wǎng)絡(luò)安全的整體狀況，如何預(yù)測和判斷風(fēng)險發(fā)展的趨勢，如何指導(dǎo)下一步安全建設(shè)與規(guī)劃，則是一道持久的難題。

隨著大數(shù)據(jù)技術(shù)的成熟、應(yīng)用與推廣，網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)有了新的發(fā)展方向，大數(shù)據(jù)技術(shù)特有的海量存儲、并行計算、高效查詢等特點，為大規(guī)模網(wǎng)絡(luò)安全態(tài)勢感知的關(guān)鍵技術(shù)創(chuàng)造了突破的機遇。本文將對大規(guī)模網(wǎng)絡(luò)環(huán)境下的安全態(tài)勢感知、大數(shù)據(jù)技術(shù)在安全感知方面的促進做一些探討。

對于一個大規(guī)模的網(wǎng)絡(luò)而言，面臨的風(fēng)險也是巨大的，可分為廣度風(fēng)險和深度風(fēng)險。從廣度上講，以中國移動的CMNET網(wǎng)絡(luò)為例，所轄IP地址超過3000萬個，提供對外服務(wù)的網(wǎng)站數(shù)千個，規(guī)模大、節(jié)點類型豐富多樣，伴隨其中的安全問題隨網(wǎng)絡(luò)節(jié)點數(shù)量的增加呈指數(shù)級上升。從深度上講，下一代移動互聯(lián)網(wǎng)安全威脅主要表現(xiàn)在傳統(tǒng)攻擊依然存在且手段多樣、APT（高級持續(xù)性威脅）攻擊逐漸增多且造成的損失不斷增大。而攻擊者的工具和手段呈現(xiàn)平臺化、集成化和自動化的特點，具有更強的隱蔽性、更長的攻擊與潛伏時間、更加明確和特定的攻擊目標(biāo)。以上造成了下一代安全威脅具有更強的殺傷能力與逃避能力。結(jié)合廣度風(fēng)險與深度風(fēng)險來看，大規(guī)模網(wǎng)絡(luò)所引發(fā)的安全保障的復(fù)雜度激增，主要面臨的問題包括：安全數(shù)據(jù)量巨大；安全事件被割裂，從而難以感知；安全的整體狀況無法描述。

網(wǎng)絡(luò)安全感知能力具體可分為資產(chǎn)感知、脆弱性感知、安全事件感知和異常行為感知4個方面。資產(chǎn)感知是指自動化快速發(fā)現(xiàn)和收集大規(guī)模網(wǎng)絡(luò)資產(chǎn)的分布情況、更新情況、屬性等信息；脆弱性感知則包括3個層面的脆弱性感知能力：不可見、可見、可利用；安全事件感知是指能夠確定安全事件發(fā)生的時間、地點、人物、起因、經(jīng)過和結(jié)果；異常行為感知是指通過異常行為判定風(fēng)險，以彌補對不可見脆弱性、未知安全事件發(fā)現(xiàn)的不足，主要面向的是感知未知的攻擊。

一個相對完整的網(wǎng)絡(luò)安全感知的能力模型與架構(gòu)設(shè)計如下圖所示：

隨著Hadoop、NoSQL等技術(shù)的興起，BigData大數(shù)據(jù)的應(yīng)用逐漸增多和成熟，而大數(shù)據(jù)自身擁有Velocity快速處理、Volume大數(shù)據(jù)量存儲、Variety支持多類數(shù)據(jù)格式三大特性。大數(shù)據(jù)的這些天生特性，恰巧可以用于大規(guī)模網(wǎng)絡(luò)的安全感知。首先，多類數(shù)據(jù)格式可以使網(wǎng)絡(luò)安全感知獲取更多類型的日志數(shù)據(jù)，包括網(wǎng)絡(luò)與安全設(shè)備的日志、網(wǎng)絡(luò)運行情況信息、業(yè)務(wù)與應(yīng)用的日志記錄等；其次，大數(shù)據(jù)量存儲與快速處理為高速網(wǎng)絡(luò)流量的深度安全分析提供了技術(shù)支持，可以為高智能模型算法提供計算資源；最后，在異常行為的識別過程中，核心是對正常業(yè)務(wù)行為與異常攻擊行為之間的未識別行為進行離群度分析，大數(shù)據(jù)使得在分析過程中采用更小的匹配顆粒與更長的匹配時間成為可能。

中國移動自2010年起在云計算和大數(shù)據(jù)方面就開始了積極探索。中國移動的“大云”系統(tǒng)目前已實現(xiàn)了分布式海量數(shù)據(jù)倉庫、分布式計算框架、云存儲系統(tǒng)、彈性計算系統(tǒng)、并行數(shù)據(jù)挖掘工具等關(guān)鍵功能。在“大云”系統(tǒng)的基礎(chǔ)上，中國移動的網(wǎng)絡(luò)安全感知也具備了一定的技術(shù)積累，進行了大規(guī)模網(wǎng)絡(luò)安全感知和防御體系的技術(shù)研究，在利用云平臺進行脆弱性發(fā)現(xiàn)方面的智能型任務(wù)調(diào)度算法、主機和網(wǎng)絡(luò)異常行為發(fā)現(xiàn)模式等關(guān)鍵技術(shù)上均有突破，在安全運維中取得了一些顯著的效果。

大數(shù)據(jù)的出現(xiàn)，擴展了計算和存儲資源，提供了基礎(chǔ)平臺和大數(shù)據(jù)量處理的技術(shù)支撐，為安全態(tài)勢的分析、預(yù)測創(chuàng)造了無限可能。