用大數(shù)據(jù)解決網(wǎng)絡(luò)安全分析_數(shù)據(jù)分析師考試

單純的防御措施無(wú)法阻止蓄意的攻擊者，這已經(jīng)是大家都認(rèn)同的事實(shí)，應(yīng)對(duì)挑戰(zhàn)業(yè)界有了諸多方面的探索和實(shí)踐，而其中最有趣的就非安全分析莫屬了，圍繞著安全分析展開，我們可以看到大數(shù)據(jù)、安全智能、情景感知、威脅情報(bào)、數(shù)據(jù)挖掘、可視化等等，因?yàn)檫@些都是安全分析師手中的武器。

二、安全戰(zhàn)略思路的變化

壞的消息是，入侵總會(huì)發(fā)生，再?gòu)?qiáng)的防御也難以做到御敵于國(guó)門之外，攻擊者總會(huì)進(jìn)入到你的網(wǎng)絡(luò)中;那么好消息就是入侵和破環(huán)是兩回事，雖然也存在入侵開始到實(shí)際損害發(fā)生之間時(shí)間窗口很短的情況，但是我們也還是看到，大多數(shù)入侵如果想達(dá)到目的，需要較長(zhǎng)的時(shí)間，特別定向攻擊和APT攻擊。那么如果安全團(tuán)隊(duì)可以在攻擊者完成使命之前阻止其活動(dòng)，就可以做到這點(diǎn)：我們有可能遭受入侵，但可能不會(huì)遭遇破環(huán)。

據(jù)此有效的戰(zhàn)略是盡可能多的進(jìn)行實(shí)時(shí)防御，來(lái)防止入侵的可能，同時(shí)配合積極的檢測(cè)(Hunting)與事件響應(yīng)來(lái)避免出現(xiàn)破環(huán)，或者最大限度的減少破壞的影響。

由此我們知道，傳統(tǒng)的安全產(chǎn)品沒(méi)有過(guò)時(shí)，我們還是需要4A，需要防火墻、IDPs以及AV這些不同的產(chǎn)品，形成一定的防御縱深，阻止隨機(jī)性的攻擊(通常追求機(jī)會(huì)，被選中往往是因?yàn)檎宫F(xiàn)了易被利用的漏洞)，并且延緩攻擊節(jié)奏，擴(kuò)大檢測(cè)和響應(yīng)的時(shí)間窗口。這是一切的基礎(chǔ)，如果沒(méi)有這一步，后續(xù)的檢測(cè)和響應(yīng)也就缺少了根基，在現(xiàn)實(shí)中無(wú)法實(shí)施。

從這點(diǎn)上說(shuō)，個(gè)人也不贊成將某些針對(duì)特定組織的攻擊都?xì)w屬于APT范圍，如果它是一些傳統(tǒng)的安全措施就可以防范的。這可能誤導(dǎo)某些組織，在缺乏基本防護(hù)措施(產(chǎn)品、組織、制度等)的情況下，盲目的追新求異，達(dá)不到切實(shí)的安全效果。

三、以威脅為中心的安全理念

實(shí)時(shí)防御是以漏洞為中心的，基于漏洞的簽名檢測(cè)機(jī)制有著較高的準(zhǔn)確性，可以用以進(jìn)行自動(dòng)化的阻截。但當(dāng)基于已知威脅的簽名機(jī)制不能檢測(cè)針對(duì)其的高級(jí)別威脅時(shí)，我們就需要轉(zhuǎn)化思路，因此積極的檢測(cè)和響應(yīng)則是以威脅為中心，它不再?gòu)?qiáng)調(diào)單點(diǎn)的檢測(cè)，也不再單純的追求告警的精確性，它促使你從面上去著手，將若干的點(diǎn)關(guān)聯(lián)起來(lái)，以數(shù)據(jù)為驅(qū)動(dòng)來(lái)解決問(wèn)題。在整個(gè)過(guò)程中(數(shù)據(jù)收集、檢測(cè)、分析)都需要以威脅為中心，如果丟掉這個(gè)中心點(diǎn)，單純的追求數(shù)據(jù)的大而全，則必然達(dá)不到效果。以威脅為中心，用數(shù)據(jù)來(lái)驅(qū)動(dòng)安全，是檢測(cè)APT類型威脅的有效手段。

需要強(qiáng)調(diào)的是，以威脅為中心聚焦在數(shù)據(jù)收集，但并不強(qiáng)調(diào)數(shù)據(jù)的大，而是價(jià)值的高，認(rèn)為它是一個(gè)動(dòng)態(tài)的、周期性的過(guò)程，隨著威脅的變化，以及分析能力的改變，數(shù)據(jù)收集的范圍將會(huì)產(chǎn)生變化的。

四、數(shù)據(jù)收集

古語(yǔ)言“磨刀不誤砍柴工”，這句諺語(yǔ)非常適合來(lái)描述數(shù)據(jù)收集的重要性。但如果我們單純的強(qiáng)調(diào)全量的數(shù)據(jù)，會(huì)是什么樣子?通過(guò)簡(jiǎn)單的數(shù)據(jù)計(jì)算，我們可以知道監(jiān)控1G的數(shù)據(jù)流量，如果采用PCAP文件格式存儲(chǔ)完整的內(nèi)容數(shù)據(jù)，那么一天就需要大約10T的磁盤空間。如果我們要保留90天的數(shù)據(jù)，再考慮備份、數(shù)據(jù)索引等需要的空間，哪會(huì)是多少?如果你需要監(jiān)控的網(wǎng)絡(luò)流量不止1G，如果還需要考慮主機(jī)及業(yè)務(wù)應(yīng)用的日志?龐大數(shù)據(jù)的存儲(chǔ)和維護(hù)固然是問(wèn)題，還需要考慮到當(dāng)盲目收集數(shù)據(jù)之后，也許這些數(shù)據(jù)的命運(yùn)是永遠(yuǎn)躺在磁盤中，仿佛從不存在，更甚者還會(huì)給后續(xù)分析過(guò)程帶來(lái)混亂、不確定性和低效率。

因此明智的問(wèn)題是“我從哪里獲得所需要的數(shù)據(jù)?”，而不是“我需要對(duì)該數(shù)據(jù)提出什么樣的問(wèn)題?”Gartner在《Security Information and Event Management Futures and Big Data Analytics for Security》一文中也特別的強(qiáng)調(diào)“分析的意識(shí)和探索數(shù)據(jù)的欲望”，認(rèn)為這才是大數(shù)據(jù)安全中最關(guān)鍵的成功標(biāo)準(zhǔn)，首先學(xué)會(huì)問(wèn)問(wèn)題，而不是盲目收集數(shù)據(jù)或者是急于建立一套Hadoop大數(shù)據(jù)平臺(tái)。

五、數(shù)據(jù)種類

以威脅為中心進(jìn)行數(shù)據(jù)收據(jù)，自然包括威脅情報(bào)的收集，在之前的《小議威脅情報(bào)》中已有涉及，后續(xù)有時(shí)間也會(huì)就如何建立組織的威脅情報(bào)平臺(tái)整理自己的觀點(diǎn)和大家共同討論，這里不再多言，而專注于組織內(nèi)部的數(shù)據(jù)收集。企業(yè)內(nèi)部數(shù)據(jù)一般需要考慮一下幾個(gè)種類：

1.環(huán)境業(yè)務(wù)類數(shù)據(jù)：包括資產(chǎn)及屬性(業(yè)務(wù)、服務(wù)、漏洞、使用者...)、員工與賬號(hào)、組織結(jié)構(gòu)等，這類數(shù)據(jù)也會(huì)被稱環(huán)境感知數(shù)據(jù)、友好類情報(bào)等。此類數(shù)據(jù)往往難以從機(jī)器中直接獲取，但對(duì)安全分析會(huì)有巨大的幫助，往往要依賴安全體系建設(shè)而逐步完善;

2. 網(wǎng)絡(luò)數(shù)據(jù)：包括FPC(Full Packet Capture，一般是PCAP格式)、會(huì)話或Flow數(shù)據(jù)，PSTR(Packet String，這種數(shù)據(jù)格式包括指定的協(xié)議頭部?jī)?nèi)容，如HTTP頭數(shù)據(jù))。PSTR數(shù)據(jù)大約是FPC的4%左右，而Flow數(shù)據(jù)則是0.01%。PSTR 是大小更容易管理，并且允許增強(qiáng)可見性的一種數(shù)據(jù)類型。

3.設(shè)備、主機(jī)及應(yīng)用的日志：它可以包括諸如Web代理日志、路由器防火墻日志、VPN日志、windows安全及系統(tǒng)日志等，不同來(lái)源的數(shù)據(jù)類型在大小和實(shí)用價(jià)值上都不同。

4.報(bào)警數(shù)據(jù)：檢測(cè)工具基于其配置發(fā)現(xiàn)異常，進(jìn)而生成的通知就是報(bào)警，通常的報(bào)警數(shù)據(jù)來(lái)自IDS(主機(jī)或網(wǎng)絡(luò))、防火墻、AV等安全設(shè)備。依據(jù)環(huán)境和配置，日志的數(shù)據(jù)量可以有很大的變化，但通常小于PSTR。

六、ACF方法

那么如何確定需要采集用以進(jìn)行安全分析的數(shù)據(jù)呢，這里介紹一個(gè)ACF(Applied Collection Framework)方法[1]，它可以幫助評(píng)估哪些數(shù)據(jù)應(yīng)該是收集工作的重點(diǎn)。ACF不是一個(gè)純技術(shù)的手段，需要安全團(tuán)隊(duì)從其他業(yè)務(wù)部門收集早期的信息，并配合完成整個(gè)工作。它由四個(gè)階段組成：定義威脅、量化風(fēng)險(xiǎn)、確定數(shù)據(jù)源、篩選聚焦。

1. 定義威脅：這里不是泛泛而談，如競(jìng)爭(zhēng)對(duì)手、腳本小子等，需要確定針對(duì)具體組織的具體威脅。它應(yīng)該是“發(fā)生什么樣糟糕的事情，會(huì)影響到組織的生存”這樣的問(wèn)題，并且答案應(yīng)該來(lái)自領(lǐng)導(dǎo)層或者是被其認(rèn)可。一旦關(guān)鍵業(yè)務(wù)安全需求確定了，就需要深入挖掘可能的威脅，通過(guò)研究網(wǎng)絡(luò)基礎(chǔ)設(shè)施及相關(guān)的業(yè)務(wù)流程，明確相關(guān)研究、生產(chǎn)、存儲(chǔ)、加工、訪問(wèn)等相關(guān)環(huán)節(jié)，進(jìn)而明確可能的入侵及破壞方法。

2. 量化風(fēng)險(xiǎn)：一旦潛在的威脅名單確定，就需要考慮優(yōu)先級(jí)，一般實(shí)現(xiàn)的方式是通過(guò)計(jì)算威脅影響和概率的乘積，得到每個(gè)潛在威脅的風(fēng)險(xiǎn)。雖然這種方法可以提供和威脅相關(guān)的量化指標(biāo)，但畢竟是主觀的。為保障評(píng)估確實(shí)符合實(shí)際，往往需要一組人來(lái)參與量化風(fēng)險(xiǎn)的過(guò)程，有些機(jī)構(gòu)還會(huì)在這個(gè)過(guò)程中引入第三方的網(wǎng)絡(luò)滲透測(cè)試人員，共同參與完成這個(gè)過(guò)程。

3. 確定數(shù)據(jù)源：在這個(gè)階段確定可以提供檢測(cè)和分析價(jià)值的主要數(shù)據(jù)元，從具有最高風(fēng)險(xiǎn)權(quán)重的技術(shù)威脅開始，考慮可以從哪里看到威脅相應(yīng)的線索、證據(jù)。比如考慮關(guān)鍵文件服務(wù)器的數(shù)據(jù)泄露威脅，應(yīng)該確定服務(wù)器的架構(gòu)、網(wǎng)絡(luò)位置、具有訪問(wèn)權(quán)的用戶，以及可以獲得數(shù)據(jù)的其它途徑。根據(jù)這些信息，得到相應(yīng)的數(shù)據(jù)源清單。

4. 篩選聚焦：在最后的階段你需要選擇最需要的數(shù)據(jù)源，這是技術(shù)上最深入的步驟，需要評(píng)估每個(gè)數(shù)據(jù)源以評(píng)估其價(jià)值。往往有一些數(shù)據(jù)源需要很高的存儲(chǔ)空間，它提供的價(jià)值和處理管理的開銷相比，可能不值得收藏。組織必須考慮成本/效益關(guān)系，從成本的角度看，這種分析應(yīng)該考慮到硬件和軟件的資源，例如維護(hù)產(chǎn)生的人員組織成本，數(shù)據(jù)存儲(chǔ)資源等。可以評(píng)估有問(wèn)題的數(shù)據(jù)源在分析過(guò)程中可能出現(xiàn)的幾率?？紤]需要到類似這樣的程度：哪些類型(源目的地址、端口協(xié)議)的PACP 包需要捕獲，那種windows日志(如登錄成功、登錄失敗、賬號(hào)創(chuàng)建、文件權(quán)限變更等)是最重要的需要保留。

通過(guò)這樣的方法，你可以通過(guò)直接和業(yè)務(wù)目標(biāo)掛鉤，以及對(duì)業(yè)務(wù)連續(xù)性的威脅來(lái)證明需求的合理性，這樣也可以較大限度保證之后在基礎(chǔ)設(shè)施建設(shè)上的投入。

正如之上曾經(jīng)提到的，威脅為中心的方法強(qiáng)調(diào)周期性的過(guò)程，需要明白，永遠(yuǎn)不會(huì)完成數(shù)據(jù)收集的工作，當(dāng)你做了更多的檢測(cè)和分析的工作，當(dāng)網(wǎng)絡(luò)逐步擴(kuò)展，需要重新評(píng)估你的收集計(jì)劃。

七、基于威脅情報(bào)和攻擊鏈的方法

ACF 雖然是一個(gè)經(jīng)過(guò)實(shí)踐驗(yàn)證的方法，但是也有自身的不足，特別是缺乏實(shí)踐經(jīng)驗(yàn)情況下，往往集中在入侵的后期階段相關(guān)數(shù)據(jù)收集，存在檢測(cè)縱深不足，缺少冗余的響應(yīng)時(shí)間等風(fēng)險(xiǎn)。這時(shí)可以參照一種基于威脅情報(bào)和攻擊鏈的方法，用來(lái)驗(yàn)證、完善數(shù)據(jù)收集計(jì)劃，此方法來(lái)源于David J. Bianco的關(guān)于情報(bào)驅(qū)動(dòng)的企業(yè)安全監(jiān)控的講演(PPT、視頻)。

這種方法大體步驟如下，對(duì)更詳細(xì)內(nèi)容感興趣的可以去參考他的PPT及視頻：

1.以攻擊鏈為橫軸，檢測(cè)指標(biāo)(參考之前的《小議威脅情報(bào)》)為縱軸，完成對(duì)應(yīng)的表格，體現(xiàn)在攻擊的各個(gè)階段可以利用的相關(guān)數(shù)據(jù);

2.基于不同檢測(cè)指標(biāo)對(duì)黑客攻擊的影響程度，給出評(píng)估;

3.基于有效檢測(cè)APT類型攻擊而不被大量報(bào)警淹沒(méi)，給出評(píng)估(參見下圖);

4.基于現(xiàn)實(shí)中可達(dá)的工具能夠?qū)崿F(xiàn)，給出評(píng)估;

5.綜合以上3項(xiàng)評(píng)估的數(shù)據(jù)，確定數(shù)據(jù)收集計(jì)劃。

這種方法也是一種周期性的活動(dòng)，需要根據(jù)新的威脅情報(bào)和分析工作的進(jìn)展而不斷修訂，個(gè)人更傾向于認(rèn)為它是對(duì)ACF方法中步驟3、4的具體化操作指南，ACF中的步驟3對(duì)應(yīng)著這里的步驟1，而ACF的步驟4對(duì)應(yīng)了這里的步驟2-5。

八、小結(jié)

大數(shù)據(jù)安全分析的第一部分內(nèi)容就寫到這里了。我們反思了當(dāng)前威脅形式下安全理念的變化，我們需要以實(shí)時(shí)防御為基礎(chǔ)的積極檢測(cè)(Hunting)和響應(yīng)來(lái)避免出現(xiàn)或者緩解可能的破壞活動(dòng)，它以威脅為中心，側(cè)重于數(shù)據(jù)的收集。在考慮數(shù)據(jù)收集計(jì)劃時(shí)，我們可以參考ACF方法，以及基于威脅情報(bào)和攻擊鏈的方法，確定最佳的成本/效益。