如果我們把大數(shù)據(jù)這個(gè)詞作為一種新的計(jì)算理論、方法、技術(shù)和應(yīng)用的綜合體來(lái)看，那么我們探討大數(shù)據(jù)與信息安全之間的關(guān)系，就有兩種方向：其一，就是如何用大數(shù)據(jù)來(lái)解決安全問(wèn)題;其二，就是如何保障大數(shù)據(jù)的安全。本文探討的是前者，并且是通過(guò)對(duì)于數(shù)據(jù)根本屬性的探究，通過(guò)大數(shù)據(jù)基礎(chǔ)科學(xué)問(wèn)題的探究，結(jié)合信息安全的根本原則和高端問(wèn)題，探討大數(shù)據(jù)應(yīng)用于安全的科學(xué)研究和產(chǎn)業(yè)開(kāi)發(fā)重點(diǎn)課題。

　　【那些V】

　　談大數(shù)據(jù)似乎總要從所謂的“3個(gè)V”或者“4個(gè)V”談起。自己很想免俗，卻好像又沒(méi)有其他更好的切入點(diǎn)。也許這些個(gè)V還真的就是大數(shù)據(jù)的一些根本屬性，是繞不開(kāi)的一些基礎(chǔ)問(wèn)題。

　　在大數(shù)據(jù)的V中，有些是常說(shuō)的，有些是不常說(shuō)的，這里總結(jié)了7個(gè)V：

　　——Volume，海量的數(shù)據(jù)規(guī)模;

　　——Velocity，快速的數(shù)據(jù)流轉(zhuǎn)和動(dòng)態(tài)的數(shù)據(jù)體系;

　　——Vast，數(shù)據(jù)來(lái)自廣大無(wú)邊的空間;

　　——Variety，多樣的數(shù)據(jù)類型;

　　——Veracity，數(shù)據(jù)的真實(shí)和準(zhǔn)確更難判斷;

　　——Value，大數(shù)據(jù)的低價(jià)值密度;

　　——Visualize，大數(shù)據(jù)可視化的重要性。

　　【我們需要多大的安全大數(shù)據(jù)】

　　在上面的這7個(gè)V中，第1V的Volume表現(xiàn)的是大數(shù)據(jù)的所謂“大”的狀態(tài)。

　　現(xiàn)在信息安全領(lǐng)域的常規(guī)市場(chǎng)和應(yīng)用中，所遇到的數(shù)據(jù)量還都到不了當(dāng)前大數(shù)據(jù)所謂的PB級(jí);TB級(jí)數(shù)據(jù)都是比較少的處理對(duì)象。而在城域網(wǎng)監(jiān)控、網(wǎng)絡(luò)宏觀態(tài)勢(shì)感知等應(yīng)用中，其實(shí)已經(jīng)積累并且繼續(xù)不斷增加著大量的數(shù)據(jù)，將是大數(shù)據(jù)方法的重要用武之地。

　　【時(shí)間軸上的安全大數(shù)據(jù)】

　　Velocity所代表的時(shí)間范疇，是大數(shù)據(jù)的重要來(lái)源。

　　在當(dāng)前常規(guī)的信息安全產(chǎn)品中，特別是具有代表性的檢測(cè)響應(yīng)類產(chǎn)品技術(shù)中，大量采用實(shí)時(shí)檢測(cè);所謂“實(shí)時(shí)”當(dāng)然體現(xiàn)了“快速”的內(nèi)涵。而在帶寬越來(lái)越大、系統(tǒng)越來(lái)越復(fù)雜，采集數(shù)據(jù)越來(lái)越多的同時(shí)，安全檢測(cè)對(duì)于時(shí)間響應(yīng)的即時(shí)性要求并沒(méi)有減弱。如果對(duì)于源源洶涌而來(lái)的數(shù)據(jù)不能及時(shí)處理，就將被數(shù)據(jù)淹沒(méi) (DoS)。這就需要實(shí)時(shí)或準(zhǔn)實(shí)時(shí)分析系統(tǒng)中采用更多的“流計(jì)算”方法。(流計(jì)算是區(qū)別對(duì)比于批量計(jì)算的方法)

　　流計(jì)算在安全分析中的應(yīng)用

　　另外，“實(shí)時(shí)”常常還隱含著一個(gè)缺省的意思——主要根據(jù)當(dāng)前數(shù)據(jù)(或者數(shù)據(jù)緩存)作出分析判斷，也就是說(shuō)不大量保存長(zhǎng)時(shí)間的原始數(shù)據(jù)(或者說(shuō)時(shí)間窗口比較窄)。而安全事件及其原因本身具有很長(zhǎng)的時(shí)間跨越性(APT就是跨越長(zhǎng)時(shí)間的緩慢攻擊模式)，這逼迫我們要存儲(chǔ)更長(zhǎng)時(shí)間的日志和網(wǎng)絡(luò)流等原始數(shù)據(jù);而當(dāng)我們開(kāi)始存儲(chǔ)更長(zhǎng)時(shí)間的數(shù)據(jù)時(shí)，也發(fā)現(xiàn)了這些動(dòng)態(tài)數(shù)據(jù)流通過(guò)“存儲(chǔ)”而變成了靜態(tài)的數(shù)據(jù)塊，于是并行計(jì)算、異步計(jì)算以及一些智能算法等就可以被應(yīng)用于其上了。

　　我們分析一些IT架構(gòu)模型：比如Zachman將一個(gè)IT系統(tǒng)分成數(shù)據(jù)、功能、人、網(wǎng)絡(luò)、時(shí)間和動(dòng)機(jī)等六個(gè)方面;再比如DOSH視角將一個(gè)IT系統(tǒng)分成數(shù)據(jù)、操作、系統(tǒng)和人四個(gè)方面。說(shuō)一個(gè)很哲學(xué)化的結(jié)論：“所有的IT系統(tǒng)要素中，只有數(shù)據(jù)是能夠穿越時(shí)間的”。其他要素如功能、系統(tǒng)、人、網(wǎng)絡(luò)、操作等等都只能存在于當(dāng)下;只有數(shù)據(jù)天然就是可以從過(guò)去留存到現(xiàn)在，并且可以從當(dāng)下延續(xù)到以后。所以，任何一個(gè)以數(shù)據(jù)為核心的方法和技術(shù)，都要在時(shí)間延展上下功夫。所謂時(shí)間延展，說(shuō)得直白一點(diǎn)就是要在(英文同是Memory的)存儲(chǔ)和記憶上下功夫。

　　課題：流數(shù)據(jù)的高速存儲(chǔ)和分析問(wèn)題(存儲(chǔ)結(jié)構(gòu)與分析方法具有深度關(guān)聯(lián))

     【空間上的安全大數(shù)據(jù)】

　　Vast所代表的空間范疇，是大數(shù)據(jù)的三個(gè)重要來(lái)源之一。也就是從更多的空間位置采集大數(shù)據(jù)。

　　任何一個(gè)攻擊過(guò)程、任何一個(gè)安全事件蔓延過(guò)程都會(huì)涉及很多空間位置和空間范圍，沒(méi)有哪個(gè)安全問(wèn)題是孤點(diǎn)問(wèn)題。那么在對(duì)一個(gè)多空間點(diǎn)的安全事件對(duì)象，要進(jìn)行更加充分的分析和發(fā)現(xiàn)，當(dāng)然是獲得更多空間位置的采集數(shù)據(jù)會(huì)更好。數(shù)據(jù)采集點(diǎn)的增加當(dāng)然會(huì)線性地增加安全分析的數(shù)據(jù)量。而如果每個(gè)數(shù)據(jù)采集點(diǎn)所采集的數(shù)據(jù)也比較大的話，那就更成為了一個(gè)分布式大數(shù)據(jù)問(wèn)題。

　　在空間范圍內(nèi)傳輸大數(shù)據(jù)是一個(gè)必須回避的操作，這樣的傳輸會(huì)給網(wǎng)絡(luò)帶來(lái)災(zāi)難性的性能壓力?；蛘哒f(shuō)根本不能考慮大數(shù)據(jù)的傳輸，而只能考慮將計(jì)算移動(dòng)到數(shù)據(jù)旁邊，也就是要進(jìn)行分布式存儲(chǔ)和分布式計(jì)算。這里面一個(gè)根本的問(wèn)題就是，“一個(gè)全局性安全問(wèn)題是否可以分解為多空間位置的局部計(jì)算，而各個(gè)空間位置的局部計(jì)算解經(jīng)過(guò)合并后，所得到的綜合解是有效的全局解?！?/span>

　　【多樣性的安全大數(shù)據(jù)】

　　Variety所代表的數(shù)據(jù)多樣性，也是大數(shù)據(jù)的三個(gè)重要來(lái)源之一。也就是從更多樣的數(shù)據(jù)形態(tài)中獲得大數(shù)據(jù)。

　　當(dāng)前信息安全市場(chǎng)中的主流產(chǎn)品，基本上都是單一數(shù)據(jù)類型的檢測(cè)工具。

　　產(chǎn)品被分析和處置數(shù)據(jù)的類型

　　漏洞掃描發(fā)向目標(biāo)系統(tǒng)所返回的數(shù)據(jù)

　　防火墻、IDS/IPS、UTM、病毒防火墻等網(wǎng)絡(luò)鏈路上的通用網(wǎng)絡(luò)數(shù)據(jù)流

　　Web應(yīng)用防火墻(WAF)、數(shù)據(jù)庫(kù)審計(jì)等網(wǎng)絡(luò)鏈路上的專門網(wǎng)絡(luò)數(shù)據(jù)流：WAF對(duì)應(yīng)的是Web訪問(wèn)流;基于網(wǎng)絡(luò)的數(shù)據(jù)庫(kù)審計(jì)對(duì)應(yīng)的是Web服務(wù)器和數(shù)據(jù)服務(wù)器之間的網(wǎng)絡(luò)流。

　　防垃圾郵件系統(tǒng)郵件包

　　日志審計(jì)服務(wù)器產(chǎn)生的日志

　　終端安全產(chǎn)品終端系統(tǒng)的日志、配置、操作痕跡等。

　　安全管理平臺(tái)(SIEM安全信息與事件管理)各種設(shè)備和安全產(chǎn)品所產(chǎn)生的事件類數(shù)據(jù)(包括日志)，經(jīng)過(guò)范化(Normalization)后匯集到安全管理平臺(tái)中。

　　從上面這個(gè)表格看到，大部分安全產(chǎn)品所處置的數(shù)據(jù)確實(shí)都比較單一。而現(xiàn)實(shí)中的任何一個(gè)安全事件都是有豐富數(shù)據(jù)痕跡的，如果能夠綜合多樣化的數(shù)據(jù)，應(yīng)當(dāng)可以獲得更加準(zhǔn)確和深入的分析結(jié)果。而且，當(dāng)前信息安全檢測(cè)方面的兩個(gè)高端問(wèn)題：APT檢測(cè)問(wèn)題、網(wǎng)絡(luò)宏觀態(tài)勢(shì)感知與預(yù)測(cè)問(wèn)題，也必須通過(guò)多樣化的數(shù)據(jù)才可能有效地解決。

　　什么是所謂的“數(shù)據(jù)多樣性”?其實(shí)就是數(shù)據(jù)的“結(jié)構(gòu)”多樣性。一個(gè)安全事件行為所留下的各種各樣的痕跡，是難于用少數(shù)幾種結(jié)構(gòu)來(lái)概括的。如果要強(qiáng)行進(jìn)行數(shù)據(jù)格式的范化和歸一化，則必然會(huì)丟失多樣性數(shù)據(jù)所蘊(yùn)含的豐富內(nèi)容，從而丟失關(guān)鍵信息。所以，傳統(tǒng)的安全管理平臺(tái)的數(shù)據(jù)收集、范化和關(guān)聯(lián)分析方法，難于獲得令人滿意的安全價(jià)值也就不奇怪了。

　　大數(shù)據(jù)方法所針對(duì)的一個(gè)重要問(wèn)題就是所謂“非結(jié)構(gòu)化”問(wèn)題或者“半結(jié)構(gòu)化”問(wèn)題。其實(shí)，沒(méi)有哪個(gè)數(shù)據(jù)是沒(méi)有結(jié)構(gòu)的，每個(gè)數(shù)據(jù)都是“結(jié)構(gòu)化”的，只不過(guò)這個(gè)所謂“非結(jié)構(gòu)化”的“結(jié)構(gòu)化”不是我們?nèi)菀滋幚砗头治龅慕Y(jié)構(gòu)，不是我們常用的 “二維表結(jié)構(gòu)”(以關(guān)系數(shù)據(jù)庫(kù)處理系統(tǒng)為核心)。比如，網(wǎng)絡(luò)數(shù)據(jù)流是天然的延時(shí)間軸展開(kāi)的流結(jié)構(gòu)，最適合播放操作;一個(gè)網(wǎng)絡(luò)區(qū)域中各個(gè)系統(tǒng)之間的連接關(guān)系是一個(gè)圖論中的網(wǎng)結(jié)構(gòu);而不同系統(tǒng)所產(chǎn)生的多樣化日志是一些格式互不相同的二維表結(jié)構(gòu)。

　　大數(shù)據(jù)方法的一個(gè)突出代表就是NoSQL類型的數(shù)據(jù)存儲(chǔ)與檢索分析。盡力保留大量數(shù)據(jù)的原始形態(tài)，以此為基礎(chǔ)進(jìn)行后續(xù)的分析和處理。在信息安全市場(chǎng)中，市場(chǎng)份額最大的就是部署在網(wǎng)絡(luò)鏈路上的網(wǎng)關(guān)和旁路檢測(cè)產(chǎn)品，這些產(chǎn)品都是對(duì)網(wǎng)絡(luò)流進(jìn)行分析的，那么網(wǎng)絡(luò)流的原始數(shù)據(jù)留存和快速分析將是躲不過(guò)去的關(guān)鍵課題。

　　網(wǎng)絡(luò)流安全數(shù)據(jù)的原始數(shù)據(jù)留存和快速數(shù)據(jù)分析視圖

　　【好不好的安全大數(shù)據(jù)】

　　再說(shuō)一句很哲學(xué)的話：“所有的IT系統(tǒng)要素中，只有數(shù)據(jù)是可以偽造和臆想”。其他的要素功能、系統(tǒng)、人、網(wǎng)絡(luò)、操作等等，也許一個(gè)會(huì)像另一個(gè)，但是每個(gè)都只能是自己。只有數(shù)據(jù)天然就是可以被修改、被偽造，并且可以無(wú)中生有。所以，數(shù)據(jù)有好壞問(wèn)題，而這個(gè)好壞問(wèn)題在大數(shù)據(jù)中會(huì)更加極端地被放大。

　　所以大數(shù)據(jù)的Veracity真實(shí)和準(zhǔn)確問(wèn)題，是在“量”的性能問(wèn)題之外所面臨的最難的問(wèn)題。更泛的表達(dá)這個(gè)話題就是數(shù)據(jù)的“質(zhì)”——數(shù)據(jù)質(zhì)量問(wèn)題。在《數(shù)據(jù)質(zhì)量工程實(shí)踐》一書中，談到了數(shù)據(jù)質(zhì)量的12個(gè)維度很值得借鑒：

　　1. 數(shù)據(jù)規(guī)范(data specification)

　　2. 數(shù)據(jù)完整性準(zhǔn)則(data integrity fundamentals)

　　3. 重復(fù)(duplication)

　　4. 準(zhǔn)確性(accuracy)

　　5. 一致性和同步(consistency and synchronization)

　　6. 及時(shí)性和可用性(timeliness and availability)

　　7. 易用性和可維護(hù)性(ease of use and maintainability)

　　8. 數(shù)據(jù)覆蓋度(data coverage)

　　9. 表達(dá)質(zhì)量(presentation quality)

　　10. 可理解性、相關(guān)性和可信度(perception, relevance and trust)

　　11. 數(shù)據(jù)衰變(data decay)

　　12. 效用性(transactability)

　　【價(jià)值導(dǎo)向的安全大數(shù)據(jù)】

　　數(shù)據(jù)是物理世界的數(shù)化反映。一句哲學(xué)化的說(shuō)法：“價(jià)值讓數(shù)據(jù)不同于數(shù)字”。數(shù)據(jù)背后是有對(duì)象的，而這些對(duì)象常常是有屬主的、有立場(chǎng)的、有價(jià)值歸屬的、主觀的。

　　大數(shù)據(jù)幾個(gè)V中的這個(gè)Value，最主要的意思就是“大數(shù)據(jù)的低價(jià)值密度”。由于大數(shù)據(jù)的體量很大，其所蘊(yùn)含的價(jià)值總量是很大很可觀的，但是由于其體量大也就導(dǎo)致了其價(jià)值密度極低，而且是極端的低密度、極度地稀疏。

　　稀疏價(jià)值背后帶來(lái)了一個(gè)很前沿的學(xué)術(shù)方法——超高維問(wèn)題。這些稀疏的價(jià)值，就像在一個(gè)高維空間的一些稀疏的點(diǎn)。高維到什么程度?稀疏到什么程度?最極端的情況就是這些數(shù)據(jù)樣本的維度甚至比樣本個(gè)數(shù)還大。比如，人類基因測(cè)序問(wèn)題就是這類型的問(wèn)題，基因所蘊(yùn)含的豐富維度是大大高于普通研究中所能涉及的幾十萬(wàn)幾百萬(wàn)樣本規(guī)模的。

　　在傳統(tǒng)計(jì)算的處理習(xí)慣和限制下，我們會(huì)盡量獲取二維或者低維數(shù)據(jù)。而大數(shù)據(jù)方法提示我們可以主動(dòng)獲取高維度數(shù)據(jù)來(lái)解決無(wú)特征安全分析問(wèn)題。比如，為被分析對(duì)象抽取高維度指標(biāo)(幾百甚至更多維度)，然后再進(jìn)行降維算法處理。這是安全分析中非常有前途的方向。

　　課題：高維安全數(shù)據(jù)降維算法和高性能計(jì)算。

　　所謂的價(jià)值稀疏，還有另一個(gè)視角。當(dāng)具體到某一個(gè)精確定義和要求的價(jià)值，在大數(shù)據(jù)中是稀疏的。而大數(shù)據(jù)中的挖掘和利用中，不一定要獲取過(guò)于精確的價(jià)值。比如，在進(jìn)行“實(shí)體的個(gè)體標(biāo)識(shí)”過(guò)程中，所獲得的稍微模糊一些的“實(shí)體的分類標(biāo)識(shí)”就能夠產(chǎn)生不少的價(jià)值。常常說(shuō)大數(shù)據(jù)是未來(lái)的石油。但是，在廣袤的地球中，除了石油，還有煤、天然氣;還有金子、鉆石、翡翠;而像南紅瑪瑙、蜜蠟、青金石這樣的新珠寶還在被逐步的挖掘出來(lái)。所以對(duì)于大數(shù)據(jù)的價(jià)值挖掘要有種地刨出田黃石雞血石的心理預(yù)期。

　　但是，信息安全問(wèn)題的解(價(jià)值)還是有比較明確的指向性的——就是在對(duì)抗中獲勝。而對(duì)抗中獲勝的價(jià)值分解就非常豐富多彩了。要平衡信息安全價(jià)值指向的確定性與大數(shù)據(jù)的泛價(jià)值之間的矛盾。

　　【價(jià)值展現(xiàn)的安全大數(shù)據(jù)】

　　價(jià)值如果挖掘出來(lái)了，還要展現(xiàn)給應(yīng)當(dāng)了解這些價(jià)值的人(或者系統(tǒng))。這種可視化展示有兩種努力方向：

　　第一種，就是將大數(shù)據(jù)中的價(jià)值“在較短的時(shí)間窗口內(nèi)，用較低維度的形態(tài)”展現(xiàn)出來(lái)。比如一幅圖，就是單點(diǎn)時(shí)間的二維圖。比如病毒傳播過(guò)程展示，就是短時(shí)間的網(wǎng)絡(luò)拓?fù)?二維)過(guò)程錄像。

　　第二種，就是給需要進(jìn)行處置和響應(yīng)的人和系統(tǒng)，提供足夠的提示信息甚至是指令。自動(dòng)和輔助駕駛的汽車和飛機(jī)，就需要這樣的可視化系統(tǒng)。

　　而廣域網(wǎng)網(wǎng)絡(luò)風(fēng)暴快速處置就同時(shí)需要前面這兩種可視化能力。

　　【總結(jié)】

　　分析幾個(gè)V背后的規(guī)律，讓我們反思和了解大數(shù)據(jù)的一些基礎(chǔ)問(wèn)題。在7個(gè)V中，

　　——第1V，表達(dá)的是大數(shù)據(jù)所外在表現(xiàn)的 “大”量;

　　——第2V-4V說(shuō)的是大數(shù)據(jù)的“大”是從時(shí)間、空間和多樣性這三個(gè)方向而來(lái);

　　——第5V-7V闡述的是大數(shù)據(jù)的價(jià)值流轉(zhuǎn)。從數(shù)據(jù)本身的客觀質(zhì)量，到有立場(chǎng)的價(jià)值認(rèn)識(shí)和價(jià)值挖掘，最后到價(jià)值的展示和利用。

　　大數(shù)據(jù)方法為信息安全能力帶來(lái)了更大潛力，也有更多有趣的課題等待業(yè)界去研究和價(jià)值化。