大數(shù)據(jù)之安全漫談

大數(shù)據(jù)(big data)、數(shù)據(jù)科學(xué)(data science)、數(shù)據(jù)挖掘(data mining)、機器學(xué)習(xí)(machine learning)、深度學(xué)習(xí)(deep learning)、模式識別(pattern recognition)、可視化(visualization)、自然語言處理(natural language processing)、推薦系統(tǒng)(recommendation system)、數(shù)據(jù)分析(data analysis 相較而言，這個是最不潮最實在的詞了)、人工智能(Artificial Intelligence)、NoSQL 是2014年的IT潮詞，他們從傳統(tǒng)的金融、科研行業(yè)席卷到IT的各個角落，甚至是比較邊緣的安全行業(yè)了，催生了一些諸如安全數(shù)據(jù)分析師(專家)的崗位，為了在和同事們聊天的過程不顯得那么白癡，于是查閱了一些資料，來寫寫"大數(shù)據(jù)"在安全行業(yè)的應(yīng)用。

大數(shù)據(jù)的發(fā)展，讓我們看到了更好的數(shù)據(jù)收集、數(shù)據(jù)處理、數(shù)據(jù)存儲、數(shù)據(jù)計算、數(shù)據(jù)檢索與數(shù)據(jù)可視化方案，我們有了hadoop、spark、storm等優(yōu)秀的計算框架，我們有了thrift、avro、Protocol Buffer數(shù)據(jù)序列化方案，我們有了flume、scribe、chukwa來完成分布式日志收集，我們有了kafka來完成消息隊列調(diào)度，我們有了mongoDB、redis、cassandra、neo4j來完成數(shù)據(jù)的存儲，我們有了elasticsearch、sphinx來完成數(shù)據(jù)檢索，我們有了Gephi、D3、Graphviz來完成漂亮的圖表。我們甚至有了日志分析領(lǐng)域的三劍客kibana-logstash-elasticsearch套裝，然而我們在如此優(yōu)秀的支撐環(huán)境下我們?？吹降妮敵鼋Y(jié)果是什么呢?TopN攻擊報表、攻擊可視化地圖(單指國內(nèi)產(chǎn)品)。
我想或許是因為最關(guān)鍵的階段-數(shù)據(jù)分析階段缺失了。缺失或許是因為門檻較高吧，它綜合了高等數(shù)學(xué)、線性代數(shù)、概率統(tǒng)計、機器學(xué)習(xí)等知識，而且必須與計算機基礎(chǔ)知識(編程、數(shù)據(jù)存儲)、行業(yè)領(lǐng)域知識(例如安全領(lǐng)域知識)與反復(fù)的模型修正才能發(fā)揮作用，而作用是否顯著則取決于所解決問題的重要程度。大家在平衡了付出與收益后，就傾向于選擇用代價更小的方法來解決問題(例如基本使用靜態(tài)攻擊簽名特征，而很少使用動態(tài)行為分析未知攻擊)，但互聯(lián)網(wǎng)支付行業(yè)的發(fā)展，云平臺的發(fā)展，讓我們看到市場還是巨大的，特別是在金融行業(yè)(電商、支付、理財)、云服務(wù)方面。
應(yīng)用場景

場景1、仿冒站點的檢測

計算網(wǎng)頁相似度，包括內(nèi)容(文本)相似性、結(jié)構(gòu)(DOM)相似性與視覺相似性。 其中文本挖掘(Text Mining)/自然語言處理(Nature Language Process)已經(jīng)單獨成為一個分支了。

場景2、垃圾郵件檢測

基于樸素貝葉斯分類算法

場景3、訂單欺詐檢測

基于神經(jīng)網(wǎng)絡(luò)算法來實現(xiàn)交易數(shù)據(jù)欺詐檢測

場景4、攻擊源識別

基于CART來區(qū)分訪問源，然后細化機器行為，掃描器?爬蟲?搜索引擎?采集器?CC攻擊，產(chǎn)出攻擊源信譽庫(匿名代理，Tor，掃描器，惡意爬蟲，僵尸網(wǎng)絡(luò)，URL黑庫)

區(qū)分對待大規(guī)模自動化攻擊，精細定位人工攻擊才能有效的減少冗余數(shù)據(jù)

場景5、web攻擊中的異常請求檢測

基于HMM來識別異常請求;基于隨機森林來分類區(qū)分異常請求

場景6、webshell檢測

包括通過計算信息熵來檢測文件內(nèi)容異常、圖論來檢測訪問異常

場景7、惡意網(wǎng)站識別

場景8、廣告欺詐檢測

場景9、惡意軟件(家族)識別

場景10、色情圖片/驗證碼識別

場景11、反網(wǎng)站抓取(盜取網(wǎng)站原創(chuàng)內(nèi)容)

場景12、流量型攻擊檢測

CC、精準洪泛攻擊(我自己編的術(shù)語，意思是對API接口的海量調(diào)用、例如短信接口、驗證碼接口)、垃圾信息注入

產(chǎn)品化道路

1、集成到IDS/IPS/Firewall/WAF/SIEM/審計/風(fēng)控/取證/AV等單獨或綜合性的安全產(chǎn)品中

幾乎每個安全產(chǎn)商都會用“大數(shù)據(jù)"、“機器學(xué)習(xí)”、“安全智能”、“基于業(yè)務(wù)的動態(tài)行為建?！碑敵少u點，來標明自己是“下一代”安全產(chǎn)品

已有成功案例：Imperva

2、綜合到日志分析產(chǎn)品中來支撐安全功能的實現(xiàn)

將web服務(wù)器日志、數(shù)據(jù)庫日志、操作系統(tǒng)日志、郵件日志等進行關(guān)聯(lián)分析，實現(xiàn)風(fēng)險控制、審計管理、監(jiān)控、SIEM(攻擊事件響應(yīng)與取證)。

已有的成功案例：sumologic、splunk

對安全產(chǎn)品而言，宣傳標語和奧運會類似

更快——不要滯后，發(fā)現(xiàn)與響應(yīng)都要快，滯后的安全不是健康預(yù)防，甚至不是醫(yī)生急救，而是法醫(yī)驗尸

更全——不要遺漏， 0day、未公開的漏洞，捕獲他們，識別他們，評估他們

更準——不要誤傷，預(yù)警狼來了運維人員很傷，訪問阻塞用戶很傷

瓶頸

“因為數(shù)據(jù)量巨大，會造成性能瓶頸，因此以處理的數(shù)據(jù)量為指標或宣傳點”這是個誤區(qū)，我們最最缺少的是有效的數(shù)據(jù)分析模型來發(fā)現(xiàn)“未知”。