日志和告警數(shù)據(jù)挖掘經(jīng)驗(yàn)談

最近參與了了一個(gè)日志和告警的數(shù)據(jù)挖掘項(xiàng)目，里面用到的一些思路在這里和大家做一個(gè)分享。

項(xiàng)目的需求是收集的客戶系統(tǒng)一個(gè)月300G左右的的日志和告警數(shù)據(jù)做一個(gè)整理，主要是歸類(Grouping)和關(guān)聯(lián)(Correlation)，從而得到告警和日志的一些統(tǒng)計(jì)關(guān)系，這些統(tǒng)計(jì)結(jié)果可以給一線支持人員參考。

得到的數(shù)據(jù)主要分為兩部分，一部分是告警的歷史數(shù)據(jù)，這部分?jǐn)?shù)據(jù)很少，只有50M左右，剩下的全部都是日志數(shù)據(jù)。日志數(shù)據(jù)大概有50多種不同類型，對(duì)應(yīng)系統(tǒng)中不同的模塊。每種類型的文件每天產(chǎn)生一個(gè)日志文件，所以總數(shù)大概是1500個(gè)左右的日志文件。文件大概都是這樣的：A_2016-04-15.log, B_2016-04-15.log, ..., A_2016-05-14.log, B_2016-05-14.log。每個(gè)文件在10M-1G之間不等。

1. 日志的模式挖掘

通過(guò)查看日志，發(fā)現(xiàn)所有的log每一行基本都是類似這樣的Pattern:

YYYY-MM-DD hh:mm:ss [模塊名] [具體日志]

每類日志的模塊名都是一樣的，基本可以忽略。有價(jià)值的就是時(shí)間戳和具體日志。

而且可以發(fā)現(xiàn)，很多日志只是極少部分動(dòng)態(tài)內(nèi)容不同，在代碼中屬于同一個(gè)位置的輸出，這些數(shù)據(jù)后面我們會(huì)分為一類數(shù)據(jù)。比如：

2016-04-26 00:30:38.795 55637   ResourceManager Free ram (MB): 244736

2016-04-26 00:34:38.795 55637   ResourceManager Free ram (MB): 244748

有某些類型日志每個(gè)時(shí)段都有出現(xiàn)，咨詢后得知基本沒(méi)有任何分析價(jià)值，這些日志后面我們會(huì)加入黑名單，不加分析。

2. 日志的歸類

由于每類日志都有30個(gè)文件，每個(gè)文件基本都有100萬(wàn)行，我們的第一步工作就是去除上面提到的無(wú)用日志。去掉無(wú)用日志后，我們要分析的日志大概減少了30%。

接著我們要做的就是每一行的日志進(jìn)行歸類（Grouping）。這里有很多的方法可以選擇，比如K-means，但是我們這么多的日志，很難去定義一個(gè)合適的K。經(jīng)過(guò)一番嘗試后我們放棄了K-means。但是K-means的思想還是可以用的。最后我們使用的是啟發(fā)式的方法來(lái)歸類。

首先定下的基本思路是： 對(duì)于每一類文件，我們分別做歸類，最后再一起和告警文件做關(guān)聯(lián)（Crrelation）。我們作了不同類別文件的日志肯定不在一類的假定。

對(duì)于每一類文件的每一行日志，我們我們通過(guò)對(duì)具體日志的字符串的相似度進(jìn)行歸類，算法如下：

1）初始化將最終類別數(shù)組設(shè)置為空，類別數(shù)組的每一行的格式是 [index] [類別里第一次出現(xiàn)的具體日志內(nèi)容] [該類日志出現(xiàn)的所有時(shí)間形成的數(shù)組]

2）初始化字符串相似度閾值，相似度超過(guò)閾值的字符串即為一類。項(xiàng)目里面我們相似度閾值取80%。

3）初始化歸類的時(shí)間間隔，在一個(gè)時(shí)間間隔內(nèi)的相似日志僅僅記錄一次時(shí)間。也就是說(shuō)如果某類日志已經(jīng)有這段時(shí)間的記錄，再次在這段時(shí)間出現(xiàn)的類似日志將會(huì)被忽略。取的過(guò)大，后面關(guān)聯(lián)時(shí)精確度降低，取的過(guò)小，后面關(guān)聯(lián)時(shí)計(jì)算量會(huì)很大。項(xiàng)目里我們?nèi)?0分鐘作為日志間隔。也就是一天劃分成了24*6個(gè)時(shí)間間隔。

4）對(duì)于某一種類別， 對(duì)于每一行的具體日志我們?nèi)ズ驮擃悇e的最終類別數(shù)組的每一行的具體日志做相似度比較：

a) 如果和最終類別里的某行具體日志的字符串的相似度超過(guò)了閾值，則這兩個(gè)字符串即歸為一類，僅僅把這個(gè)要分析的具體日志的時(shí)間點(diǎn)存入該類別，停止該行日志的分析。

b) 如果和最終類別里的任何一行具體日志的字符串的相似度都低于閾值。則我們發(fā)現(xiàn)了一個(gè)新的類別。在最終類別里加入一行記錄。并把該日志的時(shí)間間隔對(duì)應(yīng)的點(diǎn)作為該類別的時(shí)間數(shù)組的第一條時(shí)間記錄。

5） 對(duì)于所有其他的類別，分別執(zhí)行上面的第4步。得到所有類別的最終類別數(shù)組。最終我們的50多個(gè)類別數(shù)組一共只剩下100多M，每個(gè)數(shù)組平均有100多種類別。

這個(gè)算法產(chǎn)生的類別數(shù)組中每一行是這樣的內(nèi)容：

1  ResourceManager Free ram (MB): 244736   [[2016-04-26 00:30],[2016-04-26 10:40], ...] 

上面的算法中，我們用到了字符串相似度算法。這里我們用到是python的字符串下相似度算法庫(kù)：python-Levenshtein。計(jì)算相似度我們用了python-Levenshtein庫(kù)的ratio函數(shù)，即萊文斯坦比。

3. 日志和告警的關(guān)聯(lián)

現(xiàn)在我們有了50多種日志的類別數(shù)據(jù)，每個(gè)類別也有在時(shí)間分布上的數(shù)據(jù)，同時(shí)，回到告警，每個(gè)告警也有在時(shí)間分布上的數(shù)據(jù)?，F(xiàn)在我們可以在時(shí)間維度上做關(guān)聯(lián)算法。

我們的日志類別數(shù)組和告警在時(shí)間維度一共有30*24*6=4320個(gè)點(diǎn)。我們的目標(biāo)是找到和每個(gè)告警在時(shí)間維度上關(guān)聯(lián)度比較高的一組日志。這里我們采用的是基于余弦相似度的算法。我們選擇了所有的和告警在時(shí)間維度上相似度超過(guò)80%的日志類別。這些類別作為最終的統(tǒng)計(jì)結(jié)果作為我們輸出的一部分。

4. 告警和告警的關(guān)聯(lián)

這部分工作主要是研究告警和告警之間的統(tǒng)計(jì)關(guān)系。主要是基于統(tǒng)計(jì)的在時(shí)間維度上的父子關(guān)系。

由于告警數(shù)據(jù)較少，我們將時(shí)間間隔精確到1分鐘。對(duì)于每一種告警，我們檢查在該告警和其他告警在時(shí)間維度上的關(guān)系。我們檢查3種情況。

第一種情況是在相同時(shí)間間隔出現(xiàn)的兄弟告警和該告警的統(tǒng)計(jì)關(guān)系，我們選擇在時(shí)間維度上和該告警相似度超過(guò)80%的所有告警，這些告警和該告警有時(shí)間上同步的關(guān)系，也就是這些告警統(tǒng)計(jì)上總是和該告警同時(shí)出現(xiàn)。

第二種情況是在該告警出現(xiàn)前一分鐘內(nèi)的所有父親告警和該告警的關(guān)系，我們選擇在時(shí)間維度上和該告警相似度超過(guò)80%的所有告警，這些告警和該告警有時(shí)間上先后的關(guān)系，也就是這些告警統(tǒng)計(jì)上總是在該告警之前出現(xiàn)。

第三種情況是在該告警出現(xiàn)后一分鐘內(nèi)的所有兒子告警和該告警的關(guān)系，我們選擇在時(shí)間維度上和該告警相似度超過(guò)80%的所有告警，這些告警和該告警有時(shí)間上先后的關(guān)系，也就是這些告警統(tǒng)計(jì)上總是在該告警之后出現(xiàn)。

以上就是對(duì)日志和告警數(shù)據(jù)挖掘的項(xiàng)目經(jīng)驗(yàn)總結(jié)，希望對(duì)大家有所啟發(fā)。