大數(shù)據(jù)日志分析的成功取決于機(jī)器學(xué)習(xí)_數(shù)據(jù)分析師培訓(xùn)

各種設(shè)備產(chǎn)生數(shù)量龐大的日志數(shù)據(jù)為深入了解它們創(chuàng)造了巨大可能，但為更透徹理解，機(jī)器學(xué)習(xí)十分必要。

機(jī)器生成的日志數(shù)據(jù)就像大數(shù)據(jù)宇宙的暗物質(zhì)，在每一層，每一節(jié)點(diǎn)產(chǎn)生，然后在包括智能手機(jī)和互聯(lián)網(wǎng)終端在內(nèi)的分布式信息技術(shù)生態(tài)系統(tǒng)中生成。它們被收集，處理，分析和廣泛使用，但大多時(shí)候，這些都發(fā)生在幕后。

日志數(shù)據(jù)對(duì)許多微型企業(yè)應(yīng)用起到很基礎(chǔ)的作用，如故障排除，調(diào)試，監(jiān)控，安全，反欺詐，法規(guī)遵從和電子發(fā)現(xiàn)。然而，它也可以成為一個(gè)強(qiáng)大的工具，以用于分析點(diǎn)擊流，地理空間，社交媒體，以及許多以客戶(hù)為中心的使用情況等記錄相關(guān)的行為數(shù)據(jù)。

機(jī)器學(xué)習(xí)能浮動(dòng)大數(shù)據(jù)海洋上所有船只。

人類(lèi)很難跟上機(jī)器記錄數(shù)據(jù)，在設(shè)計(jì)之初，它們就沒(méi)打算供人類(lèi)直接分析。除非注入非凡效率，日志數(shù)據(jù)的高量，速度和品種可以迅速壓倒人的認(rèn)知。埃森哲撰寫(xiě)的最近這篇文章對(duì)此解釋簡(jiǎn)明扼要：

日志文件的數(shù)量和種類(lèi)日益上升，因此，管理和分析它，跟蹤潛在的問(wèn)題，發(fā)現(xiàn)錯(cuò)誤–尤其當(dāng)跨數(shù)發(fā)生關(guān)聯(lián)時(shí)，都變得越來(lái)越困難。即使在最好的情況下，它仍需要一個(gè)有經(jīng)驗(yàn)的操作人員遵循事件鏈，濾除噪聲，并最終診斷出一個(gè)復(fù)雜的問(wèn)題的根本原因。

顯然，自動(dòng)化是深入了解日志數(shù)據(jù)的關(guān)鍵，因?yàn)槿罩緮?shù)據(jù)在大數(shù)據(jù)領(lǐng)域里成規(guī)模分布。自動(dòng)化可以確保數(shù)據(jù)的采集，分析處理，同時(shí)，它對(duì)數(shù)據(jù)的顯示結(jié)果規(guī)制和事件驅(qū)動(dòng)的履行和數(shù)據(jù)流一樣高速。日志分析自動(dòng)化主要引擎包括機(jī)器數(shù)據(jù)集成中間件，業(yè)務(wù)規(guī)則管理系統(tǒng)，語(yǔ)義分析，數(shù)據(jù)流計(jì)算平臺(tái)和機(jī)器學(xué)習(xí)算法。

其中，機(jī)器學(xué)習(xí)對(duì)于日志數(shù)據(jù)深入了解的自動(dòng)化和精華甄選最為關(guān)鍵。但是，機(jī)器學(xué)習(xí)并不對(duì)于所有記錄數(shù)據(jù)都完全準(zhǔn)確的分析方法。不同的機(jī)器學(xué)習(xí)適合于不同類(lèi)型的日志數(shù)據(jù)，用于不同的分析挑戰(zhàn)。當(dāng)尋求相關(guān)性或其他模式時(shí)可通過(guò)機(jī)器學(xué)習(xí)先驗(yàn)，而要進(jìn)一步探索，監(jiān)督學(xué)習(xí)則為上策。然而，監(jiān)督學(xué)習(xí)需要人類(lèi)專(zhuān)家從日志中準(zhǔn)備一個(gè)培訓(xùn)數(shù)據(jù)的設(shè)置，以改進(jìn)機(jī)器學(xué)習(xí)算法，使它們具有與辨別最相關(guān)的模式的能力。

但是，如果不能對(duì)日志數(shù)據(jù)模式提前精確定義，無(wú)監(jiān)督和強(qiáng)化學(xué)習(xí)可能更合適。它們由機(jī)器學(xué)習(xí)提供，幫助日志數(shù)據(jù)分析方案最大化適合于全自動(dòng)化，因?yàn)樗鼈兛梢蕴暨x出并優(yōu)先最相關(guān)的模式，進(jìn)行手頭的任務(wù)，而不需要增設(shè)人類(lèi)額外操作的培訓(xùn)數(shù)據(jù)設(shè)置。

多樣相關(guān)性是用與無(wú)監(jiān)督和強(qiáng)化學(xué)習(xí)的核心日志數(shù)據(jù)分析使用案例。當(dāng)多樣的日志數(shù)據(jù)被合成，最終它們合成，變得更異質(zhì)的，復(fù)雜莫測(cè)，最有趣的數(shù)據(jù)也發(fā)生變化，這種關(guān)系完全不能被清楚地預(yù)先分析。因此，如果我們只是嘗試使用簡(jiǎn)單的查詢(xún)、預(yù)先存在的報(bào)表和儀表盤(pán)，以及其他標(biāo)準(zhǔn)分析視圖進(jìn)行查看，隱藏的模式可能仍然不可見(jiàn)。在這些情況下，機(jī)器學(xué)習(xí)可以提供各種顯著的量化方法對(duì)此進(jìn)一步探討，例如聚類(lèi)，馬爾可夫模型，自組織映射等等。

另一個(gè)無(wú)監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的關(guān)鍵應(yīng)用是識(shí)別要么從未發(fā)生過(guò)或者除了被認(rèn)定為雜音外從來(lái)沒(méi)有被標(biāo)記過(guò)的那些顯著模式。文章作者討論了一款假定的機(jī)器學(xué)習(xí)的安全日志分析應(yīng)用程序，它可以“立即為用戶(hù)發(fā)現(xiàn)非典型訪(fǎng)問(wèn)模式，即使這種特殊訪(fǎng)問(wèn)模式此前從未出現(xiàn)，他也能力及識(shí)別，這樣就可以防止特別是私人信息的高風(fēng)險(xiǎn)損失。

許多對(duì)海量日志數(shù)據(jù)最具破壞性的見(jiàn)解都具有這種特質(zhì)：復(fù)雜，死氣，前所未有。從日志數(shù)據(jù)本身而不是從任何先驗(yàn)知識(shí)可知，將有許多數(shù)據(jù)科學(xué)家花費(fèi)大量的時(shí)間去研究。他們將越來(lái)越多地調(diào)整自己的機(jī)器學(xué)習(xí)算法來(lái)監(jiān)聽(tīng)日志中夾帶的那些即使是最先進(jìn)的人類(lèi)主題專(zhuān)家此前也曾忽視了的“信號(hào)”。