大數(shù)據(jù)日志分析的成功取決于機器學習_數(shù)據(jù)分析師培訓

各種設(shè)備產(chǎn)生數(shù)量龐大的日志數(shù)據(jù)為深入了解它們創(chuàng)造了巨大可能，但為更透徹理解，機器學習十分必要。

機器生成的日志數(shù)據(jù)就像大數(shù)據(jù)宇宙的暗物質(zhì)，在每一層，每一節(jié)點產(chǎn)生，然后在包括智能手機和互聯(lián)網(wǎng)終端在內(nèi)的分布式信息技術(shù)生態(tài)系統(tǒng)中生成。它們被收集，處理，分析和廣泛使用，但大多時候，這些都發(fā)生在幕后。

日志數(shù)據(jù)對許多微型企業(yè)應(yīng)用起到很基礎(chǔ)的作用，如故障排除，調(diào)試，監(jiān)控，安全，反欺詐，法規(guī)遵從和電子發(fā)現(xiàn)。然而，它也可以成為一個強大的工具，以用于分析點擊流，地理空間，社交媒體，以及許多以客戶為中心的使用情況等記錄相關(guān)的行為數(shù)據(jù)。

機器學習能浮動大數(shù)據(jù)海洋上所有船只。

人類很難跟上機器記錄數(shù)據(jù)，在設(shè)計之初，它們就沒打算供人類直接分析。除非注入非凡效率，日志數(shù)據(jù)的高量，速度和品種可以迅速壓倒人的認知。埃森哲撰寫的最近這篇文章對此解釋簡明扼要：

日志文件的數(shù)量和種類日益上升，因此，管理和分析它，跟蹤潛在的問題，發(fā)現(xiàn)錯誤–尤其當跨數(shù)發(fā)生關(guān)聯(lián)時，都變得越來越困難。即使在最好的情況下，它仍需要一個有經(jīng)驗的操作人員遵循事件鏈，濾除噪聲，并最終診斷出一個復雜的問題的根本原因。

顯然，自動化是深入了解日志數(shù)據(jù)的關(guān)鍵，因為日志數(shù)據(jù)在大數(shù)據(jù)領(lǐng)域里成規(guī)模分布。自動化可以確保數(shù)據(jù)的采集，分析處理，同時，它對數(shù)據(jù)的顯示結(jié)果規(guī)制和事件驅(qū)動的履行和數(shù)據(jù)流一樣高速。日志分析自動化主要引擎包括機器數(shù)據(jù)集成中間件，業(yè)務(wù)規(guī)則管理系統(tǒng)，語義分析，數(shù)據(jù)流計算平臺和機器學習算法。

其中，機器學習對于日志數(shù)據(jù)深入了解的自動化和精華甄選最為關(guān)鍵。但是，機器學習并不對于所有記錄數(shù)據(jù)都完全準確的分析方法。不同的機器學習適合于不同類型的日志數(shù)據(jù)，用于不同的分析挑戰(zhàn)。當尋求相關(guān)性或其他模式時可通過機器學習先驗，而要進一步探索，監(jiān)督學習則為上策。然而，監(jiān)督學習需要人類專家從日志中準備一個培訓數(shù)據(jù)的設(shè)置，以改進機器學習算法，使它們具有與辨別最相關(guān)的模式的能力。

但是，如果不能對日志數(shù)據(jù)模式提前精確定義，無監(jiān)督和強化學習可能更合適。它們由機器學習提供，幫助日志數(shù)據(jù)分析方案最大化適合于全自動化，因為它們可以挑選出并優(yōu)先最相關(guān)的模式，進行手頭的任務(wù)，而不需要增設(shè)人類額外操作的培訓數(shù)據(jù)設(shè)置。

多樣相關(guān)性是用與無監(jiān)督和強化學習的核心日志數(shù)據(jù)分析使用案例。當多樣的日志數(shù)據(jù)被合成，最終它們合成，變得更異質(zhì)的，復雜莫測，最有趣的數(shù)據(jù)也發(fā)生變化，這種關(guān)系完全不能被清楚地預先分析。因此，如果我們只是嘗試使用簡單的查詢、預先存在的報表和儀表盤，以及其他標準分析視圖進行查看，隱藏的模式可能仍然不可見。在這些情況下，機器學習可以提供各種顯著的量化方法對此進一步探討，例如聚類，馬爾可夫模型，自組織映射等等。

另一個無監(jiān)督學習和強化學習的關(guān)鍵應(yīng)用是識別要么從未發(fā)生過或者除了被認定為雜音外從來沒有被標記過的那些顯著模式。文章作者討論了一款假定的機器學習的安全日志分析應(yīng)用程序，它可以“立即為用戶發(fā)現(xiàn)非典型訪問模式，即使這種特殊訪問模式此前從未出現(xiàn)，他也能力及識別，這樣就可以防止特別是私人信息的高風險損失。

許多對海量日志數(shù)據(jù)最具破壞性的見解都具有這種特質(zhì)：復雜，死氣，前所未有。從日志數(shù)據(jù)本身而不是從任何先驗知識可知，將有許多數(shù)據(jù)科學家花費大量的時間去研究。他們將越來越多地調(diào)整自己的機器學習算法來監(jiān)聽日志中夾帶的那些即使是最先進的人類主題專家此前也曾忽視了的“信號”。