大數(shù)據(jù)技術(shù)的興起給IT領(lǐng)域帶來了新的活力

在過去的幾十年當(dāng)中，IT運維團隊一直使用大量先進工具。即便如此，許多IT管理挑戰(zhàn)似乎仍然十分難以解決。但是這些問題的“最后防線”已經(jīng)被新一代工具所攻破，這些工具采用更加復(fù)雜的分析算法來描述問題并且提出解決方案。

“許多廠商在大數(shù)據(jù)和數(shù)據(jù)分析領(lǐng)域推出了多種新的工具，能夠幫助企業(yè)解決內(nèi)部運營、高可用性以及用戶體驗方面存在的問題，”IDC企業(yè)系統(tǒng)管理軟件部門副主席Tim Grieser表示，“其中的創(chuàng)新在于從大數(shù)據(jù)和數(shù)據(jù)分析的角度考慮來自于不同源的超大規(guī)模數(shù)據(jù)。”

這些數(shù)據(jù)一部分來源于廠商自己的工具，還有一部分來自于更為廣泛的數(shù)據(jù)類型，特別是“線路數(shù)據(jù)”，其中包含了大多數(shù)通過線纜或者傳輸協(xié)議、穿越計算機和遠(yuǎn)程通訊網(wǎng)絡(luò)的數(shù)據(jù)。使用這些工具的最終目的在于采用一種全新方式來評估系統(tǒng)性能、可用性和用戶體驗，理解、分析、最終解決這些問題。

“理想情況下，這種全新方式能夠比過去取得更好的效果，未來，用戶可以預(yù)測并且防止問題的發(fā)生，”Grieser表示。這是關(guān)于服務(wù)可靠性和用戶體驗的問題?，F(xiàn)在，分析工具能夠收集各種信息，從終端用戶到IT基礎(chǔ)架構(gòu)的運營數(shù)據(jù)以及業(yè)務(wù)方面提供的各種信息，他進一步解釋道。

企業(yè)已經(jīng)發(fā)現(xiàn)這些最新出現(xiàn)的智能工具能夠為其帶來很大好處。“最佳使用場景是排錯，”他說。企業(yè)能夠擺脫過去的“救火隊員”的角色，從危機應(yīng)對逐漸轉(zhuǎn)為日常管理。

“通過分析來自于各個方面的數(shù)據(jù)，企業(yè)IT部門也許能夠安靜下來，找到基礎(chǔ)架構(gòu)和應(yīng)用程序當(dāng)中所出現(xiàn)問題的合理解決方案，”他還注意到，可以采用SaaS(軟件即服務(wù))或本地等各種方式進行部署。比如，作為智能IT工具的典型代表之一，Splunk提供了基于云的SaaS以及傳統(tǒng)的企業(yè)內(nèi)部智能運營平臺。企業(yè)通常選擇使用云環(huán)境以避免計算和存儲大量數(shù)據(jù)所產(chǎn)生的高昂開銷。另一方面，選擇在本地進行部署的企業(yè)大多數(shù)是由于數(shù)據(jù)隱私和數(shù)據(jù)安全方面的限制。

“在過去的許多年當(dāng)中，這些應(yīng)用程序都能夠幫助我們應(yīng)對這些IT挑戰(zhàn)，而現(xiàn)在ExtraHop和BMC等公司的產(chǎn)品提供了額外的大數(shù)據(jù)分析和機器學(xué)習(xí)功能，”ESG集團的分析師Dan Conde表示。

更加高效的IT部門

和其他業(yè)務(wù)功能不同的是，大數(shù)據(jù)的使用方式更加開放，IT部門只需要針對幾種具體情況進行分析。這些分析結(jié)果可以被用來提升IT部門的工作效率，發(fā)現(xiàn)問題，提升安全性并且加快響應(yīng)速度。已經(jīng)發(fā)生的變化是大數(shù)據(jù)允許企業(yè)存儲比以往更多的信息，網(wǎng)絡(luò)排錯軟件和設(shè)備可能產(chǎn)生超大規(guī)模數(shù)據(jù)。

“大數(shù)據(jù)技術(shù)的興起為整個行業(yè)帶來了新的活力，我們可以看到越來越多的傳統(tǒng)廠商對曾經(jīng)發(fā)生問題的基礎(chǔ)架構(gòu)和工程方法從更深的角度進行理解并且做出改進，”ESG分析師Nik Rouda表示。

這種勞動密集型、效率低下的工作方式必須從根本上進行改變。IT部門當(dāng)中的很多系統(tǒng)都會產(chǎn)生日志和數(shù)據(jù)，這些數(shù)據(jù)當(dāng)中包含了系統(tǒng)的運行情況(以及錯誤)，這是一個分析的絕佳機會。由于這些數(shù)據(jù)當(dāng)中的絕大部分都是非結(jié)構(gòu)性的，因此非常適合于使用大數(shù)據(jù)技術(shù)進行分析。數(shù)據(jù)來源非常清晰，可以通過定義“閥值”進行監(jiān)控，但是通常大數(shù)據(jù)工具能夠發(fā)現(xiàn)一些隱藏的數(shù)據(jù)類型——或者至少對人類來說不那么明顯的特征。

不只是IT部門產(chǎn)生的數(shù)據(jù)，現(xiàn)在所有的數(shù)據(jù)都能夠被分析。

“現(xiàn)在，包括Gartner在內(nèi)的大多數(shù)企業(yè)中都能夠看到‘線路數(shù)據(jù)’——其被視為實現(xiàn)IT性能和可用性管理的最重要來源;甚至比基于設(shè)備或者主機的數(shù)據(jù)來源更加重要，”ExtraHop公司市場和業(yè)務(wù)部高級副總裁Erik Giesa解釋說，這家公司專注于交付IT智能和業(yè)務(wù)運營方面的虛擬報告和數(shù)據(jù)分析。

以ExtraHop需要分析的一組數(shù)據(jù)為例，其中包含了針對250個數(shù)據(jù)包所進行的實時預(yù)處理、測量和計算，需要使用不同協(xié)議和數(shù)據(jù)負(fù)載，在四個系統(tǒng)之間相互交換。“如果我們僅僅將上面的數(shù)字乘以十，真實環(huán)境當(dāng)中也許是成百上千，那么通過了解實時系統(tǒng)分析每秒鐘所需要處理的事務(wù)數(shù)量，你就能夠體會其智能程度和規(guī)模大小了，”Giesa表示。

這種不斷進化的能力是非常重要的，他解釋道，因為如果使用針對單一事務(wù)的抓包和網(wǎng)絡(luò)工具，即便是十幾個人都無法完成這些測量和計算任務(wù)，更不用說每秒鐘幾千個事務(wù)了。針對頁面加載時間、帶寬使用情況、事務(wù)規(guī)模、訂單ID和盈利情況等提取相關(guān)數(shù)據(jù)之后進行分析，同時確保數(shù)據(jù)庫事務(wù)能夠正確運行，“已經(jīng)超過了傳統(tǒng)IT運維監(jiān)控工具的能力范圍，因此需要使用APM(應(yīng)用程序性能管理)、NPM(網(wǎng)絡(luò)性能管理)和日志聚合產(chǎn)品”他還說到。原因是這些信息當(dāng)中只有非常小的一部分是由應(yīng)用程序或者設(shè)備記錄的，因此使用代理來收集和分析這些數(shù)據(jù)是不切實際的，特別是在大規(guī)模情況下。“設(shè)想現(xiàn)在loT(物聯(lián)網(wǎng))、SDN(軟件定義網(wǎng)絡(luò))、容器以及微服務(wù)等這些趨勢，企業(yè)不能使用代理或者自助報告日志等方式來管理這些傳感器、網(wǎng)絡(luò)或者微服務(wù)。唯一能夠分析這些活動和行為的方式就是使用線路數(shù)據(jù)，”Giesa表示。

“這種大數(shù)據(jù)分析技術(shù)能夠起到很大幫助作用，比如，對于安全問題來說。一個經(jīng)常被錯誤報告的偶然SQL注入問題可能不會引起管理員的注意，但是大數(shù)據(jù)分析能夠迅速發(fā)現(xiàn)其為異常行為，”Rouda表示。

在這種情況下，管理員能夠更加迅速地發(fā)現(xiàn)問題，并且鍛煉解決復(fù)雜問題的能力——比如資源利用率問題——也就不足為怪了，他解釋道。

這個領(lǐng)域非常適合投資，因為其在IT部門自己的控制范圍之內(nèi)，需要遵守內(nèi)部操作流程。“其使用一項技術(shù)來改進另外一項技術(shù)——這就是其被廣泛接受的原因，”他說。這種趨勢已經(jīng)促進一些全新廠商的出現(xiàn)，其中最知名的就是Splunk。同時還有許多“服務(wù)等級管理工具廠商”比如BMC，以及其他一些網(wǎng)絡(luò)公司。

未來發(fā)展趨勢

Splunk的核心平臺——Enterprise 6.4——能夠研究、監(jiān)控和分析來源于多種不同環(huán)境的機器數(shù)據(jù)，從用戶訪問頁面和事務(wù)處理情況到安全事件以及網(wǎng)絡(luò)活動。其使用一系列的研究、分析、虛擬化和預(yù)封裝的實際案例，幫助IT部門發(fā)現(xiàn)問題和分享觀點。根據(jù)公司提供的資料，這些案例包括應(yīng)用程序交付、IT運維、安全和合規(guī)、業(yè)務(wù)分析以及物聯(lián)網(wǎng)等方面。超過1000個Splunk應(yīng)用和插件還能夠交付預(yù)封裝的視圖、dashboard以及工作流。

與其類似的是，BMC的SaaS平臺TrueSight Intelligence使用REST API來獲取IT運維和業(yè)務(wù)數(shù)據(jù)，自動學(xué)習(xí)這些系統(tǒng)的行為。之后將這些信息輸出到圖形界面，這樣用戶就能夠查看應(yīng)用程序的健康狀態(tài)和性能表現(xiàn)以及一些關(guān)鍵的性能指標(biāo)了。

CloudPhysics同樣能夠收集用戶數(shù)據(jù)中心的多種數(shù)據(jù)，之后從容量、性能的角度對數(shù)據(jù)中心的整體風(fēng)險和健康程度進行深入分析。此外，CloudPhysics還能夠?qū)⒚總€客戶的數(shù)據(jù)集和自己的全局?jǐn)?shù)據(jù)集進行比較——這個一個包含全部匿名用戶相關(guān)數(shù)據(jù)的集合。通過這種方式用戶能夠以其他組織的數(shù)據(jù)為基準(zhǔn)對自己的情況進行對比分析。這種分析能夠幫助用戶決定是否購買新的服務(wù)器、資源的使用效率是否偏低，甚至是決定哪種應(yīng)用程序最適合運行在云當(dāng)中。

應(yīng)用程序的重要性

核心分析對于IT部門來說一直非常重要?！拔覀儽仨毐O(jiān)控對業(yè)務(wù)至關(guān)重要的任何數(shù)字服務(wù)，”BMC公司性能和可用性部門總裁Bill Berutti表示。

特別是最近，隨著應(yīng)用程序的逐漸普及以及用戶體驗重要性的不斷增強，應(yīng)用程序市場的發(fā)展帶動了數(shù)據(jù)分析需求的增加。日志分析也變得十分重要，Bill Berutti再次表示像BMC這樣的公司已經(jīng)能夠成功使用日志來分析是否存在問題以及這些問題位于應(yīng)用程序或者基礎(chǔ)架構(gòu)的哪一層。

最近，隨著互聯(lián)網(wǎng)服務(wù)的大規(guī)模興起，數(shù)據(jù)分析變得比以往更加重要?！澳切┐笮皖嵏残缘墓?，比如Airbnb和Uber，就是打破行業(yè)數(shù)據(jù)分析傳統(tǒng)的極端案例，我打賭IT分析一定是這些公司業(yè)務(wù)的重要組成部分，”Berutt說到，“對于這些企業(yè)來說，如果應(yīng)用程序不能正常工作，那么業(yè)務(wù)也就不復(fù)存在了?！?/span>

但是IT分析不僅局限于這些互聯(lián)網(wǎng)業(yè)務(wù)?！傲闶凵毯徒鹑跈C構(gòu)也開始面臨著相同的情況，”他說。

比如，過去銀行的競爭優(yōu)勢在于ATM機數(shù)量;現(xiàn)在移動設(shè)備上的App使得24小時銀行變?yōu)榭赡埽淠軌蜉p松、快速和方便地查詢賬戶余額并且處理支票儲蓄，而實現(xiàn)這些功能需要強大的分析能力。

一些企業(yè)的IT部門嘗試使用大數(shù)據(jù)技術(shù)幫助自己完成相關(guān)功能，但是“在數(shù)據(jù)科學(xué)和機器學(xué)習(xí)方面遇到很多挑戰(zhàn)，因為大多數(shù)傳統(tǒng)IT部門并不具有相關(guān)技能，”他說。

前景分析

除了分析如何“修復(fù)”問題之外，另外一個主要關(guān)注點是預(yù)測性分析。過去企業(yè)能夠針對這個領(lǐng)域當(dāng)中的某個方面實現(xiàn)自己的目標(biāo)，但是現(xiàn)在主流的機器學(xué)習(xí)算法已經(jīng)能夠從多個角度進行根本原因分析，因此能夠應(yīng)對大量問題，Berutti說。

機器學(xué)習(xí)能夠很好地應(yīng)對IT部門所面臨的各種挑戰(zhàn)，ESG公司的Rouda也同意這種觀點。“使用機器學(xué)習(xí)技術(shù)企業(yè)能夠查看各種網(wǎng)絡(luò)活動，真正開始學(xué)習(xí)到底發(fā)生了哪些事情，”他還說到。

一個大型芯片制造商的案例印證了這種說法，這家公司的報告顯示其每天需要面對800億到1000億個網(wǎng)絡(luò)事件，因此雇傭了數(shù)十個安全專家來嘗試?yán)斫庀到y(tǒng)相關(guān)動態(tài)。然而，正如Rouda所說，這種挑戰(zhàn)是無論多少人都無法應(yīng)對的。

另一方面，使用機器學(xué)習(xí)技術(shù)“我們能夠?qū)⑦@些數(shù)據(jù)進行分組，輸入不同的集群當(dāng)中，而員工可以監(jiān)控整個流程并且進行改進，”Rouda說，“不能使用機器完成所有工作，因為機器不可能理解所有數(shù)據(jù)的含義，但是其非常善于在不同數(shù)據(jù)之間建立聯(lián)系。并且事實上，這就是真正需要進行變化的地方?！?/span>

他預(yù)測市場的首要增長點將會是廠商向其現(xiàn)有客戶群體推銷機器學(xué)習(xí)和大數(shù)據(jù)分析技術(shù)，之后進一步擴展市場規(guī)模。“每個IT員工需要負(fù)責(zé)的應(yīng)用數(shù)量和數(shù)據(jù)規(guī)模一直在不斷增加，但是IT預(yù)算卻趨于平緩，因此這種創(chuàng)新能夠讓管理流程更加高效，”Rouda最后表示。