
大數(shù)據(jù)時代與精準運維
隨著科技的進步,我們正步入一個新的時代,新常態(tài)下,由重視數(shù)量到更注重質(zhì)量,以創(chuàng)新做為推動力,互聯(lián)網(wǎng)+、工業(yè)4.0、中國制造2025、以及大數(shù)據(jù)、云計算科技迸發(fā)出全新活力。
以人為本的智能時代就要到來:智能連接、智能服務(wù)、智能制造,“連接一切,充分感知”是這個時代的特征。
因此,利用這個時代的特定服務(wù),企業(yè)家們精準掌舵,站在風(fēng)口上的人,注定將是大時代的弄潮人。
一、什么是大數(shù)據(jù)
大數(shù)據(jù),就是隨著信息化技術(shù)的發(fā)展,特別是互聯(lián)網(wǎng)技術(shù)的發(fā)展,積累下的大量的信息數(shù)據(jù)資產(chǎn),這些資產(chǎn)具有四個特點:
第一,數(shù)據(jù)體量巨大。從TB級別,躍升到PB級別
第二數(shù)據(jù)類型繁多。前文提到的網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等等
第三,處理速度快,1秒定律,可從各種類型的數(shù)據(jù)中快速獲得高價值的信息,這一點是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同
第四,只要合理利用數(shù)據(jù)并對其進行準確的分析,我們將會獲得高價值回報
業(yè)界將這四個特點歸納為4個“V”, 亦即:
Volume(數(shù)據(jù)體量大)
Variety(數(shù)據(jù)類型繁多)
Velocity(處理速度快)
Value(價值密度低)
大數(shù)據(jù)分析最早來源于運維人的日志分析,但之后人們發(fā)現(xiàn)這些數(shù)據(jù)蘊涵著非常大的價值,并逐步發(fā)展到對各種業(yè)務(wù)數(shù)據(jù)的分析,
當前,大數(shù)據(jù)的處理分析正逐漸成為新一代信息技術(shù)融合應(yīng)用的結(jié)點,大數(shù)據(jù)成為信息產(chǎn)業(yè)持續(xù)高速增長的新引擎,對它的有效利用亦將成為提高企業(yè)核心競爭力的關(guān)鍵因素。
另一方面,大數(shù)據(jù)時代科學(xué)研究的方法也將發(fā)生重大改變。
在大數(shù)據(jù)時代,可通過實時監(jiān)測、跟蹤研究對象在互聯(lián)網(wǎng)上產(chǎn)生的海量行為數(shù)據(jù), 進行挖掘分析,揭示出其中蘊藏的規(guī)律、提出研究結(jié)論和對策。
二、精準運維及其與大數(shù)據(jù)的關(guān)系
什么是運維?
所謂運維,既可理解為信息系統(tǒng)的運行維護,又可理解為IT業(yè)務(wù)的運營及維護工作,兩種理解都正確,只是適用的企業(yè)類型不一樣:
前者是傳統(tǒng)的理解,主要適用于一些大型傳統(tǒng)企業(yè)和IT業(yè)界傳統(tǒng)作業(yè)部分
后者的理解更活躍在一批IT服務(wù)的創(chuàng)新企業(yè)里,他們更需要企業(yè)的經(jīng)營與用戶的需求同步
什么是精準運維?
精準運維是一種IT服務(wù)方法,它是要讓IT運維服務(wù)圍繞被服務(wù)對象的業(yè)務(wù)來展開,進行同步心跳式的服務(wù),而不是僅圍繞信息系統(tǒng)本身(軟硬件)來服務(wù),這在書籍《IT運維之道》有闡述。
作為運行維護,精準運維是通過一系列方法掌握服務(wù)對象的信息系統(tǒng)特征以及該信息系統(tǒng)所服務(wù)的企業(yè)業(yè)務(wù)特征,找準目標,把握企業(yè)運行脈搏,從而精準地規(guī)劃服務(wù),同步應(yīng)變,實現(xiàn)服務(wù)與業(yè)務(wù)的匹配。
作為運營維護,精準運維就是從業(yè)者以客戶為導(dǎo)向,讓業(yè)務(wù)與用戶的要求心跳同步,并確保支撐業(yè)務(wù)的信息系統(tǒng),隨需應(yīng)變。
兩種理解作為精準運維沒有本質(zhì)的差異,就是第一人稱還是第三人稱而已。
精準運維本質(zhì)是要保持用戶的需求與業(yè)務(wù)心跳同步,以人為本,要達到的效果與四個因素有關(guān),即人、軟件、硬件與環(huán)境,具體關(guān)聯(lián)如下圖所示:
應(yīng)用軟件是指對業(yè)務(wù)的邏輯編程
支撐軟件包括操作系統(tǒng)、中間件、開發(fā)工具、數(shù)據(jù)庫等
硬件包括:客戶端設(shè)備、服務(wù)器、網(wǎng)路設(shè)施
環(huán)境包括機房設(shè)施等
人員主要指開發(fā)和運營維護的企業(yè)員工。
從圖上我們可以看到,前面的因素對后面的因素提出要求,而后面對前面產(chǎn)生影響。
用戶或客戶對系統(tǒng)的要求是通過對業(yè)務(wù)的要求來實現(xiàn)的,而用戶對業(yè)務(wù)的要求又是動態(tài)的,還各有特色,如果后臺準備不足,就可能導(dǎo)致滿意度下降,甚至流失客戶。
這個特性在互聯(lián)網(wǎng)行業(yè)尤為突出:互聯(lián)網(wǎng)企業(yè)更重視用戶體驗,信息系統(tǒng)本身的易用性差或穩(wěn)定性低往往直接影響用戶體驗,進而對企業(yè)的用戶群體規(guī)模產(chǎn)生致命的影響。
值得一提的是,互聯(lián)網(wǎng)企業(yè)一般客戶與用戶是一致的,傳統(tǒng)企業(yè)則不一定。
因此互聯(lián)網(wǎng)企業(yè)對大數(shù)據(jù)的應(yīng)用,是要建立在充分感知被服務(wù)對象的業(yè)務(wù)情況,并能預(yù)測業(yè)務(wù)情況的基礎(chǔ)上的。
要掌握用戶的對業(yè)務(wù)的動態(tài)要求,甚至預(yù)測和引導(dǎo)用戶的行為,就需要大數(shù)據(jù)來幫忙,找出關(guān)聯(lián)性,發(fā)現(xiàn)趨勢并引領(lǐng)趨勢,即大數(shù)據(jù)可以輔助實現(xiàn)精準運維,使其更加精、更加準。
三、為什么企業(yè)需要精準運維
在以人為本的時代,雖然客戶是上帝,但“上帝”除了盡量滿足還需要合理引導(dǎo)。我們說決定客戶滿意度的因素一般有三:
是客戶或用戶的欲望和要求,
是競爭對手的情況與態(tài)勢,
是自身的水平與實力。
1和2均為外部因素,只有3是內(nèi)部因素。
根據(jù)實踐經(jīng)驗我們發(fā)現(xiàn):滿足、引導(dǎo)和控制外部并提升內(nèi)部是提高滿意度的最佳之法。
當然。內(nèi)外密切相關(guān),提升內(nèi)部必須是圍繞外部的,而只有對外部的情況準確掌握,才能做到對外部的滿足、引導(dǎo)與控制。
所以,目前一切的智能活動都是基于“明白”這個概念出發(fā)的,明白客戶(用戶),明白對手,這樣才能做到貼心服務(wù)。
這是一個以人為本的社會,如何明白人們的心思,那就是所謂的“察言觀色”。
怎樣察言觀色呢?
道理很簡單,因為人們在家庭和社會活動中留下許多痕跡,這些痕跡數(shù)據(jù),就是企業(yè)來判斷客戶或者用戶行為的依據(jù),這些大數(shù)據(jù)加上合適的分析,能幫助我們隨需應(yīng)變。
現(xiàn)在互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)正在逐步成熟,一些巨型的傳統(tǒng)企業(yè)或IT服務(wù)企業(yè),如:騰訊、阿里、百度、京東、google、amazon、中國電網(wǎng)、銀行等,具備了這樣的分析條件。
正如我在《IT運維之道》中提到的:大部分IT系統(tǒng)在設(shè)計和開發(fā)階段,受開發(fā)周期、運行效率和成本等因素的影響,都不可能做到無限柔性;要做到隨需應(yīng)變,就需要運維工作來幫忙。當然,這對運維工作本身也提出了較高的要求:
首先,運維不僅僅是運行維護而是運營維護, 需要全面、準確把握業(yè)務(wù)需求;
其次,運維工作需要精準,將業(yè)務(wù)需求和信息系統(tǒng)性能、功能等進行匹配度分析,為系統(tǒng)升級改造、優(yōu)化完善提供依據(jù)和解決方案;
再次,要對運營過程中的大數(shù)據(jù)從業(yè)務(wù)角度進行精準分析,從而找到新的業(yè)務(wù)增長點或改進方向。
精準運維有助于我們的企業(yè)服務(wù)精準化、個性化、甚至引領(lǐng)潮流化,使企業(yè)強者恒強。
當前,互聯(lián)網(wǎng)企業(yè)正處于爭奪“入口”戰(zhàn)的白熱化階段:
是互聯(lián)網(wǎng)正在顛覆傳統(tǒng)信息獲取、生活消費以及商務(wù)方式的入口渠道
是面臨眾多互聯(lián)網(wǎng)企業(yè)搶奪的現(xiàn)實,而且互聯(lián)網(wǎng)企業(yè)扁平化程度越來越高
如何成為第一、穩(wěn)住第一,都是CEO思考的課題。
質(zhì)量、速度、成本是互聯(lián)網(wǎng)企業(yè)產(chǎn)品的主要考量。
互聯(lián)網(wǎng)企業(yè)的產(chǎn)品從策劃、設(shè)計、研發(fā)、上線、運營都要考慮這三個問題。這里的質(zhì)量是廣義的質(zhì)量,包含了用戶的熱度。
所以作為運營維護人一開始就要參加到整個周期中,并把控全局,才能真正與用戶的需求心跳同步,精準運維。
經(jīng)典案例分析:
2015年微信發(fā)紅包,除夕搖一搖總次數(shù)110億次,峰值1400萬次/秒,8.1億次每分鐘,微信紅包收發(fā)達10.1億次!
驚人數(shù)字再次讓人們好奇,2015年微信紅包方式與去年用戶與用戶之間互發(fā)紅包相比,搖紅包的方式對業(yè)務(wù)量來說是一個極大的爆發(fā),光是除夕10:30送出的一波紅包就達到了1.2億個,已經(jīng)是2014年除夕夜峰值的4800倍之巨 (2014年峰值每分鐘被拆開紅包數(shù)量僅2.5W個) !
大量用戶在同一時間搖紅包,瞬間產(chǎn)生每秒千萬級的請求,這個量級的請求如果不加以疏導(dǎo)處理直接到達后臺,必定會導(dǎo)致后端服務(wù)過載甚至崩潰。
微信后臺運維團隊主要通過三大應(yīng)對策略應(yīng)對:有損服務(wù),柔性可用,大系統(tǒng)小做。
我們在驚嘆騰訊再次創(chuàng)造奇跡的同時,仔細想想,哪些可損、哪些可柔、哪些可小做?
微信搖紅包是個業(yè)務(wù),實現(xiàn)這個業(yè)務(wù)的是它的信息系統(tǒng),就是說配什么樣的員工、用什么樣的硬件、怎樣的應(yīng)用更合理,需要什么樣的環(huán)境,這些決策都需要基于預(yù)測用戶的群體意識,決定保哪部分業(yè)務(wù),對應(yīng)的資源怎么調(diào)整,都與大數(shù)據(jù)有關(guān)。
四、企業(yè)怎樣做好精準運維
1. 傳統(tǒng)企業(yè)
傳統(tǒng)企業(yè)運維的關(guān)注重點是在安全、權(quán)限管理等方面,以及舊IT資產(chǎn)利用率,如何利用好現(xiàn)有的IT資產(chǎn)是他們目前迫切需要解決的問題。
傳統(tǒng)企業(yè)的內(nèi)網(wǎng),使用大量的小型機(IBM Power小型機、HP小型機、Sun小型機等)、高端網(wǎng)絡(luò)和存儲設(shè)備(Cisco、EMC、日立等),使用大量的商業(yè)數(shù)據(jù)庫、ERP和中間件技術(shù)(IBM DB2、Oracle、SAP等)。
企業(yè)的核心業(yè)務(wù)運行于這些設(shè)備和軟件之上,業(yè)務(wù)年限長、歷史遺留問題多,數(shù)據(jù)安全、業(yè)務(wù)連續(xù)性等是這些企業(yè)的生命線。
在運維方面,傳統(tǒng)企業(yè)往往通過購買廠商和集成商(即第三方)的服務(wù)來保證其IT業(yè)務(wù)的穩(wěn)定性。
那么,傳統(tǒng)企業(yè)如何做好精準運維呢?主要有三個關(guān)鍵點,具體如下:
企業(yè)高層要有戰(zhàn)略高度,能夠意識到業(yè)務(wù)的發(fā)展與信息系統(tǒng)的運行休戚相關(guān),并重視精準運維在促進業(yè)務(wù)發(fā)展中的重要作用;
引入一個專業(yè)的運維團隊(這個團隊往往是第三方專業(yè)運維服務(wù)商),能夠協(xié)助本企業(yè)搜集業(yè)務(wù)需求以及與信息系統(tǒng)密切相關(guān)的人、軟件、硬件、環(huán)境等信息,并進行信息系統(tǒng)與業(yè)務(wù)的匹配度分析,進而提出對信息系統(tǒng)的優(yōu)化建議;
企業(yè)根據(jù)上述優(yōu)化建議進行綜合評估,從成本效益角度選擇部分或全部予以實施,并由專業(yè)運維團隊來跟蹤實施效果。
2.互聯(lián)網(wǎng)企業(yè)
對于互聯(lián)網(wǎng)企業(yè)的運維,如何快速有效地部署、如何保證可利用率、如何處理大并發(fā)訪問等是他們的頭等要事。
現(xiàn)代的互聯(lián)網(wǎng)企業(yè),大量使用PC服務(wù)器、普通硬盤盤陣和集群、先進的SSD技術(shù)、大量使用Linux、MySQL等開源軟件。業(yè)務(wù)模式單一,軟件技術(shù)、硬件設(shè)備更替迅速。
性能優(yōu)化、部署靈活、提升IT硬件利用率是他們的工作重點,業(yè)務(wù)領(lǐng)先的互聯(lián)網(wǎng)企業(yè)背后都有一個強大的IT運維技術(shù)團隊,而這個運維技術(shù)團隊往往是互聯(lián)網(wǎng)企業(yè)內(nèi)部的一個信息部門或運維部門。
對于互聯(lián)網(wǎng)企業(yè)來說,要做好精準運維,主要關(guān)注以下幾個方面:
企業(yè)高層要把握大生態(tài)環(huán)境,要時刻關(guān)注用戶體驗和發(fā)展趨勢,并將其作為業(yè)務(wù)發(fā)展的一個重要任務(wù)來抓。
企業(yè)內(nèi)部的專業(yè)技術(shù)團隊要開展大數(shù)據(jù)分析,要掌握用戶對業(yè)務(wù)的動態(tài)要求,并預(yù)測和引導(dǎo)用戶的行為,通過大數(shù)據(jù)來輔助開展精確預(yù)測。同時,將預(yù)測結(jié)果轉(zhuǎn)化為對信息系統(tǒng)的需求,包括人員、軟件、硬件、環(huán)境需求等,從而提出性能提升和服務(wù)創(chuàng)新的優(yōu)化建議。
根據(jù)內(nèi)部專業(yè)技術(shù)團隊的優(yōu)化建議,進行系統(tǒng)性能的優(yōu)化或新服務(wù)產(chǎn)品的設(shè)計,以精確匹配用戶需求。
展望未來,“連接一切”將是一個時尚的詞句,物物相連,人人相連,人物相連。
在這個巨大且復(fù)雜的網(wǎng)絡(luò)中,以大數(shù)據(jù)、云計算為基礎(chǔ)的智能感知世界,就在未來十年誕生,讓我們張開雙臂,擁抱未來,以大數(shù)據(jù)為基礎(chǔ),精準感知、精準運維。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計學(xué)領(lǐng)域,假設(shè)檢驗是驗證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學(xué)計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學(xué)計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當下,精準營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價值 在數(shù)據(jù)驅(qū)動決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實踐到業(yè)務(wù)價值挖掘 在數(shù)據(jù)分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價值導(dǎo)向 統(tǒng)計模型作為數(shù)據(jù)分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10