
作者 | CDA數(shù)據(jù)分析師
大數(shù)據(jù)革命引發(fā)了數(shù)據(jù)中心的爆炸式增長,這些中心正在以越來越高的速率消耗能源。本文回顧了兩種提高數(shù)據(jù)中心效率的標(biāo)準(zhǔn)方法,并認(rèn)為第三種方法-機(jī)器學(xué)習(xí)-是最佳解決方案。
天網(wǎng),VIKI和HAL 9000就是一些具有機(jī)器學(xué)習(xí)功能的AI的例子。創(chuàng)建它們的目的是解決對人類而言過于復(fù)雜的問題,并通過神經(jīng)網(wǎng)絡(luò)對其進(jìn)行控制,以提高效率,安全性和成功率。當(dāng)然,電影需要對立面,因此這些AI奇跡給了不利的黑暗面——但是這種復(fù)雜的機(jī)器學(xué)習(xí)是真實的并且已經(jīng)成功實現(xiàn)。
自2000年代以來,數(shù)據(jù)中心已經(jīng)激增。一個大型電子商務(wù)服務(wù)數(shù)據(jù)中心僅用幾個19英寸機(jī)架來部署所需的服務(wù)器,存儲器,以及網(wǎng)絡(luò)設(shè)備。如今,超大型數(shù)據(jù)中心成千上萬的硬件設(shè)備部署在數(shù)千個機(jī)架上。它們源自本地辦公室的小型服務(wù)器,現(xiàn)已發(fā)展成為超大型設(shè)施,以維護(hù)我們的物聯(lián)網(wǎng)和所有相關(guān)數(shù)據(jù)。美國人使用的數(shù)據(jù),流程,連接性和存儲量需要大量電力,這意味著數(shù)據(jù)中心是主要的能源消耗者。占全國年用電量2%的行業(yè)和政府專家正致力于提高效率,因為預(yù)計數(shù)據(jù)中心的需求將會增加。
目前,解決此問題的方案主要有兩個方面:
但是,它并沒有確定解決此困難的解決方案。而真正的解決方案在于實現(xiàn)機(jī)器學(xué)習(xí)系統(tǒng)。通過它們的過程,可以減少數(shù)據(jù)中心的能耗,并使其效率比以前更高。如今,部署依賴于機(jī)器學(xué)習(xí)的工具的數(shù)據(jù)中心運營商正在從效率和可靠性方面獲得最初的收益,但他們才剛剛開始摸索機(jī)器學(xué)習(xí)將對數(shù)據(jù)中心管理產(chǎn)生的全部影響。
機(jī)器學(xué)習(xí)是人工智能的子集,有望優(yōu)化未來數(shù)據(jù)中心運營的各個方面,包括計劃和設(shè)計,管理IT工作負(fù)載,確保正常運行時間以及控制成本。IDC預(yù)測,到2022年,由于具有嵌入式AI功能,數(shù)據(jù)中心中50%的IT資產(chǎn)將能夠自主運行。
容納大量服務(wù)器場的大型,不起眼的容納器慢慢地在美國興起。這是全球性現(xiàn)象,因為數(shù)據(jù)和信息都以數(shù)字方式存儲,因此需要空間。由于節(jié)省了大量資金,我們對人類的模式和趨勢有了更復(fù)雜的了解。不幸的是,將數(shù)據(jù)存儲在服務(wù)器中并不像一個庫。他們需要恒定的功率來產(chǎn)生熱量,并且熱量需要被冷卻,從而消耗更多的能量。
2014年,僅美國數(shù)據(jù)中心就使用了約700億度電,從這個角度來看,1 kWh將使智能手機(jī)充電一年。需要能源以保持?jǐn)?shù)據(jù)中心24/7全天候運行,使用大量的冷卻系統(tǒng)進(jìn)行冷卻以及在緊急情況下維持冗余電源。也就是說每年維護(hù)在大約七十億美元,能源成本影響著每一個人。消費者,數(shù)據(jù)庫提供者和環(huán)境都感受到了如此大量能源消耗的后果,但我們的利用率沒有絲毫放緩的跡象。因此,利用和能源效率是適應(yīng)的主要目標(biāo)。
圖1:數(shù)據(jù)中心的用電量(十億千瓦時/年)
美國至少有300萬個數(shù)據(jù)中心,足以容納該國每100個人中的一個。數(shù)據(jù)中心的增長非常復(fù)雜,大多數(shù)服務(wù)器和相關(guān)設(shè)備都是在2000年至2010年期間購買的。但是,隨著服務(wù)器空間使用效率的提高和對大型數(shù)據(jù)中心的依賴性增加,統(tǒng)計數(shù)據(jù)表明存儲量將適應(yīng)而不是增加。
有些人可能認(rèn)為辦公服務(wù)器比新的超大規(guī)模數(shù)據(jù)中心更有效率?;蛟谄仆羷庸げ⒉槐匾靥蕴鼈冎?,應(yīng)使用較舊的就地數(shù)據(jù)中心。這些想法有邏輯上的支持,獨立服務(wù)器由其所有者處理,并且回收而不是更換,但是它們實際上并不起作用?,F(xiàn)場服務(wù)器需要數(shù)據(jù)中心做的所有事情,因此公司在自己的服務(wù)器場上花費更多的錢,而不是使用遠(yuǎn)程中心所需的確切空間。而且,較舊的數(shù)據(jù)中心在構(gòu)建時就沒有考慮能源效率,因此,即使是看似新的數(shù)據(jù)中心也可能已過時。
圖2:數(shù)據(jù)中心總用電量(十億千瓦時/年)
美國能源部鼓勵大規(guī)模實施能源效率。他們的“更好的建筑”計劃邀請企業(yè)和數(shù)據(jù)中心減少能耗或使用可再生能源。諸如Google之類的大型科技公司率先采用了這種方式,通過機(jī)器學(xué)習(xí)系統(tǒng)來減少其數(shù)據(jù)中心的能耗。
機(jī)器學(xué)習(xí)是AI的過程,能夠從場景中學(xué)習(xí)并做出反應(yīng),而不是通過編程的選項做出響應(yīng)。機(jī)器學(xué)習(xí)系統(tǒng)會獲得歷史數(shù)據(jù),參數(shù)(目標(biāo)),并通過模仿我們自己大腦功能的神經(jīng)網(wǎng)絡(luò)進(jìn)行操作。它們非常適合數(shù)據(jù)中心,這些數(shù)據(jù)中心對于以前的系統(tǒng)和專業(yè)人員來說已經(jīng)變得復(fù)雜起來,無法有效地進(jìn)行管理。數(shù)據(jù)中心每天都會發(fā)生近十億次事件,只有通過直觀的系統(tǒng)才能處理這些事件,以實現(xiàn)最大的可操作性。例如:
Google通過輸入DeepMind系統(tǒng),希望將其能降低和保持40%的能源效率,這是一個通用系統(tǒng),他們希望廣泛發(fā)布以減少能源使用。Google數(shù)據(jù)中心團(tuán)隊針對某些操作場景對DeepMind進(jìn)行了培訓(xùn),創(chuàng)建了自適應(yīng)參數(shù),輸入了歷史數(shù)據(jù)(例如溫度和泵速),并將目標(biāo)定位為未來的電源使用效率(PUE)。PUE實際上是建筑能耗與IT能耗之比;用于衡量能源效率。
當(dāng)部署在Google的數(shù)據(jù)中心時,它可以通過分析難以理解的數(shù)據(jù)集并建議采取的措施來成功地減少能耗。這聽起來與最初提到的AI所承擔(dān)的任務(wù)相差不遠(yuǎn)。幸運的是,科幻小說與科學(xué)之間有清晰的界線。諸如DeepMind之類的系統(tǒng)是一項優(yōu)勢,能夠以人類無法掌握的規(guī)模降低能耗。隨著時間的流逝,更多的系統(tǒng)將實施機(jī)器學(xué)習(xí),以便它們可以最大限度地提高可操作性,從而為人們節(jié)省金錢,更重要的是,為環(huán)境節(jié)省了資金。
Uptime Institute研究副總裁Rhonda Ascierto說:“這是數(shù)據(jù)中心管理的未來,但我們?nèi)蕴幱谠缙陔A段?!盜DC Cloud to Edge數(shù)據(jù)中心趨勢服務(wù)研究總監(jiān)Jennifer Cooke表示,隨著越來越多的公司采用包含云,托管設(shè)施和內(nèi)部數(shù)據(jù)中心的混合環(huán)境,并且將越來越多地包括邊緣站點,創(chuàng)建更智能的數(shù)據(jù)中心變得越來越重要。
何為機(jī)器學(xué)習(xí)?簡單來說,機(jī)器學(xué)習(xí)是從例子和經(jīng)驗(即數(shù)據(jù)集)學(xué)習(xí)而不是依賴于硬編碼和預(yù)定義規(guī)則的算法。換句話說,不是開發(fā)者告訴程序如何區(qū)分蘋果和橙子,算法被數(shù)據(jù)“訓(xùn)練”并且自己學(xué)習(xí)如何區(qū)分蘋果和橙子。以下是當(dāng)今數(shù)據(jù)中心管理中機(jī)器學(xué)習(xí)的五個最大用例:
Ascierto說,當(dāng)今的組織正在使用機(jī)器學(xué)習(xí)來提高能源效率,主要是通過監(jiān)視溫度和調(diào)整冷卻系統(tǒng)來實現(xiàn)的。
例如,谷歌在今年早些時候曾發(fā)布,它正在使用AI通過分析21個變量來自動管理和優(yōu)化其數(shù)據(jù)中心的冷卻,例如外部氣溫,數(shù)據(jù)中心的功率負(fù)載以及后方的氣壓。發(fā)出熱氣的服務(wù)器。該公司表示,Google的機(jī)器學(xué)習(xí)算法可實時自動連續(xù)不斷地調(diào)整冷卻裝置的設(shè)置,從而使冷卻每年的能源使用量減少30%。
此外,它可以就設(shè)計或配置數(shù)據(jù)中心的最有效方法(包括IT設(shè)備或工作負(fù)載的最佳物理位置)提出建議。
機(jī)器學(xué)習(xí)可以幫助IT組織預(yù)測需求,因此它們不會耗盡電力,冷卻,IT資源和空間。例如,如果一家公司正在整合數(shù)據(jù)中心并將應(yīng)用程序和數(shù)據(jù)遷移到中央數(shù)據(jù)中心,則算法可以幫助其確定此舉如何影響該設(shè)施的容量,Ascierto說。
DCIM軟件供應(yīng)商Nlyte Software的首席戰(zhàn)略官Enzo Greco說,容量規(guī)劃是組織建立新數(shù)據(jù)中心的一項重要服務(wù),該公司最近推出了數(shù)據(jù)中心管理即服(DMaaS)產(chǎn)品,并與IBM Watson合作對其進(jìn)行了集成。將機(jī)器學(xué)習(xí)功能納入其產(chǎn)品。
“您需要使數(shù)據(jù)中心盡可能準(zhǔn)確。您需要多少臺服務(wù)器?您需要多少冷卻?您只需要與服務(wù)器數(shù)量一樣多的散熱?!彼f。“此外,您需要多少電量?這取決于散熱和服務(wù)器容量。”
在所有用例中,使用機(jī)器學(xué)習(xí)進(jìn)行風(fēng)險分析是最關(guān)鍵的,因為它可以識別異常并幫助防止停機(jī)?!皺C(jī)器可以檢測出異常,否則將無法發(fā)現(xiàn),” Ascierto說。
例如,施耐德電氣的DMaaS可以分析來自關(guān)鍵數(shù)據(jù)中心設(shè)備(例如電源管理和冷卻系統(tǒng))的性能數(shù)據(jù),并預(yù)測何時可能出現(xiàn)故障。施耐德電氣數(shù)據(jù)中心解決方案架構(gòu)師副總裁Joe Reele說,當(dāng)算法檢測到異?,F(xiàn)象時,系統(tǒng)會警告客戶,以便他們能夠在設(shè)備出現(xiàn)故障之前進(jìn)行故障排除。
將來,Ascierto看到托管服務(wù)提供商使用機(jī)器學(xué)習(xí)來更好地了解他們的客戶并預(yù)測他們的行為-從購買或添加新服務(wù)到續(xù)訂合同甚至支付賬單的可能性。她說,這是客戶關(guān)系管理的擴(kuò)展,可以包括通過聊天框自動進(jìn)行客戶互動。
Maya HTT已經(jīng)分析了客戶情緒。Duquette說,它目前沒有數(shù)據(jù)中心客戶使用它,但是通過自然語言處理,該公司的軟件可以分析電子郵件并記錄支持電話以預(yù)測未來的客戶行為。
Ascierto說,這將數(shù)據(jù)中心的運營和性能數(shù)據(jù)與財務(wù)數(shù)據(jù)(甚至包括適用稅項在內(nèi))混合在一起,以了解購買和維護(hù)IT設(shè)備的成本。她說:“它模擬了一件設(shè)備的總擁有成本和整個生命周期,例如一種冷卻系統(tǒng)與另一種冷卻系統(tǒng)相比?!?/span>
例如,Salesforce在2016年收購了一家名為Coolan的初創(chuàng)公司,該公司使用機(jī)器學(xué)習(xí)來分析IT設(shè)備的總體擁有成本,直至單個服務(wù)器組件。問題是越來越多的公司將使用機(jī)器學(xué)習(xí)進(jìn)行預(yù)算影響分析的時間。一些私人公司可能會自己做,但是這很復(fù)雜,因為它要求以計算機(jī)模型可以提取的格式容易獲得財務(wù)數(shù)據(jù)。
出于安全原因,DMaaS客戶不太可能希望與第三方共享其財務(wù)數(shù)據(jù)。她說:“對于DMaaS服務(wù),在早期,讓客戶共享他們的財務(wù)數(shù)據(jù)是一個比較棘手的提議。”
這個領(lǐng)域還不成熟,但發(fā)展速度很快。人工智能系統(tǒng)正式交付使用還將需要一定的時間,就像數(shù)據(jù)中心招募的新的工作人員一樣,不過類似的機(jī)器學(xué)習(xí)工具終將可以真正的幫助您運營數(shù)據(jù)中心。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計學(xué)領(lǐng)域,假設(shè)檢驗是驗證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學(xué)計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學(xué)計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價值 在數(shù)據(jù)驅(qū)動決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實踐到業(yè)務(wù)價值挖掘 在數(shù)據(jù)分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價值導(dǎo)向 統(tǒng)計模型作為數(shù)據(jù)分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10