
作者 | CDA數(shù)據(jù)分析師
大數(shù)據(jù)革命引發(fā)了數(shù)據(jù)中心的爆炸式增長,這些中心正在以越來越高的速率消耗能源。本文回顧了兩種提高數(shù)據(jù)中心效率的標準方法,并認為第三種方法-機器學習-是最佳解決方案。
天網(wǎng),VIKI和HAL 9000就是一些具有機器學習功能的AI的例子。創(chuàng)建它們的目的是解決對人類而言過于復雜的問題,并通過神經(jīng)網(wǎng)絡對其進行控制,以提高效率,安全性和成功率。當然,電影需要對立面,因此這些AI奇跡給了不利的黑暗面——但是這種復雜的機器學習是真實的并且已經(jīng)成功實現(xiàn)。
自2000年代以來,數(shù)據(jù)中心已經(jīng)激增。一個大型電子商務服務數(shù)據(jù)中心僅用幾個19英寸機架來部署所需的服務器,存儲器,以及網(wǎng)絡設備。如今,超大型數(shù)據(jù)中心成千上萬的硬件設備部署在數(shù)千個機架上。它們源自本地辦公室的小型服務器,現(xiàn)已發(fā)展成為超大型設施,以維護我們的物聯(lián)網(wǎng)和所有相關數(shù)據(jù)。美國人使用的數(shù)據(jù),流程,連接性和存儲量需要大量電力,這意味著數(shù)據(jù)中心是主要的能源消耗者。占全國年用電量2%的行業(yè)和政府專家正致力于提高效率,因為預計數(shù)據(jù)中心的需求將會增加。
目前,解決此問題的方案主要有兩個方面:
但是,它并沒有確定解決此困難的解決方案。而真正的解決方案在于實現(xiàn)機器學習系統(tǒng)。通過它們的過程,可以減少數(shù)據(jù)中心的能耗,并使其效率比以前更高。如今,部署依賴于機器學習的工具的數(shù)據(jù)中心運營商正在從效率和可靠性方面獲得最初的收益,但他們才剛剛開始摸索機器學習將對數(shù)據(jù)中心管理產(chǎn)生的全部影響。
機器學習是人工智能的子集,有望優(yōu)化未來數(shù)據(jù)中心運營的各個方面,包括計劃和設計,管理IT工作負載,確保正常運行時間以及控制成本。IDC預測,到2022年,由于具有嵌入式AI功能,數(shù)據(jù)中心中50%的IT資產(chǎn)將能夠自主運行。
容納大量服務器場的大型,不起眼的容納器慢慢地在美國興起。這是全球性現(xiàn)象,因為數(shù)據(jù)和信息都以數(shù)字方式存儲,因此需要空間。由于節(jié)省了大量資金,我們對人類的模式和趨勢有了更復雜的了解。不幸的是,將數(shù)據(jù)存儲在服務器中并不像一個庫。他們需要恒定的功率來產(chǎn)生熱量,并且熱量需要被冷卻,從而消耗更多的能量。
2014年,僅美國數(shù)據(jù)中心就使用了約700億度電,從這個角度來看,1 kWh將使智能手機充電一年。需要能源以保持數(shù)據(jù)中心24/7全天候運行,使用大量的冷卻系統(tǒng)進行冷卻以及在緊急情況下維持冗余電源。也就是說每年維護在大約七十億美元,能源成本影響著每一個人。消費者,數(shù)據(jù)庫提供者和環(huán)境都感受到了如此大量能源消耗的后果,但我們的利用率沒有絲毫放緩的跡象。因此,利用和能源效率是適應的主要目標。
圖1:數(shù)據(jù)中心的用電量(十億千瓦時/年)
美國至少有300萬個數(shù)據(jù)中心,足以容納該國每100個人中的一個。數(shù)據(jù)中心的增長非常復雜,大多數(shù)服務器和相關設備都是在2000年至2010年期間購買的。但是,隨著服務器空間使用效率的提高和對大型數(shù)據(jù)中心的依賴性增加,統(tǒng)計數(shù)據(jù)表明存儲量將適應而不是增加。
有些人可能認為辦公服務器比新的超大規(guī)模數(shù)據(jù)中心更有效率?;蛟谄仆羷庸げ⒉槐匾靥蕴鼈冎埃瑧褂幂^舊的就地數(shù)據(jù)中心。這些想法有邏輯上的支持,獨立服務器由其所有者處理,并且回收而不是更換,但是它們實際上并不起作用。現(xiàn)場服務器需要數(shù)據(jù)中心做的所有事情,因此公司在自己的服務器場上花費更多的錢,而不是使用遠程中心所需的確切空間。而且,較舊的數(shù)據(jù)中心在構建時就沒有考慮能源效率,因此,即使是看似新的數(shù)據(jù)中心也可能已過時。
圖2:數(shù)據(jù)中心總用電量(十億千瓦時/年)
美國能源部鼓勵大規(guī)模實施能源效率。他們的“更好的建筑”計劃邀請企業(yè)和數(shù)據(jù)中心減少能耗或使用可再生能源。諸如Google之類的大型科技公司率先采用了這種方式,通過機器學習系統(tǒng)來減少其數(shù)據(jù)中心的能耗。
機器學習是AI的過程,能夠從場景中學習并做出反應,而不是通過編程的選項做出響應。機器學習系統(tǒng)會獲得歷史數(shù)據(jù),參數(shù)(目標),并通過模仿我們自己大腦功能的神經(jīng)網(wǎng)絡進行操作。它們非常適合數(shù)據(jù)中心,這些數(shù)據(jù)中心對于以前的系統(tǒng)和專業(yè)人員來說已經(jīng)變得復雜起來,無法有效地進行管理。數(shù)據(jù)中心每天都會發(fā)生近十億次事件,只有通過直觀的系統(tǒng)才能處理這些事件,以實現(xiàn)最大的可操作性。例如:
Google通過輸入DeepMind系統(tǒng),希望將其能降低和保持40%的能源效率,這是一個通用系統(tǒng),他們希望廣泛發(fā)布以減少能源使用。Google數(shù)據(jù)中心團隊針對某些操作場景對DeepMind進行了培訓,創(chuàng)建了自適應參數(shù),輸入了歷史數(shù)據(jù)(例如溫度和泵速),并將目標定位為未來的電源使用效率(PUE)。PUE實際上是建筑能耗與IT能耗之比;用于衡量能源效率。
當部署在Google的數(shù)據(jù)中心時,它可以通過分析難以理解的數(shù)據(jù)集并建議采取的措施來成功地減少能耗。這聽起來與最初提到的AI所承擔的任務相差不遠。幸運的是,科幻小說與科學之間有清晰的界線。諸如DeepMind之類的系統(tǒng)是一項優(yōu)勢,能夠以人類無法掌握的規(guī)模降低能耗。隨著時間的流逝,更多的系統(tǒng)將實施機器學習,以便它們可以最大限度地提高可操作性,從而為人們節(jié)省金錢,更重要的是,為環(huán)境節(jié)省了資金。
Uptime Institute研究副總裁Rhonda Ascierto說:“這是數(shù)據(jù)中心管理的未來,但我們?nèi)蕴幱谠缙陔A段。”IDC Cloud to Edge數(shù)據(jù)中心趨勢服務研究總監(jiān)Jennifer Cooke表示,隨著越來越多的公司采用包含云,托管設施和內(nèi)部數(shù)據(jù)中心的混合環(huán)境,并且將越來越多地包括邊緣站點,創(chuàng)建更智能的數(shù)據(jù)中心變得越來越重要。
何為機器學習?簡單來說,機器學習是從例子和經(jīng)驗(即數(shù)據(jù)集)學習而不是依賴于硬編碼和預定義規(guī)則的算法。換句話說,不是開發(fā)者告訴程序如何區(qū)分蘋果和橙子,算法被數(shù)據(jù)“訓練”并且自己學習如何區(qū)分蘋果和橙子。以下是當今數(shù)據(jù)中心管理中機器學習的五個最大用例:
Ascierto說,當今的組織正在使用機器學習來提高能源效率,主要是通過監(jiān)視溫度和調(diào)整冷卻系統(tǒng)來實現(xiàn)的。
例如,谷歌在今年早些時候曾發(fā)布,它正在使用AI通過分析21個變量來自動管理和優(yōu)化其數(shù)據(jù)中心的冷卻,例如外部氣溫,數(shù)據(jù)中心的功率負載以及后方的氣壓。發(fā)出熱氣的服務器。該公司表示,Google的機器學習算法可實時自動連續(xù)不斷地調(diào)整冷卻裝置的設置,從而使冷卻每年的能源使用量減少30%。
此外,它可以就設計或配置數(shù)據(jù)中心的最有效方法(包括IT設備或工作負載的最佳物理位置)提出建議。
機器學習可以幫助IT組織預測需求,因此它們不會耗盡電力,冷卻,IT資源和空間。例如,如果一家公司正在整合數(shù)據(jù)中心并將應用程序和數(shù)據(jù)遷移到中央數(shù)據(jù)中心,則算法可以幫助其確定此舉如何影響該設施的容量,Ascierto說。
DCIM軟件供應商Nlyte Software的首席戰(zhàn)略官Enzo Greco說,容量規(guī)劃是組織建立新數(shù)據(jù)中心的一項重要服務,該公司最近推出了數(shù)據(jù)中心管理即服(DMaaS)產(chǎn)品,并與IBM Watson合作對其進行了集成。將機器學習功能納入其產(chǎn)品。
“您需要使數(shù)據(jù)中心盡可能準確。您需要多少臺服務器?您需要多少冷卻?您只需要與服務器數(shù)量一樣多的散熱?!彼f?!按送?,您需要多少電量?這取決于散熱和服務器容量?!?/span>
在所有用例中,使用機器學習進行風險分析是最關鍵的,因為它可以識別異常并幫助防止停機。“機器可以檢測出異常,否則將無法發(fā)現(xiàn),” Ascierto說。
例如,施耐德電氣的DMaaS可以分析來自關鍵數(shù)據(jù)中心設備(例如電源管理和冷卻系統(tǒng))的性能數(shù)據(jù),并預測何時可能出現(xiàn)故障。施耐德電氣數(shù)據(jù)中心解決方案架構師副總裁Joe Reele說,當算法檢測到異常現(xiàn)象時,系統(tǒng)會警告客戶,以便他們能夠在設備出現(xiàn)故障之前進行故障排除。
將來,Ascierto看到托管服務提供商使用機器學習來更好地了解他們的客戶并預測他們的行為-從購買或添加新服務到續(xù)訂合同甚至支付賬單的可能性。她說,這是客戶關系管理的擴展,可以包括通過聊天框自動進行客戶互動。
Maya HTT已經(jīng)分析了客戶情緒。Duquette說,它目前沒有數(shù)據(jù)中心客戶使用它,但是通過自然語言處理,該公司的軟件可以分析電子郵件并記錄支持電話以預測未來的客戶行為。
Ascierto說,這將數(shù)據(jù)中心的運營和性能數(shù)據(jù)與財務數(shù)據(jù)(甚至包括適用稅項在內(nèi))混合在一起,以了解購買和維護IT設備的成本。她說:“它模擬了一件設備的總擁有成本和整個生命周期,例如一種冷卻系統(tǒng)與另一種冷卻系統(tǒng)相比。”
例如,Salesforce在2016年收購了一家名為Coolan的初創(chuàng)公司,該公司使用機器學習來分析IT設備的總體擁有成本,直至單個服務器組件。問題是越來越多的公司將使用機器學習進行預算影響分析的時間。一些私人公司可能會自己做,但是這很復雜,因為它要求以計算機模型可以提取的格式容易獲得財務數(shù)據(jù)。
出于安全原因,DMaaS客戶不太可能希望與第三方共享其財務數(shù)據(jù)。她說:“對于DMaaS服務,在早期,讓客戶共享他們的財務數(shù)據(jù)是一個比較棘手的提議?!?/span>
這個領域還不成熟,但發(fā)展速度很快。人工智能系統(tǒng)正式交付使用還將需要一定的時間,就像數(shù)據(jù)中心招募的新的工作人員一樣,不過類似的機器學習工具終將可以真正的幫助您運營數(shù)據(jù)中心。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關鍵? 在循環(huán)神經(jīng)網(wǎng)絡(RNN)家族中,長短期記憶網(wǎng)絡(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務的價值轉化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預測分析中的應用:從數(shù)據(jù)查詢到趨勢預判? ? 在數(shù)據(jù)驅動決策的時代,預測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應對策略? 長短期記憶網(wǎng)絡(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調(diào)研數(shù)據(jù)中的深度應用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉日期:解鎖數(shù)據(jù)處理的關鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎 ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03