
大數(shù)據(jù)催生數(shù)據(jù)中心設計新思維_數(shù)據(jù)分析師
預計到2020年,互聯(lián)設備的數(shù)量將達到500億。而眾多的設備在2017年可能就會產(chǎn)生高達7.7 ZB的互聯(lián)網(wǎng)數(shù)據(jù)。隨著運營商放棄了客戶端—服務器以及局域網(wǎng)架構,轉而青睞側重在服務器、存儲與網(wǎng)絡中采用虛擬化的設計,如此大量的數(shù)據(jù)處理需求給數(shù)據(jù)中心生態(tài)系統(tǒng)帶來巨大挑戰(zhàn)。為此,越來越多的公司開始選擇基于移動計算、云服務、大數(shù)據(jù)和社交網(wǎng)絡等領先技術的更加靈活且開放的平臺。
亞馬遜、谷歌與Facebook等創(chuàng)新領袖正在積極構建超大規(guī)模的數(shù)據(jù)中心,以處理海量的帶寬需求與工作負載。最近,F(xiàn)acebook在開放計算項目主辦的開放計算峰會分享了一個關于其數(shù)據(jù)中心開發(fā)的經(jīng)典案例。開放計算項目由Facebook創(chuàng)立,旨在通過分享服務器、存儲與網(wǎng)絡的設計,開發(fā)高性能、低成本且節(jié)能的數(shù)據(jù)中心。據(jù)Facebook透露,開放平臺已經(jīng)幫助其節(jié)省了12億美元的成本。
最近,許多企業(yè)正投入云計算的懷抱,他們一般從第三方購買計算容量,節(jié)約運營自身數(shù)據(jù)中心所需的資本與運營費用。因此,云服務提供商已成為對開放平臺超大規(guī)模數(shù)據(jù)中心投資力度最大的投資者之一。以溢價提供高級服務的傳統(tǒng)服務器提供商可能將面臨來自開放平臺提供商的激烈競爭,后者的成本更低且基礎架構更靈活、可擴展。
使用開放平臺的方法意味著須整體看待數(shù)據(jù)中心開發(fā)項目。雖然服務器是核心技術,但需要考慮包括服務器、存儲、網(wǎng)絡以及軟件在內(nèi)的整體系統(tǒng),并以全新方法將這些組件更好地整合在一起,讓數(shù)據(jù)中心實現(xiàn)真正的突破性變革。
雖然開放平臺觸及的不僅僅是服務器,但在滿足下一代數(shù)據(jù)中心的傳輸容量、處理速度與節(jié)能高效的需求方面,服務器仍發(fā)揮著關鍵作用。在構建服務器時,必須通過一臺物理服務器容納多臺虛擬服務器,以便在虛擬化成為業(yè)界標準的情況下提高服務器利用率。服務器需要使用既快速又節(jié)能的多核處理器,且必須與日益虛擬化的存儲及網(wǎng)絡系統(tǒng)無縫互動。
許多半導體公司與服務器制造商現(xiàn)在都在開發(fā)運行于ARM處理器、而非行業(yè)標準x86架構的服務器。ARM處理器普遍用于智能手機、平板電腦及其他便攜式設備以及隨物聯(lián)網(wǎng)(IoT)趨勢而出現(xiàn)的新興設備、聯(lián)網(wǎng)家電、汽車和各種網(wǎng)絡傳感器。ARM有助于各公司開發(fā)擁有創(chuàng)新型多核CPU的處理器,實現(xiàn)真正的服務器級性能,并面向網(wǎng)絡、通信、大數(shù)據(jù)、存儲及安全應用提供業(yè)界最佳的虛擬化加速器。
現(xiàn)代數(shù)據(jù)中心還需要更快速的網(wǎng)絡連通性,千兆以太網(wǎng)將被10GbE、40GbE并最終被100GbE規(guī)模的管網(wǎng)所替代。10GbE結構網(wǎng)絡(網(wǎng)絡中的流量可流向各個方向)將有利于節(jié)能、易管理性以及通過網(wǎng)絡虛擬化靈活使用計算資源。
同時,為了提高數(shù)據(jù)中心內(nèi)架頂式(ToR)交換機與服務器網(wǎng)卡(NIC)之間的速度,降低兩者間以太網(wǎng)連通性成本,最近成立的行業(yè)組織25Gb以太網(wǎng)聯(lián)盟制定了新的以太網(wǎng)規(guī)范說明,以允許數(shù)據(jù)中心網(wǎng)絡應用25Gbps或50Gbps以太網(wǎng)鏈路協(xié)議。
為云計算而構建的現(xiàn)代數(shù)據(jù)中心還通過所謂的存儲解聚開創(chuàng)了存儲技術新天地。近些年來,存儲因服務器計算而聚合在一起,因此數(shù)據(jù)可以更快速地從存儲中檢索出來。但是,隨著固態(tài)硬盤成為新的存儲媒介,上述服務器的存儲成本開始升高。現(xiàn)在,計算與存儲之間的連接速度得到了提升,存儲可以與計算再次分開或者解聚及共享。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
訓練與驗證損失驟升:機器學習訓練中的異常診斷與解決方案 在機器學習模型訓練過程中,“損失曲線” 是反映模型學習狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類核心工具的差異與協(xié)同 在數(shù)字化轉型加速的今天,企業(yè)對數(shù)據(jù)的需求已從 “存儲” 轉向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計基本概念成為業(yè)務決策的底層邏輯 統(tǒng)計基本概念是商業(yè)數(shù)據(jù)分析的 “基礎語言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結構數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結構數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉換:從基礎用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關聯(lián)查詢效率:打破 “拆分必慢” 的認知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預期算子的內(nèi)涵、作用與應用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結構數(shù)據(jù)特征價值的專業(yè)核心 表結構數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結構化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應用 在數(shù)據(jù)分析與統(tǒng)計學領域,假設檢驗是驗證研究假設、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結構數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結構數(shù)據(jù)(以 “行 - 列” 存儲的結構化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網(wǎng)絡請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結構數(shù)據(jù)價值的核心操盤手 表格結構數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務邏輯:從規(guī)則拆解到數(shù)據(jù)把關的實戰(zhàn)指南 在業(yè)務系統(tǒng)落地過程中,“業(yè)務邏輯” 是連接 “需求設計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅動下的精準零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當下,精準營銷成為企業(yè)突圍的核心方 ...
2025-09-11