
聊一聊數(shù)據(jù)存儲(chǔ)的七個(gè)技巧
如今,更為經(jīng)濟(jì)的閃存存儲(chǔ)器在可預(yù)見(jiàn)的未來(lái)有望打破存儲(chǔ)設(shè)備在應(yīng)用性能上的瓶頸。為了充分利用閃存,人們需要以正確的方式和正確的技術(shù)來(lái)實(shí)現(xiàn)它。這樣,就可以從整體的固態(tài)存儲(chǔ)部署和存儲(chǔ)網(wǎng)絡(luò)中提取最高性能和更高的效率。
例如,對(duì)于活動(dòng)數(shù)據(jù),閃存可以提供更好的性能,移動(dòng)部件比硬盤(pán)驅(qū)動(dòng)器少。其結(jié)果是,對(duì)于主要的數(shù)據(jù)用例,特別是在長(zhǎng)期使用情況下,部署閃存通常比硬盤(pán)更便宜。固態(tài)存儲(chǔ)器的問(wèn)題是只有大約5%到10%的數(shù)據(jù)中心數(shù)據(jù)是活動(dòng)的。
因此,用戶(hù)可以節(jié)省一些費(fèi)用,并將剩余的90%或更多存儲(chǔ)在容量更大,成本更低的硬盤(pán)上,或者越來(lái)越多地存儲(chǔ)在云中。閃存不一定會(huì)單獨(dú)提高數(shù)據(jù)存儲(chǔ)效率和性能。用戶(hù)需要從一個(gè)堅(jiān)實(shí)的基礎(chǔ)開(kāi)始,以下就是提高數(shù)據(jù)存儲(chǔ)效率的七個(gè)提示,可以讓存儲(chǔ)更快,更有效。
(1)改善存儲(chǔ)網(wǎng)絡(luò)
基于硬盤(pán)的系統(tǒng)的延遲不會(huì)暴露網(wǎng)絡(luò)的弱點(diǎn),雖然確實(shí)如此,但基于閃存的系統(tǒng)就是這樣,在升級(jí)到閃存存儲(chǔ)器或向現(xiàn)有系統(tǒng)添加其他SSD硬盤(pán)之前,應(yīng)首先最大限度地提高存儲(chǔ)網(wǎng)絡(luò)的性能。
要考慮的網(wǎng)絡(luò)有三個(gè)組件:
服務(wù)器
存儲(chǔ)系統(tǒng)中的主機(jī)總線(xiàn)適配器(HBA)或網(wǎng)絡(luò)接口卡(NIC)
網(wǎng)絡(luò)交換機(jī)和布線(xiàn)基礎(chǔ)設(shè)施
很容易看到前兩個(gè)組件(NIC/HBA和交換機(jī))的帶寬能力,這應(yīng)該至少部署10Gbps或16Gbps光纖通道(FC)或更快的通道。雖然帶寬很重要,但延遲和交付質(zhì)量更是如此。大多數(shù)數(shù)據(jù)中心不會(huì)生成足夠的連續(xù)事務(wù)來(lái)淹沒(méi)高速網(wǎng)絡(luò)。
相反,他們產(chǎn)生了數(shù)以百萬(wàn)計(jì)小生意。網(wǎng)絡(luò)將這些事務(wù)從服務(wù)器轉(zhuǎn)移到存儲(chǔ)器,并再次返回,這對(duì)于在閃存投資中提取最大性能至關(guān)重要。
(2)數(shù)據(jù)存儲(chǔ)效率與性能
在存儲(chǔ)領(lǐng)域中,效率和性能是截然相反的力量,因?yàn)樾释ǔR誀奚阅転榇鷥r(jià)來(lái)增加價(jià)值。
人們用于提高數(shù)據(jù)存儲(chǔ)效率的許多技術(shù)(例如精簡(jiǎn)配置,重復(fù)數(shù)據(jù)刪除和壓縮)實(shí)際上損害了存儲(chǔ)系統(tǒng)性能。閃存存儲(chǔ)在效率和性能之間創(chuàng)造了一個(gè)中間地帶。是的,使用這些技術(shù)對(duì)閃存的損害性能,就像他們對(duì)硬盤(pán)驅(qū)動(dòng)器一樣。但是由于閃存性能如此之高,它通常會(huì)提供過(guò)多的性能周期。
因此,從用戶(hù)的角度來(lái)看,運(yùn)行通常的數(shù)據(jù)存儲(chǔ)效率程序不會(huì)顯著影響性能。
一旦用戶(hù)對(duì)存儲(chǔ)網(wǎng)絡(luò)進(jìn)行了微調(diào),就應(yīng)該考慮使用閃存存儲(chǔ)部署。
(3)實(shí)現(xiàn)服務(wù)器端閃存
在服務(wù)器端的閃存設(shè)計(jì)中,連接到該網(wǎng)絡(luò)的網(wǎng)絡(luò)和存儲(chǔ)設(shè)置保持不變,基本上安裝了基于硬盤(pán)驅(qū)動(dòng)器的存儲(chǔ)陣列,其中存儲(chǔ)網(wǎng)絡(luò)的速度和質(zhì)量并沒(méi)有實(shí)現(xiàn)共享閃存陣列時(shí)那么重要。
相比之下,服務(wù)器端閃存技術(shù)將來(lái)自多個(gè)服務(wù)器的內(nèi)部閃存存儲(chǔ)器聚合以創(chuàng)建虛擬閃存池。
這些服務(wù)器端的閃存聚合產(chǎn)品適用于讀取和寫(xiě)入緩存,甚至適用于存儲(chǔ)層。然而,它們?cè)谛阅芊矫嬉肓司W(wǎng)絡(luò)因素,因?yàn)榫酆闲枰W(wǎng)絡(luò)來(lái)創(chuàng)建虛擬存儲(chǔ)池。
(4)部署網(wǎng)絡(luò)緩存
與存儲(chǔ)系統(tǒng)升級(jí)(僅提高單個(gè)系統(tǒng)的性能)不同,網(wǎng)絡(luò)緩存可提高網(wǎng)絡(luò)上每個(gè)存儲(chǔ)系統(tǒng)的性能。這些設(shè)備基本上位于存儲(chǔ)系統(tǒng)和服務(wù)器之間,緩存那些最活躍的數(shù)據(jù)。
許多網(wǎng)絡(luò)緩存在高可用性配置中可用,使其適合緩存讀取和寫(xiě)入I/O.用戶(hù)還可以調(diào)整網(wǎng)絡(luò)緩存的大小,使閃存存儲(chǔ)區(qū)域大到足以存儲(chǔ)組織的整個(gè)活動(dòng)數(shù)據(jù)集,從本質(zhì)上將現(xiàn)有陣列轉(zhuǎn)換為存檔和數(shù)據(jù)保護(hù)存儲(chǔ)系統(tǒng)。
(5)使用小型閃存陣列實(shí)施軟件定義存儲(chǔ)(SDS)
提高存儲(chǔ)性能和數(shù)據(jù)存儲(chǔ)效率的另一個(gè)選擇是使用軟件定義存儲(chǔ)(SDS)。
這些產(chǎn)品在設(shè)備或管理程序上運(yùn)行,并在各種硬件陣列上提供一組通用的存儲(chǔ)軟件功能。
一些軟件定義存儲(chǔ)(SDS)系統(tǒng)可以利用現(xiàn)有的存儲(chǔ)硬件,以及在它們之間提供數(shù)據(jù)的自動(dòng)遷移。如果向現(xiàn)有基礎(chǔ)架構(gòu)添加小型閃存陣列,則可以使用SDS自動(dòng)將最活躍的數(shù)據(jù)集移動(dòng)到陣列以提高性能,并且作為額外的好處簡(jiǎn)化管理,因?yàn)樗写鎯?chǔ)管理隨后變得統(tǒng)一。
(6)優(yōu)化應(yīng)用程序
在實(shí)施新的或增強(qiáng)現(xiàn)有存儲(chǔ)系統(tǒng)之前,請(qǐng)仔細(xì)檢查要運(yùn)行的應(yīng)用程序。許多存儲(chǔ)專(zhuān)業(yè)人員發(fā)現(xiàn)這會(huì)令人生畏,因?yàn)樗麄兗炔粨碛袘?yīng)用程序也不理解其周?chē)拇a。
好消息是,具有一些可用的程序可以檢查應(yīng)用程序代碼,提供高質(zhì)量的分析,并提出改變什么和在哪里的具體建議。雖然它可以跳過(guò)這一步,但會(huì)引出更多的硬件問(wèn)題。
代碼相關(guān)的性能問(wèn)題可能被高性能存儲(chǔ)屏蔽,但它不會(huì)允許閃存充分發(fā)揮其全部潛能,這從而迫使管理員需要尋找其他潛在的性能損失,如存儲(chǔ)網(wǎng)絡(luò)。在實(shí)現(xiàn)閃存修復(fù)代碼之前,甚至可以避免首先需要閃存,或降低購(gòu)買(mǎi)閃存的需要。
(7)購(gòu)買(mǎi)新的全閃存或混合陣列
這對(duì)于部署現(xiàn)有基于硬盤(pán)的系統(tǒng)(仍具有使用壽命,在原始保修范圍內(nèi))的數(shù)據(jù)中心而言是理想的,因此用戶(hù)可以重新部署這些陳舊的機(jī)械硬盤(pán)系統(tǒng),并使用新的閃存陣列進(jìn)行擴(kuò)展。但是,在某些時(shí)候,用戶(hù)需要購(gòu)買(mǎi)一些新的存儲(chǔ)系統(tǒng)。這意味著在全閃存或混合陣列之間進(jìn)行選擇。
最初的決策相對(duì)簡(jiǎn)單:如果組織能夠提供滿(mǎn)足其容量要求的全閃存陣列(可以假設(shè)將滿(mǎn)足性能要求),那么就實(shí)施采購(gòu),不要猶豫。
綜上所述,提高存儲(chǔ)性能的道路并非始于全閃存投資。它始于對(duì)整個(gè)存儲(chǔ)網(wǎng)絡(luò)的仔細(xì)檢查。
一旦完成,還要考慮許多其他存儲(chǔ)性能和數(shù)據(jù)存儲(chǔ)效率增強(qiáng)選項(xiàng),其中包括某些類(lèi)型的閃存存儲(chǔ)部署。哪些產(chǎn)品是選用于數(shù)據(jù)中心最好的工作方式,一些IT部門(mén)甚至可能甚至不需要升級(jí)他們的存儲(chǔ)系統(tǒng)。
數(shù)據(jù)分析咨詢(xún)請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無(wú)論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢(xún)效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫(kù)管理中,“大表” 始終是性能優(yōu)化繞不開(kāi)的話(huà)題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫(kù)表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開(kāi)始提取前,需先判斷 TIF 文件的類(lèi)型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專(zhuān)業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫(kù)表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫(kù))處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場(chǎng)景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專(zhuān)業(yè)操盤(pán)手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對(duì)象的 text 與 content:區(qū)別、場(chǎng)景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請(qǐng)求開(kāi)發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤(pán)手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫(kù)表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請(qǐng)求工具對(duì)比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請(qǐng)求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問(wèn)題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問(wèn)題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營(yíng)問(wèn)題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過(guò)程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶(hù)體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營(yíng)銷(xiāo)案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見(jiàn)頂” 的當(dāng)下,精準(zhǔn)營(yíng)銷(xiāo)成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價(jià)值 在數(shù)據(jù)驅(qū)動(dòng)決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類(lèi)分析:從操作實(shí)踐到業(yè)務(wù)價(jià)值挖掘 在數(shù)據(jù)分析場(chǎng)景中,聚類(lèi)分析作為 “無(wú)監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計(jì)模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價(jià)值導(dǎo)向 統(tǒng)計(jì)模型作為數(shù)據(jù)分析的核心工具,并非簡(jiǎn)單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10