
大數(shù)據(jù)引發(fā)的思考:性能容量孰輕孰重
當(dāng)提到“大數(shù)據(jù)”概念的時(shí)候,有兩個(gè)值得思考的問(wèn)題:當(dāng)性能不再是關(guān)鍵需求時(shí),存儲(chǔ)容量對(duì)公司究竟有多重要?這兩個(gè)有分歧的要求能在同一市場(chǎng)、解決方案和設(shè)備中共存嗎?
存儲(chǔ)行業(yè)一直視這兩個(gè)需求為核心,設(shè)備必須滿足應(yīng)用程序性能需要,同時(shí)要滿足不斷增加的容量需求,雖然整個(gè)行業(yè)大部分進(jìn)展集中在某一個(gè)領(lǐng)域,但通常也會(huì)促進(jìn)其它領(lǐng)域進(jìn)步。
有趣的是,RAID最初是為增強(qiáng)性能而開發(fā)的,而不是為了提高容量,將多塊硬盤組合到一起形成RAID陣列,以一種廉價(jià)的方式提供大型機(jī)直接訪問(wèn)存儲(chǔ)設(shè)備(DASD)的IOPS(每秒輸入/輸出操作),于是才有了廉價(jià)磁盤冗余陣列的叫法,即RAID。
但事情總是不斷變化的,企業(yè)存儲(chǔ)制造商開始生產(chǎn)基于RAID的中央存儲(chǔ)設(shè)備,并意識(shí)到這項(xiàng)技術(shù)也可以提供更大的容量,很快,各路廠商開始加入GB、TB和PB級(jí)存儲(chǔ)陣列競(jìng)賽。
同時(shí)提供性能和容量是具有挑戰(zhàn)性的,大規(guī)模存儲(chǔ)陣列經(jīng)常遭遇響應(yīng)性的難題,以至于廠商很少在設(shè)備配滿磁盤,典型的存儲(chǔ)陣列配置通常比理論最大值小很多個(gè)數(shù)量級(jí),容量也常常被認(rèn)為是犧牲性能的代名詞。
所謂的磁盤短擊已經(jīng)讓位于固態(tài)硬盤和高速緩存,并且自動(dòng)分層軟件可以幫助“熱”數(shù)據(jù)移動(dòng)到性能更高的位置,但所有這一切都是以彌補(bǔ)磁盤系統(tǒng)內(nèi)在的性能缺陷的名義完成的。
大規(guī)模硬盤也是一個(gè)嚴(yán)重的問(wèn)題,因?yàn)镮/O接口性能增長(zhǎng)顆粒度要高于與硬盤容量,清除一塊現(xiàn)代HDD硬盤中的數(shù)據(jù)可能需要花數(shù)小時(shí),甚至數(shù)天。硬盤廠商為此開發(fā)了巧妙的數(shù)據(jù)布局和緩存算法,但問(wèn)題并沒(méi)有得到徹底解決。
關(guān)于“性能或容量”問(wèn)題一種新的解決方案最近浮出水面,應(yīng)用程序越來(lái)越注重其中一方面的需求,而不是兩者都要。今天的企業(yè)應(yīng)用程序往往要求數(shù)據(jù)庫(kù)性能和容量要兼具,應(yīng)用程序的需求映射到不同的存儲(chǔ)設(shè)備,每個(gè)重點(diǎn)關(guān)注的領(lǐng)域都不一樣。
這是Interop大會(huì)上關(guān)于大數(shù)據(jù)提問(wèn)的答案:“大數(shù)據(jù)”應(yīng)用存在,“大性能”應(yīng)用同樣存在,有些環(huán)境可能追求其中一種目標(biāo),但兩者對(duì)IT行業(yè)來(lái)說(shuō)都很重要,當(dāng)我們?cè)u(píng)估新的解決方案時(shí),我們必須確定并牢記其用途,一個(gè)同時(shí)要求性能和容量的應(yīng)用程序可能需要返工,而不是尋找能滿足它需要的存儲(chǔ)系統(tǒng)。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
2025被稱為“AI元年”,而AI,與數(shù)據(jù)密不可分。網(wǎng)易公司創(chuàng)始人丁磊在《AI思維:從數(shù)據(jù)中創(chuàng)造價(jià)值的煉金術(shù)》一書中指出:AI思維, ...
2025-07-17數(shù)據(jù)分析師的技能圖譜:從數(shù)據(jù)到價(jià)值的橋梁? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,數(shù)據(jù)分析師如同 “數(shù)據(jù)翻譯官”,將冰冷的數(shù)字轉(zhuǎn)化為清晰的 ...
2025-07-17Pandas 寫入指定行數(shù)據(jù):數(shù)據(jù)精細(xì)化管理的核心技能? 在數(shù)據(jù)處理的日常工作中,我們常常需要面對(duì)這樣的場(chǎng)景:在龐大的數(shù)據(jù)集里精 ...
2025-07-17解碼 CDA:數(shù)據(jù)時(shí)代的通行證? 在數(shù)字化浪潮席卷全球的今天,當(dāng)企業(yè)決策者盯著屏幕上跳動(dòng)的數(shù)據(jù)曲線尋找增長(zhǎng)密碼,當(dāng)科研人員在 ...
2025-07-17CDA 精益業(yè)務(wù)數(shù)據(jù)分析:數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)增長(zhǎng)的實(shí)戰(zhàn)方法論 在企業(yè)數(shù)字化轉(zhuǎn)型的浪潮中,“數(shù)據(jù)分析” 已從 “加分項(xiàng)” 成為 “必修課 ...
2025-07-16MySQL 中 ADD KEY 與 ADD INDEX 詳解:用法、差異與優(yōu)化實(shí)踐 在 MySQL 數(shù)據(jù)庫(kù)表結(jié)構(gòu)設(shè)計(jì)中,索引是提升查詢性能的核心手段。無(wú)論 ...
2025-07-16解析 MySQL Update 語(yǔ)句中 “query end” 狀態(tài):含義、成因與優(yōu)化指南? 在 MySQL 數(shù)據(jù)庫(kù)的日常運(yùn)維與開發(fā)中,開發(fā)者和 DBA 常會(huì) ...
2025-07-16如何考取數(shù)據(jù)分析師證書:以 CDA 為例? ? 在數(shù)字化浪潮席卷各行各業(yè)的當(dāng)下,數(shù)據(jù)分析師已然成為企業(yè)挖掘數(shù)據(jù)價(jià)值、驅(qū)動(dòng)決策的 ...
2025-07-15CDA 精益業(yè)務(wù)數(shù)據(jù)分析:驅(qū)動(dòng)企業(yè)高效決策的核心引擎? 在數(shù)字經(jīng)濟(jì)時(shí)代,企業(yè)面臨著前所未有的數(shù)據(jù)洪流,如何從海量數(shù)據(jù)中提取有 ...
2025-07-15MySQL 無(wú)外鍵關(guān)聯(lián)表的 JOIN 實(shí)戰(zhàn):數(shù)據(jù)整合的靈活之道? 在 MySQL 數(shù)據(jù)庫(kù)的日常操作中,我們經(jīng)常會(huì)遇到需要整合多張表數(shù)據(jù)的場(chǎng)景 ...
2025-07-15Python Pandas:數(shù)據(jù)科學(xué)的瑞士軍刀? ? 在數(shù)據(jù)驅(qū)動(dòng)的時(shí)代,面對(duì)海量、復(fù)雜的數(shù)據(jù),如何高效地進(jìn)行處理、分析和挖掘成為關(guān)鍵。 ...
2025-07-15用 SQL 生成逆向回滾 SQL:數(shù)據(jù)操作的 “后悔藥” 指南? 在數(shù)據(jù)庫(kù)操作中,誤刪數(shù)據(jù)、錯(cuò)改字段或誤執(zhí)行批量更新等問(wèn)題時(shí)有發(fā)生。 ...
2025-07-14t檢驗(yàn)與Wilcoxon檢驗(yàn)的選擇:何時(shí)用t.test,何時(shí)用wilcox.test? t 檢驗(yàn)與 Wilcoxon 檢驗(yàn)的選擇:何時(shí)用 t.test,何時(shí)用 wilcox. ...
2025-07-14AI 浪潮下的生存與進(jìn)階: CDA數(shù)據(jù)分析師—開啟新時(shí)代職業(yè)生涯的鑰匙(深度研究報(bào)告、發(fā)展指導(dǎo)白皮書) 發(fā)布機(jī)構(gòu):CDA數(shù)據(jù)科 ...
2025-07-13LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠(chéng)摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10