大數(shù)據(jù)存儲的7個關(guān)鍵因素

大數(shù)據(jù)的應(yīng)用為企業(yè)的存儲帶來了挑戰(zhàn)。以下是企業(yè)應(yīng)該考慮的最重要的事情。

定義大數(shù)據(jù)實(shí)際上比人們想象的更具挑戰(zhàn)性。GLib的定義談到了大量的非結(jié)構(gòu)化數(shù)據(jù)，但事實(shí)上，它是合并了結(jié)構(gòu)化和結(jié)構(gòu)化的許多數(shù)據(jù)源，以創(chuàng)建一個可以分析有用信息的存儲數(shù)據(jù)池。

人們可能會問“大數(shù)據(jù)到底有多大？”，存儲營銷人員的答案通常是“大，非常大”或者是達(dá)到“PB”級。但是，還有很多方法來衡量存儲的內(nèi)容。很多大數(shù)據(jù)在被分析的幾分鐘之內(nèi)就會變成垃圾數(shù)據(jù)，而有些則需要存儲和保留。這使得數(shù)據(jù)的生命周期管理至關(guān)重要。隨著數(shù)據(jù)的全球化，將于2018年5月生效的“歐盟通用數(shù)據(jù)保護(hù)條例”規(guī)定了個人數(shù)據(jù)生命周期管理要求，即使對于歐洲之外公司來說，其違規(guī)處罰也是十分嚴(yán)厲的，涉及的企業(yè)將會遭到其高達(dá)4％的全球年收入的處罰。

對于IT行業(yè)人士來說，其存儲已經(jīng)習(xí)慣了TB這個術(shù)語，但存儲PB級的數(shù)據(jù)成本令人望而生畏，這就像人們當(dāng)初面臨RAID存儲陣列的那咱情況。如今的驅(qū)動器和存儲設(shè)備已經(jīng)改變了所有關(guān)于容量成本的規(guī)則，特別是在開源軟件可以發(fā)揮作用的地方。

事實(shí)上，今年8月舉辦的閃存峰會上推出了在1U機(jī)架可以部署容量為1PB的設(shè)備，隨著3DNAND和英特爾公司推出的“Ruler”硬盤驅(qū)動器等新技術(shù)和新產(chǎn)品的出現(xiàn)，在幾個月內(nèi)可以達(dá)到1PB的目標(biāo)。大數(shù)據(jù)存儲容量將會改變存儲的空間、功耗、成本的游戲規(guī)則。

集中的容量需要集中的網(wǎng)絡(luò)帶寬。第一步是將這些PB級存儲設(shè)備與以太網(wǎng)上的NVMe結(jié)合起來，以100Gbps的速度運(yùn)行，但行業(yè)廠商已經(jīng)處于200Gbps部署的初期階段。這是網(wǎng)絡(luò)連接能力的一個重大飛躍，但即使如此，也不足以跟上大規(guī)模并行設(shè)計的驅(qū)動器的發(fā)展步伐。

數(shù)據(jù)壓縮有助于解決許多大數(shù)據(jù)存儲的使用案例，從刪除重復(fù)圖像到重復(fù)的Word文件塊。使用GPU進(jìn)行壓縮的新方法可以處理巨大的數(shù)據(jù)速率，為PB級1U機(jī)柜提供一種快速處理的方式。

大數(shù)據(jù)存儲最具價值的部分實(shí)際上是軟件。非結(jié)構(gòu)化數(shù)據(jù)通常存儲在密鑰/數(shù)據(jù)格式中，在傳統(tǒng)的blockIO之上，這是一個試圖掩蓋多個不匹配的低效方法。較新的設(shè)計范圍從對象的擴(kuò)展元數(shù)據(jù)標(biāo)記到以驅(qū)動器或存儲設(shè)備上的開放式密鑰/數(shù)據(jù)格式存儲數(shù)據(jù)。這些都是一些處在萌芽狀態(tài)的方法，但其價值主張似乎很明確。

最后，公共云為大數(shù)據(jù)提供了一個可擴(kuò)展到龐大規(guī)模的具有彈性的平臺。這顯然有助于滿足企業(yè)需求，AWS，Azure和Google都添加了強(qiáng)大的大數(shù)據(jù)服務(wù)列表來匹配。借助巨大的實(shí)例和GPU支持，云計算虛擬機(jī)可以有效地模擬內(nèi)部服務(wù)器場，并為混合云或基于公共云的解決方案提供引人注目的案例。

可以說，企業(yè)在制定大數(shù)據(jù)存儲計劃時需要考慮很多事情。以下更詳細(xì)地了解一下其中的一些因素。

（1）確定大數(shù)據(jù)存儲需求

一旦創(chuàng)建了大數(shù)據(jù)存儲的要求，就要考慮減少大數(shù)據(jù)的方式。大部分?jǐn)?shù)據(jù)在一兩天后都是垃圾數(shù)據(jù)，這取決于積極的報廢協(xié)議。有些數(shù)據(jù)是具有價值的，所以這些數(shù)據(jù)應(yīng)該存儲和加密、備份，以及存檔。

隨著需求日益增長，公共云非常適合存儲短期數(shù)據(jù)，特別是在突發(fā)情況下。存儲桶能夠以更低成本進(jìn)行創(chuàng)建和刪除，而且擴(kuò)大規(guī)模并不是問題。

最后，大數(shù)據(jù)有時并沒有那么大。對于使用10TB結(jié)構(gòu)化數(shù)據(jù)的用戶來說，100TB似乎很大，但是它很容易適合于最小的Ceph集群。而如今存儲100TB的數(shù)據(jù)，這對于一些解決方案來說非常簡單。

（2）對象存儲的作用

大數(shù)據(jù)常常與對象存儲混淆，因為對象存儲可以輕松地處理奇怪的對象，并提供允許對數(shù)據(jù)進(jìn)行巨大控制的元數(shù)據(jù)結(jié)構(gòu)。而且對象存儲的成本比傳統(tǒng)的RAID存儲陣列要低得多。事實(shí)上，最常見的對象存儲使用開源軟件和COTS（商用現(xiàn)成品或技術(shù)）硬件。也可以使用沒有捆綁許可的軟件。

對象存儲設(shè)備配有6到12個驅(qū)動器，服務(wù)器主板和快速網(wǎng)絡(luò)，而且越來越多的網(wǎng)絡(luò)將采用基于RDMA的100GbE或200GbE網(wǎng)卡。即便如此，硬盤驅(qū)動器的速度變得如此之快，以至于這些網(wǎng)絡(luò)速率仍然難以跟上?，F(xiàn)在人們處在對象存儲的NVMe以太網(wǎng)連接的邊緣，這將帶來延遲和吞吐量的飛躍。

還有開源的全球文件系統(tǒng)，這些系統(tǒng)已經(jīng)在金融系統(tǒng)和高性能計算中使用了很多年。這些處理需要一定的規(guī)模，但沒有擴(kuò)展的元數(shù)據(jù)和其他靈活的擴(kuò)展。

（3）生命周期管理

從大數(shù)據(jù)存儲池獲取數(shù)據(jù)是一個比設(shè)置池本身更大的挑戰(zhàn)。在企業(yè)的存儲軟件中構(gòu)建報廢標(biāo)簽是管理它的一種方法：策略在數(shù)據(jù)對象創(chuàng)建時設(shè)置自毀標(biāo)簽值。然而，制定策略需要時間，而且在處理選項增加到包括將數(shù)據(jù)移動到云中成本非常低廉的歸檔層時，情況會變得更加復(fù)雜。大數(shù)據(jù)的數(shù)據(jù)流模型，特別是物聯(lián)網(wǎng)產(chǎn)生的大數(shù)據(jù)，往往在存儲營銷信息圖中被描述成“許多支流匯合在一起的一條大河”。然而，從存儲的角度來看，所有這些組合起來并不是真正的傳感器數(shù)據(jù)（IoT生成的典型內(nèi)容）可能會被分解為時間戳，以便后期處理，而結(jié)構(gòu)化數(shù)據(jù)庫條目可以直接存儲在主數(shù)據(jù)庫中，它有自己的分層冷數(shù)據(jù)工具。

更復(fù)雜的是，人們知道一些大數(shù)據(jù)比其他數(shù)據(jù)更為活躍。這種活躍的數(shù)據(jù)可能需要存儲到更快速的存儲設(shè)備中，例如SSD固態(tài)硬盤。

（4）數(shù)據(jù)隱私法規(guī)

通用數(shù)據(jù)保護(hù)規(guī)范(GDPR)將要實(shí)施。企業(yè)在處理歐盟個人數(shù)據(jù)的過程中如果違反法規(guī)，則可能會面臨其全球收入的4％的嚴(yán)厲處罰，這個法規(guī)適用于全球范圍的企業(yè)。

通用數(shù)據(jù)保護(hù)規(guī)范(GDPR)最終處理的是關(guān)鍵和個人數(shù)據(jù)的常識。每個人都應(yīng)該正確地加密數(shù)據(jù)。其規(guī)則涵蓋數(shù)據(jù)治理，生命周期管理，訪問和使用以及加密。

在了解存儲供應(yīng)商是否符合GDRP標(biāo)準(zhǔn)之后，人們可能會松一口氣，認(rèn)為可能與自己無關(guān)。但這些規(guī)則涉及到數(shù)據(jù)所有者以及任何數(shù)據(jù)存儲的重大范式轉(zhuǎn)變，如果企業(yè)還沒有經(jīng)歷這個調(diào)整過程，那么很可能就不符合法規(guī)。

人們一個常見的誤解是，供應(yīng)商提供的加密措施可以解決企業(yè)的合規(guī)性要求。其實(shí)無論是由存儲廠商還是云服務(wù)提供商所提供的基于驅(qū)動器的加密都不適用于任何數(shù)據(jù)標(biāo)準(zhǔn)，如HIPAA，SOX或GDPR。企業(yè)作為數(shù)據(jù)所有者必須擁有密鑰。幸運(yùn)的是，云端有加密支持，但更好的選擇是將其構(gòu)建到服務(wù)器或虛擬機(jī)中的工作流中。

（5）SSD固態(tài)硬盤

SSD固態(tài)硬盤正在改變存儲系統(tǒng)中的所有規(guī)則。作為處于DRAM和硬盤存儲器之間的具有高速緩存的大容量存儲設(shè)備，SSD硬盤在隨機(jī)IO中的存儲性能提高了約1000倍，帶寬從10倍增加到100倍。對于大量數(shù)據(jù)來說，這是非常重要的，特別是在使用Hadoop或GPU加速等并行處理時。

容量為100TB的固態(tài)硬盤將會推出市場，并具有優(yōu)異的性能，一些小型存儲設(shè)備可以創(chuàng)造奇跡。規(guī)模最小的Ceph對象存儲陣列為四個節(jié)點(diǎn)，即使使用標(biāo)準(zhǔn)的1U服務(wù)器格式，當(dāng)前也可以容納1.2PB的SSD硬盤容量。這樣做成本高昂，但在計算性能時比較經(jīng)濟(jì)。一些供應(yīng)商已經(jīng)宣布了1UPB級設(shè)備的計劃，其中包括使用32個英特爾公司推出的Ruler硬盤，這是一款狹長的的SSD硬盤。

固態(tài)存儲領(lǐng)域得到快速發(fā)展，這也是企業(yè)不應(yīng)該在短期內(nèi)在存儲方面投入太多費(fèi)用的原因。因為硬盤價格點(diǎn)和所有其他指標(biāo)在未來兩年內(nèi)都會發(fā)生變化。企業(yè)需要確保將來購買的任何設(shè)備和驅(qū)動器都適合集群，以便其他有用的設(shè)備不會被廢棄。

（6）數(shù)據(jù)壓縮

如今，存儲1PB數(shù)據(jù)的設(shè)備可以存儲5PB數(shù)據(jù)，而這是使用壓縮軟件的好處。固態(tài)硬盤支持大帶寬，以至于使用其中的一些將壓縮數(shù)據(jù)寫入設(shè)備是有意義的。不過，最好是在數(shù)據(jù)創(chuàng)建時進(jìn)行壓縮。這減少了整個數(shù)據(jù)流量的網(wǎng)絡(luò)流量，節(jié)省了存儲空間，并減少了傳輸時間。但源數(shù)據(jù)壓縮需要硬件支持，而這些硬盤開始出現(xiàn)在市場上。

"Rehydrating"（重新水化）數(shù)據(jù)是一個使用少量資源的簡單過程，因此通過提高壓縮率來增加存儲容量可以節(jié)省成本。全閃存陣列通常包括壓縮，而這種技術(shù)也作為用于家電的軟件提供。

（7）選擇云存儲服務(wù)

在討論硬件之后，采用云存儲提供商提供的服務(wù)可能是一個具有吸引力的選擇。事實(shí)上，云服務(wù)提供商三大巨頭亞馬遜、谷歌和微軟公司在實(shí)施新架構(gòu)和軟件編排方面都處于行業(yè)領(lǐng)先地位。云計算的應(yīng)用很經(jīng)濟(jì)，并且可以隨時需要的規(guī)模支付費(fèi)用。云服務(wù)可以處理存儲負(fù)載峰值，這在一些數(shù)據(jù)類中很常見，例如零售傳感器數(shù)據(jù)。這減少或至少延遲了倉儲設(shè)備的內(nèi)部購買。

然而，獲得與內(nèi)部運(yùn)營相媲美的性能水平是一個挑戰(zhàn)。并不是具有相同CPU和內(nèi)存組合的實(shí)例都是相同的。一個高度調(diào)優(yōu)的內(nèi)部集群可能會做得更好。

如今，存儲技術(shù)的發(fā)展并不會停止，人們將看到增值數(shù)據(jù)存儲服務(wù)迅速發(fā)展，如加密和壓縮、索引、標(biāo)簽服務(wù)以及其他功能。大型云提供商（尤其是AWS）甚至將數(shù)據(jù)庫結(jié)構(gòu)（如Hadoop文件系統(tǒng)）構(gòu)建到工具包中。這使他們能夠部署類似希捷和華為設(shè)備的關(guān)鍵/數(shù)據(jù)存儲驅(qū)動器等設(shè)備中，以加速構(gòu)建特定的數(shù)據(jù)結(jié)構(gòu)。