
大數(shù)據(jù)背景下如何保護(hù)數(shù)據(jù)
如果在百度谷歌去搜索“大數(shù)據(jù)”,你會(huì)發(fā)現(xiàn),大數(shù)據(jù)包括三個(gè)V,第一個(gè)V數(shù)據(jù)量足夠大;第二個(gè)V是指數(shù)據(jù)的種類(lèi)非常多、結(jié)構(gòu)復(fù)雜;第三個(gè)V則是對(duì)于數(shù)據(jù)的實(shí)時(shí)性要求非常高。所以,擁有大量的數(shù)據(jù),能夠快速將這些數(shù)據(jù)進(jìn)行抽取,挖掘,分析,并且可供擁有者實(shí)時(shí)訪(fǎng)問(wèn),調(diào)用,能夠滿(mǎn)足其實(shí)際需求,這就是大數(shù)據(jù)。
大數(shù)據(jù)的出現(xiàn)與互聯(lián)網(wǎng)的發(fā)展息息相關(guān),從搜索引擎、社交網(wǎng)站到移動(dòng)終端,互聯(lián)網(wǎng)上的信息總量正以每年50%的增速不斷膨脹,其中90%的信息來(lái)自近三年,包括每個(gè)月Facebook上分享的30億條內(nèi)容,每天12TB的Twitter信息,每天淘寶上超過(guò)30億條店鋪、商品瀏覽記錄以及上千萬(wàn)的成交、收藏記錄等等。據(jù)IDC統(tǒng)計(jì),2011年全球所產(chǎn)生的數(shù)據(jù)總量是1.8ZB(10的21次方),如果把這些數(shù)據(jù)刻錄到CD此片中門(mén)起摞起來(lái)的高度等于地球到月球的距離!
大數(shù)據(jù)沒(méi)有限定的數(shù)量,比如多少TB,或者EB的數(shù)據(jù)。若是中小企業(yè)用戶(hù),可能企業(yè)內(nèi)部只有十幾、二十幾個(gè)人,那么十個(gè)TB對(duì)這個(gè)企業(yè)來(lái)說(shuō)就是大數(shù)據(jù)了,所以大數(shù)據(jù)的概念因人而異。工信部十二五的物聯(lián)網(wǎng)規(guī)劃引人注意,其中包括海量級(jí)的數(shù)據(jù)存儲(chǔ),數(shù)據(jù)挖掘,圖象視頻的智能分析,以及信息感知和信息傳輸,這些規(guī)劃提供了一個(gè)警示信號(hào),即大數(shù)據(jù)是未來(lái)的發(fā)展方向,所以在此后的一段時(shí)間內(nèi),熱門(mén)話(huà)題會(huì)是大數(shù)據(jù)、云存儲(chǔ)、以及對(duì)象存儲(chǔ)。這些都是在存儲(chǔ)或者計(jì)算領(lǐng)域熱門(mén)的話(huà)題。
大數(shù)據(jù)——數(shù)據(jù)管理“令人不安”
“大數(shù)據(jù)”是大勢(shì)所趨??v觀整個(gè)數(shù)據(jù)市場(chǎng),甚至存儲(chǔ)市場(chǎng),用戶(hù)的數(shù)據(jù)量正呈現(xiàn)出爆炸式的增長(zhǎng)態(tài)勢(shì)。大概四、五年前,一個(gè)郵件系統(tǒng)用終端存儲(chǔ)就可以滿(mǎn)足一個(gè)中等規(guī)模企業(yè)的需要,數(shù)據(jù)量大概在30-50T。隨著企業(yè)員工數(shù)量逐年增長(zhǎng),郵件系統(tǒng)的空間也呈爆炸式增長(zhǎng),由于人員溝通之間郵件更容易成為溝通的橋梁,郵件的附件越來(lái)越大,郵件系統(tǒng)的數(shù)據(jù)量亦隨之水漲船高?,F(xiàn)在該企業(yè)的數(shù)據(jù)量恐怕已增長(zhǎng)到2.5PB甚至更多,需要添置一臺(tái)存儲(chǔ)設(shè)備或是幾臺(tái)儲(chǔ)備設(shè)備做郵件系統(tǒng),可見(jiàn)存儲(chǔ)需求量增長(zhǎng)之快。
盡管大數(shù)據(jù)的產(chǎn)生多半是因?yàn)槠髽I(yè)發(fā)展及數(shù)據(jù)產(chǎn)生的種類(lèi)多元化這個(gè)“大環(huán)境”所致,但是面對(duì)這些快速增長(zhǎng)的大數(shù)據(jù)所暴露出的問(wèn)題還是讓企業(yè)管理者們不安。到底該如何管理這些大數(shù)據(jù)?如何進(jìn)行安全有效的保護(hù)?出現(xiàn)問(wèn)題時(shí)怎樣進(jìn)行恢復(fù)?這些都是企業(yè)待解的難題。
第一、在大數(shù)據(jù)愈演愈烈之時(shí),對(duì)于企業(yè)來(lái)說(shuō),如何經(jīng)濟(jì)、高效訪(fǎng)問(wèn)數(shù)據(jù)值得探討。并非購(gòu)買(mǎi)了最高端的存儲(chǔ),更昂貴的備份存儲(chǔ)就可以高枕無(wú)憂(yōu),如何經(jīng)濟(jì)、高效的訪(fǎng)問(wèn)數(shù)據(jù)才是企業(yè)目前需要研究的課題之一。通常情況下,按照數(shù)據(jù)被訪(fǎng)問(wèn)頻率的高低,可以將這些大數(shù)據(jù)分為熱數(shù)據(jù)和冷數(shù)據(jù),熱點(diǎn)數(shù)據(jù)放在昂貴的介質(zhì)上沒(méi)有任何異議,但是冷數(shù)據(jù)放在昂貴的介質(zhì)上面則會(huì)導(dǎo)致IT建設(shè)成本上升,是一種浪費(fèi)。所以如何將冷、熱數(shù)據(jù)進(jìn)行分層存儲(chǔ),既能優(yōu)化存儲(chǔ)系統(tǒng)的性能,又可以有效地降低存儲(chǔ)系統(tǒng)的整體擁有成本,實(shí)現(xiàn)一舉兩得是企業(yè)的突破方向。
第二,如何組織、檢索、存儲(chǔ)、處理分析這些大數(shù)據(jù)。最近開(kāi)展的題為“大數(shù)據(jù):商業(yè)領(lǐng)袖們的經(jīng)驗(yàn)”的全球調(diào)查發(fā)現(xiàn),稿營(yíng)收企業(yè)的成功與明確的數(shù)據(jù)戰(zhàn)略之間有著極強(qiáng)的關(guān)聯(lián)性。大數(shù)據(jù)的時(shí)代迎面襲來(lái),企業(yè)重視大數(shù)據(jù)的潛在價(jià)值只是一個(gè)良好的開(kāi)始,如何應(yīng)對(duì)海量數(shù)據(jù)在管理方面的挑戰(zhàn)才是企業(yè)至關(guān)重要的策略之一。
第三,數(shù)據(jù)備份。數(shù)據(jù)備份可謂“老生常談”,大家一直在談數(shù)據(jù)需要備份,備份是企業(yè)最后的保障、最后的一個(gè)利器,可以保護(hù)企業(yè)的系統(tǒng)依然有數(shù)據(jù)可用。10年前的“9.11”事件,早給過(guò)我們慘痛的教訓(xùn):世貿(mào)中心中大約2/3企業(yè)因?yàn)槲醋鰯?shù)據(jù)備份而導(dǎo)致徹底倒閉。 無(wú)獨(dú)有偶,就在前不久前,雅虎日本服務(wù)器系統(tǒng)發(fā)生故障,導(dǎo)致近5700家企業(yè)數(shù)據(jù)丟失,除了小林制藥這樣日常進(jìn)行數(shù)據(jù)備份的用戶(hù)可以在幾天之內(nèi)恢復(fù)數(shù)據(jù)外,其他用戶(hù)的數(shù)據(jù)絕無(wú)回復(fù)的可能,其損失可謂“慘重”。一個(gè)企業(yè)的數(shù)據(jù)信息決定著企業(yè)的生死存亡。但是今天,數(shù)據(jù)量的持續(xù)增長(zhǎng)增加了備份和恢復(fù)的時(shí)間,是企業(yè)面臨著嚴(yán)重的合規(guī)和宕機(jī)風(fēng)險(xiǎn),數(shù)據(jù)備份卻越來(lái)越困難。用戶(hù)數(shù)據(jù)量越來(lái)越大,備份時(shí)間窗口又那么小,設(shè)備又是有限的,怎樣快速把大數(shù)據(jù)中的核心數(shù)據(jù)抽取出來(lái),保障企業(yè)數(shù)據(jù)信息能夠適時(shí)進(jìn)行恢復(fù),成為企業(yè)CIO們共同考量的當(dāng)務(wù)之急。
第四、重復(fù)數(shù)據(jù)刪除。由于存儲(chǔ)經(jīng)理們繼續(xù)降低備份數(shù)據(jù)量,重復(fù)數(shù)據(jù)刪除技術(shù)從而一度成為熱門(mén)的技術(shù),但盡管這個(gè)話(huà)題已經(jīng)“風(fēng)靡”了多年,近三、五年的時(shí)間大家都在講重復(fù)數(shù)據(jù)的刪除?;旧现髁鞯膹S商和用戶(hù)能夠接受的還是把帶庫(kù)刪除。如周一到周五的數(shù)據(jù)一樣,就把重復(fù)的數(shù)據(jù)刪掉,以后每天把增量的數(shù)據(jù)保存。但是有一些廠家也提倡在線(xiàn)存儲(chǔ)刪除,這也可行。只是現(xiàn)在某些技術(shù)尚不完全成熟,所以現(xiàn)在的重復(fù)數(shù)據(jù)刪除重點(diǎn)還是在備份領(lǐng)域涉獵較多。
第五,如何節(jié)省電力、節(jié)約空間、節(jié)約成本等。面臨數(shù)據(jù)爆炸式增長(zhǎng)帶來(lái)的問(wèn)題,我們將怎么樣節(jié)省電力、空間、成本呢?近幾年企業(yè)在采購(gòu)存儲(chǔ)時(shí),會(huì)發(fā)現(xiàn)存儲(chǔ)硬件的成本在逐年走低?;仡欉^(guò)去,硬盤(pán)價(jià)格都是高高在上的,而現(xiàn)在不管是傳統(tǒng)的機(jī)械硬盤(pán)還是SSD(固態(tài)硬盤(pán))都開(kāi)始變得越發(fā)“親民”,而價(jià)格更低的同時(shí)容量卻更高了。但是,對(duì)于很多企業(yè)來(lái)說(shuō),整體的存儲(chǔ)成本卻不降反升,原因就是存儲(chǔ)的管理成本在逐年走高。因?yàn)榇髷?shù)據(jù)的接茬大漲需要大量的人力管理和維護(hù),所以如何節(jié)約IT資源,減少I(mǎi)T人員的壓力等也是現(xiàn)在企業(yè)需要考慮的因素。
大數(shù)據(jù)——數(shù)據(jù)保護(hù)“成人之美”
隨著大數(shù)據(jù)時(shí)代的到來(lái),數(shù)據(jù)信息日益重要,數(shù)據(jù)保護(hù)問(wèn)題日漸突出,各種災(zāi)難性事件給用戶(hù)敲醒很多警鐘。數(shù)據(jù)保護(hù),數(shù)據(jù)的容災(zāi)是非常重要的話(huà)題。以前的數(shù)據(jù)容災(zāi),都是拿盤(pán)陣來(lái)做,從A復(fù)制到B,A壞了到B上去,是一個(gè)“有甚于無(wú)”的方案,屬于一種保護(hù)機(jī)制。但是今天的企業(yè)要求更加完善的數(shù)據(jù)保護(hù)系統(tǒng),很多企業(yè)已經(jīng)開(kāi)始完成了備份數(shù)據(jù)的容災(zāi)。所以,在備份數(shù)據(jù)方面企業(yè)會(huì)面臨很多問(wèn)題,比如生產(chǎn)系統(tǒng)一般都是在白天運(yùn)行,或者高峰是在白天去運(yùn)行,夜間可能有三、五個(gè)小時(shí)時(shí)間窗口,這些窗口怎樣在最短時(shí)間之內(nèi)把盡可能做的數(shù)據(jù)備份出來(lái),是用戶(hù)面臨的問(wèn)題。
另外是災(zāi)難恢復(fù)。當(dāng)發(fā)生災(zāi)難能否通過(guò)盤(pán)陣的方式、通過(guò)備份的方式恢復(fù)數(shù)據(jù)?,F(xiàn)在很多企業(yè)非常關(guān)注的是,能否把分支機(jī)構(gòu)也保護(hù)起來(lái)。例如,國(guó)美大中蘇寧,這種零售企業(yè),在全國(guó)每一個(gè)省都會(huì)有很小的數(shù)據(jù)中心或是小型機(jī)房。里面有獨(dú)立的一些數(shù)據(jù),這些數(shù)據(jù)能否集中備份到總部統(tǒng)一保護(hù)起來(lái),以最低的成本保護(hù)這些“大數(shù)據(jù)”。
最后就是恢復(fù)的時(shí)間問(wèn)題。很多企業(yè)在考慮備份時(shí)往往會(huì)忽略這點(diǎn),從而導(dǎo)致發(fā)生災(zāi)難或是意外事件時(shí)數(shù)據(jù)恢復(fù)時(shí)間過(guò)長(zhǎng),嚴(yán)重影響企業(yè)生產(chǎn)系統(tǒng)的正常運(yùn)行。所以,大數(shù)據(jù)的挑戰(zhàn)就是備份的窗口。
大數(shù)據(jù)在給行業(yè)帶來(lái)巨大商業(yè)價(jià)值的同時(shí)也帶來(lái)了一系列的“疑難雜癥”,面對(duì)這些大困惑,我們又該如何應(yīng)對(duì)呢?
談到大數(shù)據(jù),現(xiàn)在很多企業(yè)都有若干個(gè)分支機(jī)構(gòu),以前用戶(hù)對(duì)分制機(jī)構(gòu)進(jìn)行保護(hù)的時(shí)候拿盤(pán)陣來(lái)做或者拿物理磁帶通過(guò)汽車(chē)搬運(yùn)到其他地方,這樣做既增加人力又消費(fèi)時(shí)間,而且效率很低,恢復(fù)起來(lái)效果也特別差。所以,大數(shù)據(jù)環(huán)境下的數(shù)據(jù)保護(hù)是一個(gè)非常完整的解決方案,譬如,企業(yè)擁有一個(gè)很小的分支機(jī)構(gòu),可能是一個(gè)分公司或者是其中一個(gè)站點(diǎn)。數(shù)據(jù)會(huì)很多,企業(yè)有可能各分機(jī)構(gòu)也有一個(gè)虛擬帶庫(kù)設(shè)備,如果是很小的分支機(jī)構(gòu),有虛擬的帶庫(kù)設(shè)備,可以先備份當(dāng)中,然后有這個(gè)設(shè)備自動(dòng)的通過(guò)很窄的廣域網(wǎng)復(fù)制到虛擬帶庫(kù)里面去。如果企業(yè)的數(shù)據(jù)中心沒(méi)有這樣的虛擬帶庫(kù)設(shè)備,要減少成本,而只有服務(wù)器,也沒(méi)有任何問(wèn)題,只要自動(dòng)的把數(shù)據(jù)在源端進(jìn)行重復(fù)數(shù)據(jù)的刪除,刪除完成以后,將這些重復(fù)數(shù)據(jù)刪除以后的數(shù)據(jù)遠(yuǎn)端傳到總部的數(shù)據(jù)中心,這樣來(lái)實(shí)現(xiàn)數(shù)據(jù)保護(hù),同時(shí)企業(yè)還可以再?gòu)?fù)制另外一份,從一個(gè)數(shù)據(jù)中心復(fù)制到另外一個(gè)數(shù)據(jù)中心,而且這個(gè)復(fù)制過(guò)程是不需要把數(shù)據(jù)做完整性恢復(fù)的。A到B傳遞數(shù)據(jù)的時(shí)候,已經(jīng)把重復(fù)數(shù)據(jù)刪掉傳過(guò)去,但是對(duì)于重復(fù)數(shù)據(jù)刪除1.0的技術(shù)來(lái)說(shuō),要把這一份數(shù)據(jù)傳過(guò)去要恢復(fù)成完整的數(shù)據(jù),以前需要有一個(gè)服務(wù)器,把所有的完整數(shù)據(jù)算出來(lái)以后才能夠傳到另外一個(gè)上面,現(xiàn)在企業(yè)需要做的只需要傳遞一份數(shù)據(jù),而且是沒(méi)有重復(fù)的,這會(huì)大大降低企業(yè)在數(shù)據(jù)保護(hù)上的成本。
小 結(jié):
在大數(shù)據(jù)時(shí)代,盡管這些快速增長(zhǎng)的海量數(shù)據(jù)所引發(fā)的一系列蹩腳問(wèn)題,足以讓CIO們感到炙手可熱,但是管理這些數(shù)據(jù)所帶來(lái)的幾多挑戰(zhàn)并不能令人窒息。完整的數(shù)據(jù)保護(hù)解決方案或許能夠成為“成人之美”的一劑良藥。畢竟,實(shí)踐是檢驗(yàn)真理的唯一標(biāo)準(zhǔn),這的確是不易之論。
數(shù)據(jù)分析咨詢(xún)請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶(hù) ...
2025-07-11尊敬的考生: 您好! 我們誠(chéng)摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱(chēng) BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢(xún)到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢(xún)結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢(xún)結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專(zhuān)注于從單 ...
2025-07-09year_month數(shù)據(jù)類(lèi)型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類(lèi)型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國(guó)內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門(mén)控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書(shū)考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專(zhuān)業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開(kāi)啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03