大數(shù)據(jù)管理問(wèn)題亟待解決

如果在百度谷歌去搜索"大數(shù)據(jù)",你會(huì)發(fā)現(xiàn)，大數(shù)據(jù)包括三個(gè)V,第一個(gè)V數(shù)據(jù)量足夠大；第二個(gè)V是指數(shù)據(jù)的種類(lèi)非常多、結(jié)構(gòu)復(fù)雜；第三個(gè)V則是對(duì)于數(shù)據(jù)的實(shí)時(shí)性要求非常高。所以，擁有大量的數(shù)據(jù)，能夠快速將這些數(shù)據(jù)進(jìn)行抽取，挖掘，分析，并且可供擁有者實(shí)時(shí)訪問(wèn)，調(diào)用，能夠滿(mǎn)足其實(shí)際需求，這就是大數(shù)據(jù)。
　　大數(shù)據(jù)的出現(xiàn)與互聯(lián)網(wǎng)的發(fā)展息息相關(guān)，從搜索引擎、社交網(wǎng)站到移動(dòng)終端，互聯(lián)網(wǎng)上的信息總量正以每年50%的增速不斷膨脹，其中90%的信息來(lái)自近三年，包括每個(gè)月Facebook上分享的30億條內(nèi)容，每天12TB的Twitter信息，每天淘寶上超過(guò)30億條店鋪、商品瀏覽記錄以及上千萬(wàn)的成交、收藏記錄等等。據(jù)IDC統(tǒng)計(jì)，2011年全球所產(chǎn)生的數(shù)據(jù)總量是1.8ZB（10的21次方），如果把這些數(shù)據(jù)刻錄到CD此片中門(mén)起摞起來(lái)的高度等于地球到月球的距離！
　　大數(shù)據(jù)沒(méi)有限定的數(shù)量，比如多少TB,或者EB的數(shù)據(jù)。若是中小企業(yè)用戶(hù)，可能企業(yè)內(nèi)部只有十幾、二十幾個(gè)人，那么十個(gè)TB對(duì)這個(gè)企業(yè)來(lái)說(shuō)就是大數(shù)據(jù)了，所以大數(shù)據(jù)的概念因人而異。工信部十二五的物聯(lián)網(wǎng)規(guī)劃引人注意，其中包括海量級(jí)的數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)挖掘，圖象視頻的智能分析，以及信息感知和信息傳輸，這些規(guī)劃提供了一個(gè)警示信號(hào)，即大數(shù)據(jù)是未來(lái)的發(fā)展方向，所以在此后的一段時(shí)間內(nèi)，熱門(mén)話題會(huì)是大數(shù)據(jù)、云存儲(chǔ)、以及對(duì)象存儲(chǔ)。這些都是在存儲(chǔ)或者計(jì)算領(lǐng)域熱門(mén)的話題。
　　"大數(shù)據(jù)"是大勢(shì)所趨。縱觀整個(gè)數(shù)據(jù)市場(chǎng)，甚至存儲(chǔ)市場(chǎng)，用戶(hù)的數(shù)據(jù)量正呈現(xiàn)出爆炸式的增長(zhǎng)態(tài)勢(shì)。大概四、五年前，一個(gè)郵件系統(tǒng)用終端存儲(chǔ)就可以滿(mǎn)足一個(gè)中等規(guī)模企業(yè)的需要，數(shù)據(jù)量大概在30-50T.隨著企業(yè)員工數(shù)量逐年增長(zhǎng)，郵件系統(tǒng)的空間也呈爆炸式增長(zhǎng)，由于人員溝通之間郵件更容易成為溝通的橋梁，郵件的附件越來(lái)越大，郵件系統(tǒng)的數(shù)據(jù)量亦隨之水漲船高。現(xiàn)在該企業(yè)的數(shù)據(jù)量恐怕已增長(zhǎng)到2.5PB甚至更多，需要添置一臺(tái)存儲(chǔ)設(shè)備或是幾臺(tái)儲(chǔ)備設(shè)備做郵件系統(tǒng)，可見(jiàn)存儲(chǔ)需求量增長(zhǎng)之快。
　　盡管大數(shù)據(jù)的產(chǎn)生多半是因?yàn)槠髽I(yè)發(fā)展及數(shù)據(jù)產(chǎn)生的種類(lèi)多元化這個(gè)"大環(huán)境"所致，但是面對(duì)這些快速增長(zhǎng)的大數(shù)據(jù)所暴露出的問(wèn)題還是讓企業(yè)管理者們不安。到底該如何管理這些大數(shù)據(jù)？如何進(jìn)行安全有效的保護(hù)？出現(xiàn)問(wèn)題時(shí)怎樣進(jìn)行恢復(fù)？這些都是企業(yè)待解的難題。
　　第一、在大數(shù)據(jù)愈演愈烈之時(shí)，對(duì)于企業(yè)來(lái)說(shuō)，如何經(jīng)濟(jì)、高效訪問(wèn)數(shù)據(jù)值得探討。并非購(gòu)買(mǎi)了最高端的存儲(chǔ)，更昂貴的備份存儲(chǔ)就可以高枕無(wú)憂，如何經(jīng)濟(jì)、高效的訪問(wèn)數(shù)據(jù)才是企業(yè)目前需要研究的課題之一。通常情況下，按照數(shù)據(jù)被訪問(wèn)頻率的高低，可以將這些大數(shù)據(jù)分為熱數(shù)據(jù)和冷數(shù)據(jù)，熱點(diǎn)數(shù)據(jù)放在昂貴的介質(zhì)上沒(méi)有任何異議，但是冷數(shù)據(jù)放在昂貴的介質(zhì)上面則會(huì)導(dǎo)致IT建設(shè)成本上升，是一種浪費(fèi)。所以如何將冷、熱數(shù)據(jù)進(jìn)行分層存儲(chǔ)，既能優(yōu)化存儲(chǔ)系統(tǒng)的性能，又可以有效地降低存儲(chǔ)系統(tǒng)的整體擁有成本，實(shí)現(xiàn)一舉兩得是企業(yè)的突破方向。
　　第二，如何組織、檢索、存儲(chǔ)、處理分析這些大數(shù)據(jù)。最近開(kāi)展的題為"大數(shù)據(jù)：商業(yè)領(lǐng)袖們的經(jīng)驗(yàn)"的全球調(diào)查發(fā)現(xiàn)，稿營(yíng)收企業(yè)的成功與明確的數(shù)據(jù)戰(zhàn)略之間有著極強(qiáng)的關(guān)聯(lián)性。大數(shù)據(jù)的時(shí)代迎面襲來(lái)，企業(yè)重視大數(shù)據(jù)的潛在價(jià)值只是一個(gè)良好的開(kāi)始，如何應(yīng)對(duì)海量數(shù)據(jù)在管理方面的挑戰(zhàn)才是企業(yè)至關(guān)重要的策略之一。
　　第三，數(shù)據(jù)備份。數(shù)據(jù)備份可謂"老生常談",大家一直在談數(shù)據(jù)需要備份，備份是企業(yè)最后的保障、最后的一個(gè)利器，可以保護(hù)企業(yè)的系統(tǒng)依然有數(shù)據(jù)可用。10年前的"9.11"事件，早給過(guò)我們慘痛的教訓(xùn)：世貿(mào)中心中大約2/3企業(yè)因?yàn)槲醋?a href='/map/shujubeifen/' style='color:#000;font-size:inherit;'>數(shù)據(jù)備份而導(dǎo)致徹底倒閉。 無(wú)獨(dú)有偶，就在前不久前，雅虎日本服務(wù)器系統(tǒng)發(fā)生故障，導(dǎo)致近5700家企業(yè)數(shù)據(jù)丟失，除了小林制藥這樣日常進(jìn)行數(shù)據(jù)備份的用戶(hù)可以在幾天之內(nèi)恢復(fù)數(shù)據(jù)外，其他用戶(hù)的數(shù)據(jù)絕無(wú)回復(fù)的可能，其損失可謂"慘重".一個(gè)企業(yè)的數(shù)據(jù)信息決定著企業(yè)的生死存亡。但是今天，數(shù)據(jù)量的持續(xù)增長(zhǎng)增加了備份和恢復(fù)的時(shí)間，是企業(yè)面臨著嚴(yán)重的合規(guī)和宕機(jī)風(fēng)險(xiǎn)，數(shù)據(jù)備份卻越來(lái)越困難。用戶(hù)數(shù)據(jù)量越來(lái)越大，備份時(shí)間窗口又那么小，設(shè)備又是有限的，怎樣快速把大數(shù)據(jù)中的核心數(shù)據(jù)抽取出來(lái)，保障企業(yè)數(shù)據(jù)信息能夠適時(shí)進(jìn)行恢復(fù)，成為企業(yè)CIO們共同考量的當(dāng)務(wù)之急。
　　第四、重復(fù)數(shù)據(jù)刪除。由于存儲(chǔ)經(jīng)理們繼續(xù)降低備份數(shù)據(jù)量，重復(fù)數(shù)據(jù)刪除技術(shù)從而一度成為熱門(mén)的技術(shù)，但盡管這個(gè)話題已經(jīng)"風(fēng)靡"了多年，近三、五年的時(shí)間大家都在講重復(fù)數(shù)據(jù)的刪除?；旧现髁鞯膹S商和用戶(hù)能夠接受的還是把帶庫(kù)刪除。如周一到周五的數(shù)據(jù)一樣，就把重復(fù)的數(shù)據(jù)刪掉，以后每天把增量的數(shù)據(jù)保存。但是有一些廠家也提倡在線存儲(chǔ)刪除，這也可行。只是現(xiàn)在某些技術(shù)尚不完全成熟，所以現(xiàn)在的重復(fù)數(shù)據(jù)刪除重點(diǎn)還是在備份領(lǐng)域涉獵較多。
　　第五，如何節(jié)省電力、節(jié)約空間、節(jié)約成本等。面臨數(shù)據(jù)爆炸式增長(zhǎng)帶來(lái)的問(wèn)題，我們將怎么樣節(jié)省電力、空間、成本呢？近幾年企業(yè)在采購(gòu)存儲(chǔ)時(shí)，會(huì)發(fā)現(xiàn)存儲(chǔ)硬件的成本在逐年走低?；仡欉^(guò)去，硬盤(pán)價(jià)格都是高高在上的，而現(xiàn)在不管是傳統(tǒng)的機(jī)械硬盤(pán)還是SSD（固態(tài)硬盤(pán)）都開(kāi)始變得越發(fā)"親民",而價(jià)格更低的同時(shí)容量卻更高了。但是，對(duì)于很多企業(yè)來(lái)說(shuō)，整體的存儲(chǔ)成本卻不降反升，原因就是存儲(chǔ)的管理成本在逐年走高。因?yàn)榇髷?shù)據(jù)的接茬大漲需要大量的人力管理和維護(hù)，所以如何節(jié)約IT資源，減少I(mǎi)T人員的壓力等也是現(xiàn)在企業(yè)需要考慮的因素。
　　在大數(shù)據(jù)時(shí)代，盡管這些快速增長(zhǎng)的海量數(shù)據(jù)所引發(fā)的一系列蹩腳問(wèn)題，足以讓CIO們感到炙手可熱，但是管理這些數(shù)據(jù)所帶來(lái)的幾多挑戰(zhàn)并不能令人窒息。完整的數(shù)據(jù)保護(hù)解決方案或許能夠成為"成人之美"的一劑良藥。畢竟，實(shí)踐是檢驗(yàn)真理的唯一標(biāo)準(zhǔn)，這的確是不易之論……