大數據管理問題亟待解決

如果在百度谷歌去搜索"大數據",你會發(fā)現，大數據包括三個V,第一個V數據量足夠大；第二個V是指數據的種類非常多、結構復雜；第三個V則是對于數據的實時性要求非常高。所以，擁有大量的數據，能夠快速將這些數據進行抽取，挖掘，分析，并且可供擁有者實時訪問，調用，能夠滿足其實際需求，這就是大數據。
　　大數據的出現與互聯(lián)網的發(fā)展息息相關，從搜索引擎、社交網站到移動終端，互聯(lián)網上的信息總量正以每年50%的增速不斷膨脹，其中90%的信息來自近三年，包括每個月Facebook上分享的30億條內容，每天12TB的Twitter信息，每天淘寶上超過30億條店鋪、商品瀏覽記錄以及上千萬的成交、收藏記錄等等。據IDC統(tǒng)計，2011年全球所產生的數據總量是1.8ZB（10的21次方），如果把這些數據刻錄到CD此片中門起摞起來的高度等于地球到月球的距離！
　　大數據沒有限定的數量，比如多少TB,或者EB的數據。若是中小企業(yè)用戶，可能企業(yè)內部只有十幾、二十幾個人，那么十個TB對這個企業(yè)來說就是大數據了，所以大數據的概念因人而異。工信部十二五的物聯(lián)網規(guī)劃引人注意，其中包括海量級的數據存儲，數據挖掘，圖象視頻的智能分析，以及信息感知和信息傳輸，這些規(guī)劃提供了一個警示信號，即大數據是未來的發(fā)展方向，所以在此后的一段時間內，熱門話題會是大數據、云存儲、以及對象存儲。這些都是在存儲或者計算領域熱門的話題。
　　"大數據"是大勢所趨?？v觀整個數據市場，甚至存儲市場，用戶的數據量正呈現出爆炸式的增長態(tài)勢。大概四、五年前，一個郵件系統(tǒng)用終端存儲就可以滿足一個中等規(guī)模企業(yè)的需要，數據量大概在30-50T.隨著企業(yè)員工數量逐年增長，郵件系統(tǒng)的空間也呈爆炸式增長，由于人員溝通之間郵件更容易成為溝通的橋梁，郵件的附件越來越大，郵件系統(tǒng)的數據量亦隨之水漲船高。現在該企業(yè)的數據量恐怕已增長到2.5PB甚至更多，需要添置一臺存儲設備或是幾臺儲備設備做郵件系統(tǒng)，可見存儲需求量增長之快。
　　盡管大數據的產生多半是因為企業(yè)發(fā)展及數據產生的種類多元化這個"大環(huán)境"所致，但是面對這些快速增長的大數據所暴露出的問題還是讓企業(yè)管理者們不安。到底該如何管理這些大數據？如何進行安全有效的保護？出現問題時怎樣進行恢復？這些都是企業(yè)待解的難題。
　　第一、在大數據愈演愈烈之時，對于企業(yè)來說，如何經濟、高效訪問數據值得探討。并非購買了最高端的存儲，更昂貴的備份存儲就可以高枕無憂，如何經濟、高效的訪問數據才是企業(yè)目前需要研究的課題之一。通常情況下，按照數據被訪問頻率的高低，可以將這些大數據分為熱數據和冷數據，熱點數據放在昂貴的介質上沒有任何異議，但是冷數據放在昂貴的介質上面則會導致IT建設成本上升，是一種浪費。所以如何將冷、熱數據進行分層存儲，既能優(yōu)化存儲系統(tǒng)的性能，又可以有效地降低存儲系統(tǒng)的整體擁有成本，實現一舉兩得是企業(yè)的突破方向。
　　第二，如何組織、檢索、存儲、處理分析這些大數據。最近開展的題為"大數據：商業(yè)領袖們的經驗"的全球調查發(fā)現，稿營收企業(yè)的成功與明確的數據戰(zhàn)略之間有著極強的關聯(lián)性。大數據的時代迎面襲來，企業(yè)重視大數據的潛在價值只是一個良好的開始，如何應對海量數據在管理方面的挑戰(zhàn)才是企業(yè)至關重要的策略之一。
　　第三，數據備份。數據備份可謂"老生常談",大家一直在談數據需要備份，備份是企業(yè)最后的保障、最后的一個利器，可以保護企業(yè)的系統(tǒng)依然有數據可用。10年前的"9.11"事件，早給過我們慘痛的教訓：世貿中心中大約2/3企業(yè)因為未做數據備份而導致徹底倒閉。 無獨有偶，就在前不久前，雅虎日本服務器系統(tǒng)發(fā)生故障，導致近5700家企業(yè)數據丟失，除了小林制藥這樣日常進行數據備份的用戶可以在幾天之內恢復數據外，其他用戶的數據絕無回復的可能，其損失可謂"慘重".一個企業(yè)的數據信息決定著企業(yè)的生死存亡。但是今天，數據量的持續(xù)增長增加了備份和恢復的時間，是企業(yè)面臨著嚴重的合規(guī)和宕機風險，數據備份卻越來越困難。用戶數據量越來越大，備份時間窗口又那么小，設備又是有限的，怎樣快速把大數據中的核心數據抽取出來，保障企業(yè)數據信息能夠適時進行恢復，成為企業(yè)CIO們共同考量的當務之急。
　　第四、重復數據刪除。由于存儲經理們繼續(xù)降低備份數據量，重復數據刪除技術從而一度成為熱門的技術，但盡管這個話題已經"風靡"了多年，近三、五年的時間大家都在講重復數據的刪除?；旧现髁鞯膹S商和用戶能夠接受的還是把帶庫刪除。如周一到周五的數據一樣，就把重復的數據刪掉，以后每天把增量的數據保存。但是有一些廠家也提倡在線存儲刪除，這也可行。只是現在某些技術尚不完全成熟，所以現在的重復數據刪除重點還是在備份領域涉獵較多。
　　第五，如何節(jié)省電力、節(jié)約空間、節(jié)約成本等。面臨數據爆炸式增長帶來的問題，我們將怎么樣節(jié)省電力、空間、成本呢？近幾年企業(yè)在采購存儲時，會發(fā)現存儲硬件的成本在逐年走低?；仡欉^去，硬盤價格都是高高在上的，而現在不管是傳統(tǒng)的機械硬盤還是SSD（固態(tài)硬盤）都開始變得越發(fā)"親民",而價格更低的同時容量卻更高了。但是，對于很多企業(yè)來說，整體的存儲成本卻不降反升，原因就是存儲的管理成本在逐年走高。因為大數據的接茬大漲需要大量的人力管理和維護，所以如何節(jié)約IT資源，減少IT人員的壓力等也是現在企業(yè)需要考慮的因素。
　　在大數據時代，盡管這些快速增長的海量數據所引發(fā)的一系列蹩腳問題，足以讓CIO們感到炙手可熱，但是管理這些數據所帶來的幾多挑戰(zhàn)并不能令人窒息。完整的數據保護解決方案或許能夠成為"成人之美"的一劑良藥。畢竟，實踐是檢驗真理的唯一標準，這的確是不易之論……