大數(shù)據(jù)存儲平臺發(fā)展必須具有彈性

大數(shù)據(jù)已經(jīng)成為安防行業(yè)不能不提的話題，它涵蓋了4V面向，分別是處理時效、數(shù)據(jù)格式、數(shù)據(jù)量與真實性，通過快速的采集、發(fā)現(xiàn)和分析，從大量化、多類別的數(shù)據(jù)中提取價值。安防大數(shù)據(jù)時代最顯著的特征就是數(shù)據(jù)共享，提高數(shù)據(jù)處理能力。粗略計世界至少有1億個攝像頭在角落靜靜的看著，這樣的視頻監(jiān)控將是數(shù)據(jù)的大生成器。從攝像前端的海量數(shù)據(jù)和到有效數(shù)據(jù)之間的也存在矛盾，攝像頭不停歇的工作，如實記錄鏡頭覆蓋范圍發(fā)生的一切，但對于客戶來講大部分信息是無效，有效信息可能只分布在一個較短的時間段內(nèi)，大量的數(shù)據(jù)存儲給數(shù)據(jù)庫帶來不小的壓力，而無效的數(shù)據(jù)更是對于資源的浪費。

近日，美國市場研究公司IDC發(fā)布報告稱，大數(shù)據(jù)技術(shù)和服務(wù)的不斷升級，拉動全球存儲市場將在2011至2016年間實現(xiàn)53%的復(fù)合年增長率。在可預(yù)見的未來，多數(shù)組織產(chǎn)生、處理、存儲的數(shù)據(jù)都將繼續(xù)保持快速增長。“在可預(yù)見的未來，存儲是大數(shù)據(jù)和分析領(lǐng)域最大的基礎(chǔ)設(shè)施開支之一。”IDC存儲系統(tǒng)研究總監(jiān)阿西什·納卡尼說，“大數(shù)據(jù)和分析領(lǐng)域所產(chǎn)生的存儲開支將從2011年的3.799億美元，激增至2016年的60億美元?！?/span>

在受訪企業(yè)中，有68.6%在選擇存儲架構(gòu)時主要看重性能，有59.5%更加看重成本。接近31%的受訪企業(yè)表示，雖然尚未針對數(shù)據(jù)分析基礎(chǔ)架構(gòu)部署企業(yè)存儲系統(tǒng)，但準備在今后6個月內(nèi)部署。

在實際應(yīng)用方面，63.7%的受訪企業(yè)主要借此分析運營數(shù)據(jù)，還有53.3%主要分析交易數(shù)據(jù)。IT是數(shù)據(jù)分析基礎(chǔ)架構(gòu)的最大影響因素，遠高于排名第二的運營。有超過61%的受訪企業(yè)，將提升客戶滿意度作為數(shù)據(jù)分析方案所應(yīng)解決的最大商業(yè)挑戰(zhàn)。

大數(shù)據(jù)存儲容易出現(xiàn)問題

在大數(shù)據(jù)時代來臨之際，我們面臨的挑戰(zhàn)還有存儲問題。大數(shù)據(jù)中的大容量通?？蛇_到PB級的數(shù)據(jù)規(guī)模，那么對于海量數(shù)據(jù)存儲系統(tǒng)擴展能力的要求也會很高。以國內(nèi)某省為例，公共視頻監(jiān)控已經(jīng)超過100多萬個攝像頭，總保有量近400萬，以此估計，全國攝像頭數(shù)量不少于4000萬，某投行的報告稱行業(yè)每年還在以20%加速增長，行業(yè)龍頭?？低?2年的年報披露的銷售量就達570萬套（含前后端），增長37%。而另一個數(shù)據(jù)也很驚人，英國的攝像頭數(shù)量與人口數(shù)量之比已經(jīng)達到1：15。

粗略計世界至少有1億個攝像頭在角落靜靜的看著，這樣的視頻監(jiān)控將是數(shù)據(jù)的大生成器。從攝像前端的海量數(shù)據(jù)和到有效數(shù)據(jù)之間的也存在矛盾，攝像頭不停歇的工作，如實記錄鏡頭覆蓋范圍發(fā)生的一切，但對于客戶來講大部分信息是無效，有效信息可能只分布在一個較短的時間段內(nèi)，大量的數(shù)據(jù)存儲給數(shù)據(jù)庫帶來不小的壓力，而無效的數(shù)據(jù)更是對于資源的浪費。

與此同時，存儲系統(tǒng)的擴展一定要簡便，盡量能通過增加模塊或磁盤柜來增加容量，甚至不需要停機?；谶@樣的需求，客戶現(xiàn)在越來越青睞Scale-out架構(gòu)的存儲。Scale-out集群結(jié)構(gòu)的特點是每個節(jié)點除了具有一定的存儲容量之外，內(nèi)部還具備數(shù)據(jù)處理能力以及互聯(lián)設(shè)備，與傳統(tǒng)存儲系統(tǒng)的煙囪式架構(gòu)完全不同，Scale-out架構(gòu)可以實現(xiàn)無縫平滑的擴展，避免存儲孤島。