大數(shù)據(jù)時(shí)代下的三種存儲(chǔ)架構(gòu)_數(shù)據(jù)分析師

大數(shù)據(jù)時(shí)代，移動(dòng)互聯(lián)、社交網(wǎng)絡(luò)、數(shù)據(jù)分析、云服務(wù)等應(yīng)用的迅速普及，對(duì)數(shù)據(jù)中心提出革命性的需求，存儲(chǔ)基礎(chǔ)架構(gòu)已經(jīng)成為IT核心之一。政府、軍隊(duì)軍工、科研院所、航空航天、大型商業(yè)連鎖、醫(yī)療、金融、新媒體、廣電等各個(gè)領(lǐng)域新興應(yīng)用層出不窮。數(shù)據(jù)的價(jià)值日益凸顯，數(shù)據(jù)已經(jīng)成為不可或缺的資產(chǎn)。作為數(shù)據(jù)載體和驅(qū)動(dòng)力量，存儲(chǔ)系統(tǒng)成為大數(shù)據(jù)基礎(chǔ)架構(gòu)中最為關(guān)鍵的核心。

　　傳統(tǒng)的數(shù)據(jù)中心無(wú)論是在性能、效率，還是在投資收益、安全，已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足新興應(yīng)用的需求，數(shù)據(jù)中心業(yè)務(wù)急需新型大數(shù)據(jù)處理中心來(lái)支撐。除了傳統(tǒng)的高可靠、高冗余、綠色節(jié)能之外，新型的大數(shù)據(jù)中心還需具備虛擬化、模塊化、彈性擴(kuò)展、自動(dòng)化等一系列特征，才能滿足具備大數(shù)據(jù)特征的應(yīng)用需求。這些史無(wú)前例的需求，讓存儲(chǔ)系統(tǒng)的架構(gòu)和功能都發(fā)生了前所未有的變化。

　　基于大數(shù)據(jù)應(yīng)用需求，“應(yīng)用定義存儲(chǔ)”概念被提出。存儲(chǔ)系統(tǒng)作為數(shù)據(jù)中心最核心的數(shù)據(jù)基礎(chǔ)，不再僅是傳統(tǒng)分散的、單一的底層設(shè)備。除了要具備高性能、高安全、高可靠等特征之外，還要有虛擬化、并行分布、自動(dòng)分層、彈性擴(kuò)展、異構(gòu)資源整合、全局緩存加速等多方面的特點(diǎn)，才能滿足具備大數(shù)據(jù)特征的業(yè)務(wù)應(yīng)用需求。

　　尤其在云安防概念被熱炒的時(shí)代，隨著高清技術(shù)的普及，720P、1080P隨處可見(jiàn)，智能和高清的雙向需求、動(dòng)輒500W、800W甚至上千萬(wàn)更高分辨率的攝像機(jī)面市，大數(shù)據(jù)對(duì)存儲(chǔ)設(shè)備的容量、讀寫性能、可靠性、擴(kuò)展性等都提出了更高的要求，需要充分考慮功能集成度、數(shù)據(jù)安全性、數(shù)據(jù)穩(wěn)定性，系統(tǒng)可擴(kuò)展性、性能及成本各方面因素。

　　目前市場(chǎng)上的存儲(chǔ)架構(gòu)如下：

　　（1）基于嵌入式架構(gòu)的存儲(chǔ)系統(tǒng)

　　節(jié)點(diǎn)NVR架構(gòu)主要面向小型高清監(jiān)控系統(tǒng)，高清前端數(shù)量一般在幾十路以內(nèi)。系統(tǒng)建設(shè)中沒(méi)有大型的存儲(chǔ)監(jiān)控中心機(jī)房，存儲(chǔ)容量相對(duì)較小，用戶體驗(yàn)度、系統(tǒng)功能集成度要求較高。在市場(chǎng)應(yīng)用層面，超市、店鋪、小型企業(yè)、政法行業(yè)中基本管理單元等應(yīng)用較為廣泛。

　　（2）基于X86架構(gòu)的存儲(chǔ)系統(tǒng)

　　平臺(tái)SAN架構(gòu)主要面向中大型高清監(jiān)控系統(tǒng)，前端路數(shù)成百上千甚至上萬(wàn)。一般多采用IPSAN或FCSAN搭建高清視頻存儲(chǔ)系統(tǒng)。作為監(jiān)控平臺(tái)的重要組成部分，前端監(jiān)控?cái)?shù)據(jù)通過(guò)錄像存儲(chǔ)管理模塊存儲(chǔ)到SAN中。

　　此種架構(gòu)接入高清前端路數(shù)相對(duì)節(jié)點(diǎn)NVR有了較高提升，具備快捷便利的可擴(kuò)展性，技術(shù)成熟。對(duì)于IPSAN而言，雖然在ISCSI環(huán)節(jié)數(shù)據(jù)并發(fā)讀寫傳輸速率有所消耗，但其憑借擴(kuò)展性良好、硬件平臺(tái)通用、海量數(shù)據(jù)可充分共享等優(yōu)點(diǎn)，仍然得到很多客戶的青睞。FCSAN在行業(yè)用戶、封閉存儲(chǔ)系統(tǒng)中應(yīng)用較多，比如縣級(jí)或地級(jí)市高清監(jiān)控項(xiàng)目，大數(shù)據(jù)量的并發(fā)讀寫對(duì)千兆網(wǎng)絡(luò)交換提出了較大的挑戰(zhàn)，但應(yīng)用FCSAN構(gòu)建相對(duì)獨(dú)立的存儲(chǔ)子系統(tǒng)，可以有效解決上述問(wèn)題。

　　面對(duì)視頻監(jiān)控系統(tǒng)大文件、隨機(jī)讀寫的特點(diǎn)，平臺(tái)SAN架構(gòu)系統(tǒng)不同存儲(chǔ)單元之間的數(shù)據(jù)共享冗余方面還有待提高;從高性能服務(wù)器轉(zhuǎn)發(fā)視頻數(shù)據(jù)到存儲(chǔ)空間的策略，從系統(tǒng)架構(gòu)而言也增加了隱患故障點(diǎn)、ISCSI帶寬瓶頸導(dǎo)致無(wú)法充分利用硬件數(shù)據(jù)并發(fā)性能、接入前端數(shù)據(jù)較少。上述問(wèn)題催生了平臺(tái)NVR架構(gòu)解決方案。

　　該方案在系統(tǒng)架構(gòu)上省去了存儲(chǔ)服務(wù)器，消除了上文提到的性能瓶頸和單點(diǎn)故障隱患。大幅度提高存儲(chǔ)系統(tǒng)的寫入和檢索速度;同時(shí)也徹底消除了傳統(tǒng)文件系統(tǒng)由于供電和網(wǎng)絡(luò)的不穩(wěn)定帶來(lái)的文件系統(tǒng)損壞等問(wèn)題。

　　平臺(tái)NVR中存儲(chǔ)的數(shù)據(jù)可同時(shí)供多個(gè)客戶端隨時(shí)查詢，點(diǎn)播，當(dāng)用戶需要查看多個(gè)已保存的視頻監(jiān)控?cái)?shù)據(jù)時(shí)，可通過(guò)授權(quán)的視頻監(jiān)控客戶端直接查詢并點(diǎn)播相應(yīng)位置的視頻監(jiān)控?cái)?shù)據(jù)進(jìn)行歷史圖像的查看。由于數(shù)據(jù)管理服務(wù)器具有監(jiān)控系統(tǒng)所有監(jiān)控點(diǎn)的錄像文件的索引，因此通過(guò)平臺(tái)CMS授權(quán)，視頻監(jiān)控客戶端可以查詢并點(diǎn)播整個(gè)監(jiān)控系統(tǒng)上所有監(jiān)控點(diǎn)的數(shù)據(jù)，這個(gè)過(guò)程對(duì)用戶而言也是透明的。