大數(shù)據(jù)基礎架構(gòu)發(fā)展需考慮的重要因素

隨著IT行業(yè)持續(xù)地灌輸廉價存儲的優(yōu)勢，企業(yè)較以往擁有者更多的數(shù)據(jù)，那么在評估大數(shù)據(jù)基礎架構(gòu)的過程中需要深入地調(diào)查哪些因素。本篇涉及到了在容量、延遲、訪問性、安全性和成本這些重要因素的評估。
   大數(shù)據(jù)發(fā)展的驅(qū)動因素
    除了存儲比以往更多的數(shù)據(jù)，我們所面臨的數(shù)據(jù)種類也變得更加繁雜。這些數(shù)據(jù)源包括互聯(lián)網(wǎng)事務交易、社交網(wǎng)絡的活動、自動化傳感器、移動設備以及科研儀器等。除了靜態(tài)的數(shù)據(jù)增長方面，事務交易也會保持一個固定的數(shù)據(jù)“增長速度”。例如飛速增長的社交信息所產(chǎn)生的大量交易事務和記錄。不過現(xiàn)有的不斷擴大數(shù)據(jù)集無法確保能夠為業(yè)務搜索出有價值的信息。
   當今的信息是一項重要的生產(chǎn)因素
    數(shù)據(jù)業(yè)已成為了一種生產(chǎn)資料，就如何資本、勞動力和原始材料那樣，而且也不限于某一行業(yè)內(nèi)的特定應用。企業(yè)中所有部門都旨在整合比較越來越多的數(shù)據(jù)集合，致力于降低成本、提升品質(zhì)、增強生產(chǎn)能力以及開發(fā)新產(chǎn)品。舉例來說，對于現(xiàn)場產(chǎn)品的直接數(shù)據(jù)分析有助于提升設計。又例如企業(yè)可以通過對用戶習慣的深入分析，比較整體市場的增長特性，大幅提升自己在競爭分析方面的能力。
   存儲發(fā)展的必要性
   大數(shù)據(jù)意味著數(shù)據(jù)的增長超過了其本身的基礎架構(gòu)，這驅(qū)動著應對這些特殊挑戰(zhàn)的存儲、網(wǎng)絡和計算系統(tǒng)進一步的發(fā)展。軟件應用需求最終推動了硬件功能的發(fā)展，同時在這種情況下，大數(shù)據(jù)分析的處理過程正在影響著數(shù)據(jù)存儲基礎架構(gòu)的發(fā)展。這對于存儲和IT基礎架構(gòu)企業(yè)而言是一項機遇。隨著結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)集的持續(xù)增長，這類數(shù)據(jù)的分析方式也更為多樣化，當前的存儲系統(tǒng)設計難以應對大數(shù)據(jù)基礎架構(gòu)所需。存儲供應商已經(jīng)開始推出基于數(shù)據(jù)塊和基于文件的系統(tǒng)來應對許多這方面的需求。以下列出了一些大數(shù)據(jù)存儲基礎架構(gòu)的特性，這些都是源自大數(shù)據(jù)的挑戰(zhàn)。
    容量。“大”在很多時候可以理解為PB級別的數(shù)據(jù)，因此大數(shù)據(jù)基礎架構(gòu)當然要能夠可以擴展。不過其同樣必須能夠簡易地完成擴展，以模塊化或陣列的方式為用戶直接增加容量，或者至少保持系統(tǒng)不會宕機。橫向擴展式存儲由于能夠滿足這種需求，變得十分流行。橫向擴展集群體系架構(gòu)的特征是由存儲節(jié)點構(gòu)成，每個節(jié)點具備處理能力和可連接性，可以無縫地擴展，避免傳統(tǒng)系統(tǒng)可能產(chǎn)生的煙囪式存儲的問題。
   大數(shù)據(jù)還意味著大量的文件。管理元數(shù)據(jù)文件系統(tǒng)的累計會降低可擴展性并影響性能，用傳統(tǒng)的NAS系統(tǒng)就會在這種情況下出現(xiàn)問題。基于對象的存儲體系架構(gòu)則通過另一種方式，支持在大數(shù)據(jù)存儲系統(tǒng)中擴展至十億級別的文件數(shù)量，而不會產(chǎn)生傳統(tǒng)文件系統(tǒng)中會遇到的負載問題?；趯ο蟮拇鎯梢栽诓煌牡乩砦恢眠M行擴展，可以在多個不同地點擴展出大型的基礎架構(gòu)。
    延遲。大數(shù)據(jù)基礎架構(gòu)中或許同樣會包含實時性的組件，尤其是在網(wǎng)頁交互或金融處理事務中。存儲系統(tǒng)必須能夠應對上述問題同時保持相應的性能，因為延遲可能產(chǎn)生過期數(shù)據(jù)。在這一領域，橫向擴展式基礎架構(gòu)同樣能夠通過應用存儲節(jié)點集群，隨著容量擴展的同時增強處理能力和可連接性。基于對象的存儲系統(tǒng)可能并發(fā)數(shù)據(jù)流，更大程度上改善吞吐量。