改變數(shù)據(jù)中心面貌的5大數(shù)據(jù)挑戰(zhàn)

新的數(shù)據(jù)中心架構(gòu)提出了新的數(shù)據(jù)挑戰(zhàn)：數(shù)據(jù)采集將如何驅(qū)動(dòng)從邊緣到核心的數(shù)據(jù)中心架構(gòu)的發(fā)展。

數(shù)據(jù)顯然不再是以往的樣子。作為數(shù)字化轉(zhuǎn)型的一部分，各種組織正在尋找數(shù)據(jù)的新用途。從飛機(jī)引擎的數(shù)據(jù)到雜貨店的消費(fèi)數(shù)據(jù)，每個(gè)行業(yè)都有大量的例子，數(shù)據(jù)成為企業(yè)競爭優(yōu)勢的關(guān)鍵所在。人們將這些數(shù)據(jù)稱之為新數(shù)據(jù)，這與人們最熟悉的財(cái)務(wù)和ERP數(shù)據(jù)截然不同。那些原有的數(shù)據(jù)大部分是交易性的，而且是從內(nèi)部資源中捕獲的，而新數(shù)據(jù)推動(dòng)了客戶機(jī)/服務(wù)器的革命。

新的數(shù)據(jù)既是交易型的，也是非結(jié)構(gòu)化的，公開可用，以及私下收集的，其價(jià)值來源于對其進(jìn)行匯總和分析的能力。粗略地說，人們可以將這些新數(shù)據(jù)分為兩類：大數(shù)據(jù)——用于批量分析的大量聚合數(shù)據(jù)集，快速數(shù)據(jù)——從許多來源收集的用于推動(dòng)立即決策的數(shù)據(jù)。大數(shù)據(jù)和快速數(shù)據(jù)模式正在推動(dòng)數(shù)據(jù)中心的全新架構(gòu)的發(fā)展。

以下介紹數(shù)據(jù)中心新架構(gòu)所提出的五個(gè)主要的數(shù)據(jù)挑戰(zhàn)：

(1) 數(shù)據(jù)捕獲正在推動(dòng)數(shù)據(jù)中心架構(gòu)從邊緣到核心的發(fā)展：

從源頭獲取新的數(shù)據(jù)。這些數(shù)據(jù)來自海洋，來自石油和天然氣勘探，也可能來自于衛(wèi)星軌道、天氣應(yīng)用、電話、圖片、視頻和推特或電影的場景中。從源頭收集的數(shù)據(jù)量將比人們目前所知道的高出幾個(gè)數(shù)量級。

(2) 數(shù)據(jù)規(guī)模正在推動(dòng)數(shù)據(jù)中心的自動(dòng)化發(fā)展：

大型云提供商的規(guī)模已經(jīng)十分龐大，他們必須在自動(dòng)化和智能化方面投入大量資金來管理基礎(chǔ)設(shè)施。任何人工管理在其運(yùn)營規(guī)模上成本高昂。

(3) 移動(dòng)數(shù)據(jù)正在改變?nèi)蚓W(wǎng)絡(luò)：

如果數(shù)據(jù)無處不在，那么必須移動(dòng)數(shù)據(jù)才能進(jìn)行匯總和分析。當(dāng)人們認(rèn)為并且希望網(wǎng)絡(luò)在40到100 Gbps的速度可以滿足互聯(lián)網(wǎng)帶寬要求時(shí)，數(shù)據(jù)移動(dòng)的需求卻可能會增加100倍到1000倍。

(4) 數(shù)據(jù)價(jià)值是革命性存儲：

毫無疑問，數(shù)據(jù)對組織來說越來越有價(jià)值，數(shù)據(jù)在較長時(shí)間內(nèi)的實(shí)用性隨著機(jī)器學(xué)習(xí)和基于人工智能(AI)的分析而日益增長。這意味著更多的數(shù)據(jù)需要存儲更長的時(shí)間，并且數(shù)據(jù)必須是可以整體處理的，以便有效分析。

(5) 數(shù)據(jù)分析是未來計(jì)算密集型體系結(jié)構(gòu)的驅(qū)動(dòng)因素：

通過分析的性質(zhì)，特別是機(jī)器學(xué)習(xí)，組織必須保留更多的數(shù)據(jù)，以便將其聚合到大數(shù)據(jù)存儲庫中。當(dāng)應(yīng)用于多個(gè)更大的數(shù)據(jù)源時(shí)，這些類型的分析提供了更好的答案。而分析和機(jī)器學(xué)習(xí)是一種計(jì)算密集型操作，因此大數(shù)據(jù)集上的分析驅(qū)動(dòng)大量的高速處理。與此同時(shí)，分析的計(jì)算密集性促使組織推出從內(nèi)存數(shù)據(jù)庫到100 PB級別的對象存儲多種新方式來存儲和訪問數(shù)據(jù)。

新的數(shù)據(jù)在源頭被采集。從源頭收集的數(shù)據(jù)量將比人們目前所熟悉的高出幾個(gè)數(shù)量級。例如，一輛自動(dòng)駕駛汽車每天將產(chǎn)生高達(dá)4TB的數(shù)據(jù)。而全球的汽車數(shù)量數(shù)以億計(jì)，人們在未來必須應(yīng)對這種新的數(shù)據(jù)沖擊。

很明顯，人們不能從源頭采集所有的數(shù)據(jù)，并嘗試通過當(dāng)今的網(wǎng)絡(luò)將其傳輸?shù)郊械奈恢眠M(jìn)行處理和存儲。這推動(dòng)了數(shù)據(jù)中心全新模式的發(fā)展，不同的環(huán)境以不同類型的數(shù)據(jù)為特征，這種新的“邊緣計(jì)算”環(huán)境被優(yōu)化，以便在傳輸?shù)揭粋€(gè)獨(dú)立的核心數(shù)據(jù)中心環(huán)境之前，對大量數(shù)據(jù)進(jìn)行捕獲、存儲，以及部分分析。

新的邊緣計(jì)算環(huán)境將推動(dòng)計(jì)算基礎(chǔ)架構(gòu)各個(gè)方面的根本性變革：從CPU到GPU甚至MPU(微處理單元)，從低功耗的小型閃存存儲到物聯(lián)網(wǎng)(IoT)網(wǎng)絡(luò)和協(xié)議，不需要寶貴的IP地址。

以下來看不同的數(shù)據(jù)采集例子。在生物信息學(xué)領(lǐng)域，數(shù)據(jù)在源頭上得到爆炸式增長。在X光檢查乳腺癌的情況下，拍攝這些圖像的系統(tǒng)正在從二維圖像轉(zhuǎn)變成三維圖像。二維圖像需要大約20MB的容量來存儲，而三維圖像則需要多達(dá)3GB的存儲容量，這意味著存儲這些圖像所需的容量增加了150倍。不幸的是，大多數(shù)存儲二維圖像的數(shù)字存儲系統(tǒng)根本無法經(jīng)濟(jì)有效地存儲三維圖像。以往的存儲系統(tǒng)被大數(shù)據(jù)庫取代才能使數(shù)據(jù)蓬勃發(fā)展。

另外，組織希望對這些圖像執(zhí)行的處理類型是基于機(jī)器學(xué)習(xí)的，并且比以前任何類型的圖像處理計(jì)算強(qiáng)大得多。最重要的是，為了進(jìn)行機(jī)器學(xué)習(xí)，研究人員必須匯集大量的圖像進(jìn)行處理才能有效。處理這些圖像意味著要跨組織來移動(dòng)或共享圖像，這些圖像需要從源頭獲取數(shù)據(jù)，保存在可訪問的表單中(不是磁帶上)，聚合成大型圖像庫，然后用于大規(guī)模的機(jī)器學(xué)習(xí)分析。

圖像可能以原始形式存儲，但元數(shù)據(jù)通常在源頭添加。另外，可以在源頭完成一些處理以實(shí)現(xiàn)“信噪比”的最大化?？梢灾С诌@些圖像的最終架構(gòu)的特點(diǎn)是：(1)在源頭存儲數(shù)據(jù)。(2)將數(shù)據(jù)復(fù)制到共享存儲庫(通常在公共云中)。(3)從共享的存儲庫處理資源以分析和處理數(shù)據(jù)。(4)采用網(wǎng)絡(luò)連接以便結(jié)果可以返回給研究人員。這個(gè)新的工作流程正在推動(dòng)包含多個(gè)存儲位置的數(shù)據(jù)架構(gòu)發(fā)展，并根據(jù)需要移動(dòng)數(shù)據(jù)并在多個(gè)位置進(jìn)行處理。

對于制造行業(yè)的物聯(lián)網(wǎng)用例，這種數(shù)據(jù)架構(gòu)的變化更加劇烈。例如，在西部數(shù)據(jù)公司，人們從全球各地的機(jī)器收集數(shù)據(jù)。這些數(shù)據(jù)被發(fā)送到一個(gè)存儲在三個(gè)位置的中央大數(shù)據(jù)存儲庫，一部分?jǐn)?shù)據(jù)被推送到亞馬遜的Apache Hadoop數(shù)據(jù)庫中進(jìn)行快速數(shù)據(jù)分析處理。其結(jié)果可供全公司的工程師進(jìn)行可視化和后處理。對源數(shù)據(jù)進(jìn)行處理，以提高該數(shù)據(jù)的信噪比，并對數(shù)據(jù)進(jìn)行歸一化。對數(shù)據(jù)執(zhí)行額外的處理，因?yàn)樗谶壿嬌霞械奈恢檬占趯ο蟠鎯熘小?

由于這些數(shù)據(jù)必須長期受到保護(hù)，因此需要進(jìn)行擦除編碼，并分布在三個(gè)不同的地點(diǎn)。最后，數(shù)據(jù)一旦進(jìn)入亞馬遜平臺，將再次使用分析處理。而支持制造用例的體系結(jié)構(gòu)是一種邊緣到核心的體系結(jié)構(gòu)，在許多位置都可以進(jìn)行大數(shù)據(jù)和快速數(shù)據(jù)處理，而且這些組件是專門為此過程的每個(gè)步驟所需的處理類型而構(gòu)建的。

由于集中式數(shù)據(jù)的概念不再適用，這些用例需要一種新的數(shù)據(jù)架構(gòu)方法。人們需要有一個(gè)邏輯上集中的數(shù)據(jù)視圖，同時(shí)可以在任何工作流程的多個(gè)步驟中靈活地處理數(shù)據(jù)。數(shù)據(jù)量將會非常大，盲目地將全部的數(shù)據(jù)推送到一個(gè)中央存儲庫將會帶來成本和時(shí)間方面更多的限制。智能體系結(jié)構(gòu)需要開發(fā)人員了解如何在考慮到數(shù)據(jù)規(guī)模、傳輸成本以及處理要求的權(quán)衡的情況下逐步處理數(shù)據(jù)。

數(shù)據(jù)需要存儲在適合其預(yù)期用途的環(huán)境中。人們稱之為“數(shù)據(jù)蓬勃發(fā)展的環(huán)境”。大數(shù)據(jù)集需要共享，不僅用于協(xié)同處理，還要匯總用于機(jī)器學(xué)習(xí)，還要在云端之間進(jìn)行分離，以便進(jìn)行計(jì)算和分析。以數(shù)據(jù)中心為中心的架構(gòu)解決大數(shù)據(jù)存儲問題并不是一個(gè)好方法。為了從未來的大數(shù)據(jù)集獲得最大的價(jià)值，需要采用一種邊緣到核心的架構(gòu)，并與混合云體系結(jié)構(gòu)相結(jié)合。