企業(yè)必須考慮的關(guān)于大數(shù)據(jù)架構(gòu)的6大問題

大數(shù)據(jù)在業(yè)務(wù)價(jià)值方面承諾了很多，但企業(yè)可能難以確定如何部署需要利用的架構(gòu)和工具。從描述性統(tǒng)計(jì)，到預(yù)測(cè)建模，到人工智能的一切都是由大數(shù)據(jù)提供支持。而組織希望通過大數(shù)據(jù)來實(shí)現(xiàn)這一目標(biāo)，并將決定其需要推出的工具。

在5月8日召開的2017年戴爾EMC世界會(huì)議上，戴爾EMC數(shù)據(jù)分析的主要系統(tǒng)工程師Cory Minton發(fā)表了演示文稿，解釋了組織在部署大數(shù)據(jù)時(shí)必須做出的最大決定。在做出決定開始之前，每個(gè)企業(yè)都要問這六個(gè)問題：

1.購買與構(gòu)建?

要問的第一個(gè)問題是組織是否要購買大型數(shù)據(jù)系統(tǒng)或從頭開始構(gòu)建。Teradata，SAS，SAP和Splunk的熱門產(chǎn)品可以買到并簡單實(shí)現(xiàn)，而Hortonworks，Cloudera，Databricks，Apache Flink可用于構(gòu)建大型數(shù)據(jù)系統(tǒng)。

Minton表示，購買提供更短的時(shí)間，以及商品使用的簡單性和良好的價(jià)值。然而，這種簡單性通常會(huì)帶來更高的成本，而這些工具通常在低多樣性數(shù)據(jù)方面效果最佳。如果組織與供應(yīng)商存在現(xiàn)有的關(guān)系，則可以更容易地分析新產(chǎn)品并嘗試使用大型數(shù)據(jù)工具。

許多用于構(gòu)建大數(shù)據(jù)系統(tǒng)的流行工具價(jià)格低廉或可以免費(fèi)使用，并且它們可以更容易地利用獨(dú)特的價(jià)值流。其建設(shè)路徑為大規(guī)模和多樣化提供了機(jī)會(huì)，但這些工具可能非常復(fù)雜?；ゲ僮餍酝枪芾韱T面臨的最大問題之一。

2.批量與流數(shù)據(jù)?

Minton說，由Oracle，Hadoop MapReduce和Apache Spark等產(chǎn)品提供的批量數(shù)據(jù)是描述性的，可以處理大量的數(shù)據(jù)。他們也可以安排，并經(jīng)常被用來建立一個(gè)數(shù)據(jù)科學(xué)家進(jìn)行實(shí)驗(yàn)的產(chǎn)品平臺(tái)。

像Apache Kafka，Splunk和Flink這樣的產(chǎn)品可以提供能夠捕獲的流數(shù)據(jù)功能，以創(chuàng)建潛在的預(yù)測(cè)模型。Minton表示，使用流式傳輸數(shù)據(jù)，其速度勝過數(shù)據(jù)保真度，但也提供了巨大的規(guī)模和多樣性。這對(duì)于認(rèn)同DevOps文化的組織更為有用。

3.Kappa vs. lambda架構(gòu)?

Twitter是lambda架構(gòu)的一個(gè)例子。其數(shù)據(jù)被分為兩個(gè)路徑，其中一個(gè)路徑被饋送到速度層進(jìn)行快速分析，而另一個(gè)路徑導(dǎo)致批處理和服務(wù)層。Minton表示，這種模式使組織能夠訪問批量和流媒體的見解，并平衡有損流。他說，這里的挑戰(zhàn)是人們必須管理兩個(gè)代碼和應(yīng)用程序基礎(chǔ)。

Kappa架構(gòu)將所有內(nèi)容都視為流，但它是一個(gè)旨在實(shí)時(shí)保持?jǐn)?shù)據(jù)保真度和流程的實(shí)時(shí)處理。所有數(shù)據(jù)都將寫入不可變?nèi)罩荆詸z查更改。其硬件高效，代碼較少，這是Minton推薦給開始實(shí)施大數(shù)據(jù)的組織的一種模式。

4.公共云vs私有云?

大數(shù)據(jù)的公共和私有云需要許多相同的考慮。對(duì)于初學(xué)者來說，一個(gè)組織必須考慮到最適合他們的人才工作的環(huán)境。另外，還應(yīng)該考慮數(shù)據(jù)來源，安全性和合規(guī)性需求，以及彈性消費(fèi)模型。

5.虛擬化與物理性?

幾年前，虛擬化基礎(chǔ)設(shè)備與物理基礎(chǔ)設(shè)施的爭論更加激烈，Minton說。然而，虛擬化已經(jīng)發(fā)展到可與物理硬件進(jìn)行競爭，在大數(shù)據(jù)部署方面也變得類似。它歸結(jié)為組織的管理員更舒適，適用于其現(xiàn)有的基礎(chǔ)設(shè)施。

6.DAS vs. NAS?

Minton說，直接連接存儲(chǔ)(DAS)以前是部署Hadoop集群的唯一方式。然而，現(xiàn)在IP網(wǎng)絡(luò)增加了帶寬，網(wǎng)絡(luò)連接存儲(chǔ)(NAS)選項(xiàng)對(duì)于大數(shù)據(jù)更為可行。

使用DAS很容易上手，而且該模型與軟件定義的概念一致。它是為了處理性能和存儲(chǔ)方面的線性增長而開發(fā)的，并且它與流式傳輸數(shù)據(jù)相當(dāng)。

網(wǎng)絡(luò)連接存儲(chǔ)(NAS)可以很好地處理多協(xié)議需求，提供大規(guī)模的效率，并且還可以滿足安全性和合規(guī)性需求。