大數(shù)據(jù)解決方案的原子模式和復(fù)合模式

如何將大數(shù)據(jù)分為不同的類別

大數(shù)據(jù)問題的分析和解決通常很復(fù)雜。大數(shù)據(jù)的量、速度和種類使得提取信息和獲得業(yè)務(wù)洞察變得很困難。以下操作是一個(gè)良好的開端：依據(jù)必須處理的數(shù)據(jù)的格式、要應(yīng)用的分析類型、使用的處理技術(shù)，以及目標(biāo)系統(tǒng)需要獲取、加載、處理、分析和存儲數(shù)據(jù)的數(shù)據(jù)源，對大數(shù)據(jù)問題進(jìn)行分類。

概述

大數(shù)據(jù)可通過許多方式來存儲、獲取、處理和分析。每個(gè)大數(shù)據(jù)來源都有不同的特征，包括數(shù)據(jù)的頻率、量、速度、類型和真實(shí)性。處理并存儲大數(shù)據(jù)時(shí)，會(huì)涉及到更多維度，比如治理、安全性和策略。選擇一種架構(gòu)并構(gòu)建合適的大數(shù)據(jù)解決方案極具挑戰(zhàn)，因?yàn)樾枰紤]非常多的因素。

這個(gè) “大數(shù)據(jù)架構(gòu)和模式” 系列提供了一種結(jié)構(gòu)化和基于模式的方法來簡化定義完整的大數(shù)據(jù)架構(gòu)的任務(wù)。因?yàn)樵u估一個(gè)業(yè)務(wù)場景是否存在大數(shù)據(jù)問題很重要，所以我們包含了一些線索來幫助確定哪些業(yè)務(wù)問題適合采用大數(shù)據(jù)解決方案。

從分類大數(shù)據(jù)到選擇大數(shù)據(jù)解決方案

如果您花時(shí)間研究過大數(shù)據(jù)解決方案，那么您一定知道它不是一個(gè)簡單的任務(wù)。本系列將介紹查找滿足您需求的大數(shù)據(jù)解決方案所涉及的主要步驟。

我們首先介紹術(shù)語 “大數(shù)據(jù)” 所描述的數(shù)據(jù)類型。為了簡化各種大數(shù)據(jù)類型的復(fù)雜性，我們依據(jù)各種參數(shù)對大數(shù)據(jù)進(jìn)行了分類，為任何大數(shù)據(jù)解決方案中涉及的各層和高級組件提供一個(gè)邏輯架構(gòu)。接下來，我們通過定義原子和復(fù)合分類模式，提出一種結(jié)構(gòu)來分類大數(shù)據(jù)業(yè)務(wù)問題。這些模式有助于確定要應(yīng)用的合適的解決方案模式。我們提供了來自各行各業(yè)的示例業(yè)務(wù)問題。最后，對于每個(gè)組件和模式，我們給出了提供了相關(guān)功能的產(chǎn)品。

第 1 部分將介紹如何對大數(shù)據(jù)進(jìn)行分類。本系列的后續(xù)文章將介紹以下主題：
?  定義大數(shù)據(jù)解決方案的各層和組件的邏輯架構(gòu)
?  理解大數(shù)據(jù)解決方案的原子模式
?  理解用于大數(shù)據(jù)解決方案的復(fù)合（或混合）模式
?  為大數(shù)據(jù)解決方案選擇一種解決方案模式
?  確定使用一個(gè)大數(shù)據(jù)解決方案解決一個(gè)業(yè)務(wù)問題的可行性
?  選擇正確的產(chǎn)品來實(shí)現(xiàn)大數(shù)據(jù)解決方案

依據(jù)大數(shù)據(jù)類型對業(yè)務(wù)問題進(jìn)行分類

業(yè)務(wù)問題可分類為不同的大數(shù)據(jù)問題類型。以后，我們將使用此類型確定合適的分類模式(原子或復(fù)合)和合適的大數(shù)據(jù)解決方案。但第一步是將業(yè)務(wù)問題映射到它的大數(shù)據(jù)類型。下表列出了常見的業(yè)務(wù)問題并為每個(gè)問題分配了一種大數(shù)據(jù)類型。

按類型對大數(shù)據(jù)問題分類，更容易看到每種數(shù)據(jù)的特征。這些特征可幫助我們了解如何獲取數(shù)據(jù)，如何將它處理為合適的格式，以及新數(shù)據(jù)出現(xiàn)的頻率。來自不同來源的數(shù)據(jù)具有不同的特征;例如，社交媒體數(shù)據(jù)包含不斷傳入的視頻、圖像和非結(jié)構(gòu)化文本(比如博客文章)。

表 1. 不同類型的大數(shù)據(jù)業(yè)務(wù)問題

我們依據(jù)這些常見特征來評估數(shù)據(jù)，下一節(jié)將詳細(xì)介紹這些特征：
?  內(nèi)容的格式
?  數(shù)據(jù)的類型（例如，交易數(shù)據(jù)、歷史數(shù)據(jù)或主數(shù)據(jù)）
?  將提供該數(shù)據(jù)的頻率
?  意圖：數(shù)據(jù)需要如何處理（例如對數(shù)據(jù)的臨時(shí)查詢）
?  處理是否必須實(shí)時(shí)、近實(shí)時(shí)還是按批次執(zhí)行。

使用大數(shù)據(jù)類型對大數(shù)據(jù)特征進(jìn)行分類

按特定方向分析大數(shù)據(jù)的特征會(huì)有所幫助，例如以下特征：數(shù)據(jù)如何收集、分析和處理。對數(shù)據(jù)進(jìn)行分類后，就可以將它與合適的大數(shù)據(jù)模式匹配：

1、分析類型 — 對數(shù)據(jù)執(zhí)行實(shí)時(shí)分析還是批量分析。請仔細(xì)考慮分析類型的選擇，因?yàn)檫@會(huì)影響一些有關(guān)產(chǎn)品、工具、硬件、數(shù)據(jù)源和預(yù)期的數(shù)據(jù)頻率的其他決策。一些用例可能需要混合使用兩種類型：

2、欺詐檢測;分析必須實(shí)時(shí)或近實(shí)時(shí)地完成。

3、針對戰(zhàn)略性業(yè)務(wù)決策的趨勢分析;分析可采用批量模式。

4、處理方法 — 要應(yīng)用來處理數(shù)據(jù)的技術(shù)類型(比如預(yù)測、分析、臨時(shí)查詢和報(bào)告)。業(yè)務(wù)需求確定了合適的處理方法?？山Y(jié)合使用各種技術(shù)。處理方法的選擇，有助于識別要在您的大數(shù)據(jù)解決方案中使用的合適的工具和技術(shù)。

5、數(shù)據(jù)頻率和大小 — 預(yù)計(jì)有多少數(shù)據(jù)和數(shù)據(jù)到達(dá)的頻率多高。知道頻率和大小，有助于確定存儲機(jī)制、存儲格式和所需的預(yù)處理工具。數(shù)據(jù)頻率和大小依賴于數(shù)據(jù)源：
?  按需分析，與社交媒體數(shù)據(jù)一樣
?  實(shí)時(shí)、持續(xù)提供(天氣數(shù)據(jù)、交易數(shù)據(jù))
?  時(shí)序(基于時(shí)間的數(shù)據(jù))

6、數(shù)據(jù)類型 — 要處理數(shù)據(jù)類型 — 交易、歷史、主數(shù)據(jù)等。知道數(shù)據(jù)類型，有助于將數(shù)據(jù)隔離在存儲中。

7、內(nèi)容格式(傳入數(shù)據(jù)的格式)結(jié)構(gòu)化(例如 RDMBS)、非結(jié)構(gòu)化(例如音頻、視頻和圖像)或半結(jié)構(gòu)化。格式確定了需要如何處理傳入的數(shù)據(jù)，這是選擇工具、技術(shù)以及從業(yè)務(wù)角度定義解決方案的關(guān)鍵。

8、數(shù)據(jù)源 — 數(shù)據(jù)的來源(生成數(shù)據(jù)的地方)，比如 Web 和社交媒體、機(jī)器生成、人類生成等。識別所有數(shù)據(jù)源有助于從業(yè)務(wù)角度識別數(shù)據(jù)范圍。該圖顯示了使用最廣泛的數(shù)據(jù)源。

9、數(shù)據(jù)使用者 — 處理的數(shù)據(jù)的所有可能使用者的列表：
?  業(yè)務(wù)流程
?  業(yè)務(wù)用戶
?  企業(yè)應(yīng)用程序
?  各種業(yè)務(wù)角色中的各個(gè)人員
?  部分處理流程
?  其他數(shù)據(jù)存儲庫或企業(yè)應(yīng)用程序

10、硬件 — 將在其上實(shí)現(xiàn)大數(shù)據(jù)解決方案的硬件類型，包括商用硬件或最先進(jìn)的硬件。理解硬件的限制，有助于指導(dǎo)大數(shù)據(jù)解決方案的選擇。

圖 1 描繪用于分類大數(shù)據(jù)的各種類別。定義大數(shù)據(jù)模式的關(guān)鍵類別已識別并在藍(lán)色方框中突出顯示。大數(shù)據(jù)模式(將在下一篇文章中定義)來自這些類別的組合。

圖 1. 大數(shù)據(jù)分類

結(jié)束語和致謝

在本系列剩余部分中，我們將介紹大數(shù)據(jù)解決方案的邏輯架構(gòu)和各層，從訪問到使用大數(shù)據(jù)。我們將提供數(shù)據(jù)源的完整列表，介紹專注于大數(shù)據(jù)解決方案的每個(gè)重要方面的原子模式。我們還將介紹復(fù)合模式，解釋可如何結(jié)合使用原子模式來解決特定的大數(shù)據(jù)用例。本系列最后將提供一些解決方案模式，在廣泛使用的用例與各個(gè)產(chǎn)品之間建立對應(yīng)關(guān)系。