大數(shù)據(jù)處理技術(shù)_大數(shù)據(jù)處理技術(shù)有哪些_數(shù)據(jù)分析師

大的數(shù)據(jù)需要特殊的技術(shù)，以有效地處理大量的容忍經(jīng)過時(shí)間內(nèi)的數(shù)據(jù)。
      適用于大數(shù)據(jù)的技術(shù)，包括大規(guī)模并行處理（MPP）數(shù)據(jù)庫，數(shù)據(jù)挖掘電網(wǎng)，分布式文件系統(tǒng)，分布式數(shù)據(jù)庫，云計(jì)算平臺(tái)，互聯(lián)網(wǎng)，和可擴(kuò)展的存儲(chǔ)系統(tǒng)

中國企業(yè)如何應(yīng)對(duì)大數(shù)據(jù)時(shí)代的來臨？
國內(nèi)的企業(yè)跟美國比較，有一個(gè)很重要的特性就是人口基數(shù)的區(qū)別，中國消費(fèi)群體所產(chǎn)生的這種數(shù)據(jù)量，與國外相比不可同日而語。
SOA管理大數(shù)據(jù)

我們需要的是以數(shù)據(jù)為中心的SOA還是以SOA為中心的數(shù)據(jù)？答案取決于如何處理的SOA-數(shù)據(jù)關(guān)系的三個(gè)不同模型來管理大數(shù)據(jù)、云數(shù)據(jù)和數(shù)據(jù)層次結(jié)構(gòu)。在越來越多的虛擬資源中，將這些模型之間所有類型的數(shù)據(jù)進(jìn)行最優(yōu)擬合是SOA所面臨的巨大挑戰(zhàn)之一。本文詳細(xì)介紹了每個(gè)SOA模型管理數(shù)據(jù)的優(yōu)點(diǎn)、選擇和選項(xiàng)

SOA的三個(gè)數(shù)據(jù)中心模型分別是數(shù)據(jù)即服務(wù)(DaaS)模型、物理層次結(jié)構(gòu)模型和架構(gòu)組件模型。
DaaS數(shù)據(jù)存取的模型 描述了數(shù)據(jù)是如何提供給SOA組件的。
物理模型 描述了數(shù)據(jù)是如何存儲(chǔ)的以及存儲(chǔ)的層次圖是如何傳送到SOA數(shù)據(jù)存儲(chǔ)器上的。
架構(gòu)模型 描述了數(shù)據(jù)、數(shù)據(jù)管理服務(wù)和SOA組件之間的關(guān)系。

多數(shù)的大數(shù)據(jù)是非關(guān)系型的、非交易型的、非結(jié)構(gòu)化的甚至是未更新的數(shù)據(jù)。
由于缺乏數(shù)據(jù)結(jié)構(gòu)因此將其抽象成一個(gè)查詢服務(wù)并非易事，由于數(shù)據(jù)有多個(gè)來源和形式因此很少按序存儲(chǔ)，并且定義基礎(chǔ)數(shù)據(jù)的完整性和去重過程是有一些規(guī)則的。當(dāng)作為大數(shù)據(jù)引入到SOA的應(yīng)用程序中時(shí)，關(guān)鍵是要定義三種模型中的最后一種模型，SOA數(shù)據(jù)關(guān)系中的架構(gòu)模型。
有兩種選擇：水平方向和垂直方向。

SOA和各類數(shù)據(jù)模型
在水平集成數(shù)據(jù)模型中，數(shù)據(jù)收集隱蔽于一套抽象的數(shù)據(jù)服務(wù)器，該服務(wù)器有一個(gè)或多個(gè)接口連接到應(yīng)用程序上，也提供所有的完整性和數(shù)據(jù)管理功能。組件雖不能直接訪問數(shù)據(jù)，但作為一種即服務(wù)形式，就像他們?cè)诤唵吻闆r下的企業(yè)，其數(shù)據(jù)的要求是純粹的RDBMS模型。應(yīng)用程序組件基本上脫離了RDBMS與大數(shù)據(jù)之間數(shù)據(jù)管理的差異。盡管由于上述原因這種方法不能創(chuàng)建簡單的RDBMS查詢模型，但是它至少復(fù)制了我們上面提到的簡單的RDBMS模型。
　垂直集成的數(shù)據(jù)模型以更多應(yīng)用程序特定的方式連接到數(shù)據(jù)服務(wù)上，該方式使得客戶關(guān)系管理、企業(yè)資源規(guī)劃或動(dòng)態(tài)數(shù)據(jù)認(rèn)證的應(yīng)用程序數(shù)據(jù)很大程度在服務(wù)水平上相互分離，這種分離直接涉及到數(shù)據(jù)基礎(chǔ)設(shè)施。在某些情況下，這些應(yīng)用程序或許有可以直接訪問存儲(chǔ)/數(shù)據(jù)服務(wù)的SOA組件。為了提供更多統(tǒng)一的數(shù)據(jù)完整性和管理，管理服務(wù)器可以作為SOA組件來操作各種數(shù)據(jù)庫系統(tǒng)，以數(shù)據(jù)庫特定的方式執(zhí)行常見的任務(wù)，如去重和完整性檢查。這種方法更容易適應(yīng)于遺留應(yīng)用和數(shù)據(jù)結(jié)構(gòu), 但它在問數(shù)據(jù)何訪方式上會(huì)破壞SOA即服務(wù)原則，也可能產(chǎn)生數(shù)據(jù)管理的一致性問題。
　　SOA和水平數(shù)據(jù)模型
　　毫無疑問水平模型更符合SOA原則，因?yàn)樗鼜氐椎貜腟OA組件中抽象出了數(shù)據(jù)服務(wù)。不過，為了使其有效，有必要對(duì)非關(guān)系型數(shù)據(jù)庫進(jìn)行抽象定義和處理低效率與抽象有關(guān)的流程——SOA架構(gòu)師知道除非小心的避免此類事情否則這將會(huì)成為不可逾越的障礙。
　 水平的SOA數(shù)據(jù)策略已經(jīng)開始應(yīng)用于適用大數(shù)據(jù)的抽象數(shù)據(jù)。解決這個(gè)問題最常見的方法是MapReduce，可以應(yīng)用于Hadoop形式的云構(gòu)架。Hadoop以及類似的方法可以分發(fā)、管理和訪問數(shù)據(jù)，然后集中查詢這一分布式信息的相關(guān)結(jié)果。實(shí)際上，SOA組件應(yīng)將MapReduce和類似數(shù)據(jù)分析功能作為一種查詢功能應(yīng)用。
     處理水平數(shù)據(jù)庫的效率問題
　效率問題較為復(fù)雜。因?yàn)樗綌?shù)據(jù)庫模型可能是通過類似大多數(shù)SOA流程的信息服務(wù)總線來完成的，一個(gè)重要的步驟是要確保與該編排相關(guān)的開銷額度保持在最低程度。這可以幫助減少與SOA相關(guān)的數(shù)據(jù)訪問開銷，但它不能克服存儲(chǔ)系統(tǒng)本身的問題。因?yàn)檫@些存儲(chǔ)系統(tǒng)已經(jīng)通過水平模型脫離了SOA組件，很容易被忽略與延遲和數(shù)據(jù)傳輸量相關(guān)的問題，特別地，如果數(shù)據(jù)庫是云分布的，那么使用他們就會(huì)產(chǎn)生可變的網(wǎng)絡(luò)延遲。
　上述問題的一個(gè)解決方案是現(xiàn)代分層存儲(chǔ)模式。數(shù)據(jù)庫不是磁盤，而是一組相互連接的高速緩存點(diǎn)，其存儲(chǔ)于本地內(nèi)存中，也可能轉(zhuǎn)向固態(tài)硬盤，然后到本地磁盤，最后到云存儲(chǔ)。緩存算法處理這些緩存點(diǎn)之間的活動(dòng)，從而來平衡存儲(chǔ)成本（同時(shí)也是平衡同步地更新成本）和性能。
　對(duì)于大數(shù)據(jù)，它也是經(jīng)常可以創(chuàng)建適用于大多數(shù)分析的匯總數(shù)據(jù)。例如一個(gè)計(jì)算不同地點(diǎn)車輛數(shù)量的交通遙測(cè)應(yīng)用。這中方法可以產(chǎn)生大量的數(shù)據(jù)，但是如果匯總數(shù)據(jù)最后一分鐘還存儲(chǔ)在內(nèi)存中，最后一小時(shí)存儲(chǔ)在閃存中，最后一天存在磁盤上，那么控制應(yīng)用程序所需的實(shí)際時(shí)間可以通過快速訪問資源得到滿足,然而假設(shè)分析時(shí)我們可以使用一些更便宜、更慢的應(yīng)用程序是會(huì)怎樣。
　SOA都是抽象的，但當(dāng)抽象隱藏了底層影響性能和響應(yīng)時(shí)間的復(fù)雜性時(shí)，這種抽象的危險(xiǎn)程度會(huì)提高。數(shù)據(jù)訪問也是這樣的，因此,SOA架構(gòu)師需要認(rèn)真地考慮抽象與性能之間的平衡關(guān)系，并為其特定的業(yè)務(wù)需求優(yōu)化它