大數(shù)據(jù)技術(shù)的實(shí)現(xiàn)離不開(kāi)很多其他的技術(shù)，我們提到最多的就是Hadoop技術(shù)，其實(shí)就目前而言，Hadoop技術(shù)看似是自成一套體系，其實(shí)并不是這樣的，Hadoop和Spark以及分布式數(shù)據(jù)庫(kù)其實(shí)也是存在差異的，我們就在這篇文章中給大家介紹一下這些內(nèi)容。

首先我們說(shuō)一說(shuō)大數(shù)據(jù)分析，現(xiàn)在的大數(shù)據(jù)分析體系以Hadoop生態(tài)為主，而近年來(lái)逐漸火熱的Spark技術(shù)也是主要的生態(tài)之一。可以這么說(shuō)，Hadoop技術(shù)只能算是以HDFS+YARN作為基礎(chǔ)的分布式文件系統(tǒng)，而不是數(shù)據(jù)庫(kù)。我們提到的Hadoop的歷史可以向前追溯10年，當(dāng)年谷歌為了在幾萬(wàn)臺(tái)PC服務(wù)器上構(gòu)建超大數(shù)據(jù)集合并提供極高性能的并發(fā)訪問(wèn)能力，從而發(fā)明了一種新的技術(shù)，而這個(gè)技術(shù)，也是Hadoop誕生的理論基礎(chǔ)。如果我們從Hadoop的誕生背景可以看出，其主要解決的問(wèn)題是超大規(guī)模集群下如何對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行批處理計(jì)算。實(shí)際上，在Hadoop架構(gòu)中，一個(gè)分布式任務(wù)可以是類似傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)的關(guān)聯(lián)、排序、聚集操作，也可以是針對(duì)非結(jié)構(gòu)化數(shù)據(jù)的用戶自定義程序邏輯。

那么Hadoop的發(fā)展道路是什么樣的呢。最開(kāi)始的Hadoop以Big、Hive和MapReduce三種開(kāi)發(fā)接口為代表，分別適用于腳本批處理、SQL批處理以及用戶自定義邏輯類型的應(yīng)用。而Spark的發(fā)展更是如此，最開(kāi)始的SparkRDD幾乎完全沒(méi)有SQL能力，還是套用了Hive發(fā)展出的Shark才能對(duì)SQL有了一部分的支持。但是，隨著企業(yè)用戶對(duì)Hadoop的使用越發(fā)廣泛，SQL已經(jīng)漸漸成為大數(shù)據(jù)平臺(tái)在傳統(tǒng)行業(yè)的主要訪問(wèn)方式之一。  

下面我們就說(shuō)一說(shuō)分布式數(shù)據(jù)庫(kù)，分布式數(shù)據(jù)庫(kù)有著悠久的歷史，從以O(shè)racle RAC為代表的聯(lián)機(jī)交易型分布式數(shù)據(jù)庫(kù)，到IBM DB2 DPF統(tǒng)計(jì)分析性分布式數(shù)據(jù)庫(kù)，分布式數(shù)據(jù)庫(kù)覆蓋了OLTP與OLAP幾乎全部的數(shù)據(jù)應(yīng)用場(chǎng)景。而大部分分布式數(shù)據(jù)庫(kù)功能集中在結(jié)構(gòu)化計(jì)算與在線增刪改查上。但是，這些傳統(tǒng)的分布式數(shù)據(jù)庫(kù)以數(shù)倉(cāng)及分析類OLAP系統(tǒng)為主，其局限性在于，其底層的關(guān)系型數(shù)據(jù)庫(kù)存儲(chǔ)結(jié)構(gòu)在效率上并不能滿足大量高并發(fā)的數(shù)據(jù)查詢以及大數(shù)據(jù)數(shù)據(jù)加工和分析的效率要求。因此，分布式數(shù)據(jù)庫(kù)在近幾年也有著極大的轉(zhuǎn)型，從單一的數(shù)據(jù)模型向多模的數(shù)據(jù)模型轉(zhuǎn)移，將OLTP、聯(lián)機(jī)高并發(fā)查詢以及支持大數(shù)據(jù)加工和分析結(jié)合起來(lái)，不再單獨(dú)以O(shè)LAP作為設(shè)計(jì)目標(biāo)。同時(shí)，分布式數(shù)據(jù)庫(kù)在訪問(wèn)模式上也出現(xiàn)了K/V、文檔、寬表、圖等分支，支持除了SQL查詢語(yǔ)言之外的其他訪問(wèn)模式，大大豐富了傳統(tǒng)分布式數(shù)據(jù)庫(kù)單一的用途。一般來(lái)說(shuō)，多模數(shù)據(jù)庫(kù)的主要目的是為了滿足具有高性能要求的操作型需求以及目標(biāo)明確的數(shù)據(jù)倉(cāng)庫(kù)功能，而不是類似大數(shù)據(jù)深度學(xué)習(xí)等數(shù)據(jù)挖掘場(chǎng)景。這就是分布式數(shù)據(jù)庫(kù)的實(shí)際情況。

我們?cè)谶@篇文章中給大家介紹了大數(shù)據(jù)分析以及分布式數(shù)據(jù)庫(kù)的相關(guān)知識(shí)，通過(guò)這些內(nèi)容相信大家已經(jīng)理解了其中的具體區(qū)別了吧，如果這篇文章能夠幫助到大家這就是我們最大的心愿。