大數(shù)據(jù)基礎(chǔ)知識分享 你也可以成為相關(guān)專家

作為一名網(wǎng)站工作者，每天都和數(shù)據(jù)打交道。在與數(shù)據(jù)相關(guān)的知識中，大數(shù)據(jù)這個概念曾經(jīng)困擾我很久。在逐漸了解一些基礎(chǔ)知識后，我才明白大數(shù)據(jù)到底是什么，具有有什么用處。下面，我將分享我對大數(shù)據(jù)的一些學(xué)習(xí)經(jīng)驗，希望能對你有所幫助。

最開始，我是從網(wǎng)上搜索資料。首先，我從大數(shù)據(jù)概念入手。我在百度、好搜上尋找大數(shù)據(jù)的百科定義。

大數(shù)據(jù)概念-百度百科

大數(shù)據(jù)(big data,mega data)，或稱巨量資料，指的是需要新處理模式才能具有更強的決策力、洞察力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。

在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時代》 中大數(shù)據(jù)指不用隨機(jī)分析法（抽樣調(diào)查）這樣的捷徑，而采用所有數(shù)據(jù)進(jìn)行分析處理。大數(shù)據(jù)的4V特點：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）。

對于“大數(shù)據(jù)”（Big data）研究機(jī)構(gòu)Gartner給出了這樣的定義?！按髷?shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。

大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。換言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實現(xiàn)盈利的關(guān)鍵，在于提高對數(shù)據(jù)的“加工能力”，通過“加工”實現(xiàn)數(shù)據(jù)的“增值”。

從技術(shù)上看，大數(shù)據(jù)與云計算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無法用單臺的計算機(jī)進(jìn)行處理，必須采用分布式架構(gòu)。它的特色在于對海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖掘，但它必須依托云計算的分布式處理、分布式數(shù)據(jù)庫和云存儲、虛擬化技術(shù)。

為了全面了解大數(shù)據(jù)的基本概念，請你仔細(xì)閱讀下面兩篇文章，對你深入學(xué)習(xí)有很大幫助。

大數(shù)據(jù)是什么意思

在了解了大數(shù)據(jù)的基本概念之后，我對它慢慢有了一定認(rèn)識，但是，我對其中的兩個相關(guān)概念還是不清楚：云計算和Hadoop

云計算是什么？Hadoop是什么，他們之間有什么關(guān)系？

云計算概念百度百科解釋

云計算（cloud computing）是基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交付模式，通常涉及通過互聯(lián)網(wǎng)來提供動態(tài)易擴(kuò)展且經(jīng)常是虛擬化的資源。云是網(wǎng)絡(luò)、互聯(lián)網(wǎng)的一種比喻說法。過去在圖中往往用云來表示電信網(wǎng)，后來也用來表示互聯(lián)網(wǎng)和底層基礎(chǔ)設(shè)施的抽象。因此，云計算甚至可以讓你體驗每秒10萬億次的運算能力，擁有這么強大的計算能力可以模擬核爆炸、預(yù)測氣候變化和市場發(fā)展趨勢。用戶通過電腦、筆記本、手機(jī)等方式接入數(shù)據(jù)中心，按自己的需求進(jìn)行運算。

對云計算的定義有多種說法。對于到底什么是云計算，至少可以找到100種解釋?，F(xiàn)階段廣為接受的是美國國家標(biāo)準(zhǔn)與技術(shù)研究院（NIST）定義：云計算是一種按使用量付費的模式，這種模式提供可用的、便捷的、按需的網(wǎng)絡(luò)訪問， 進(jìn)入可配置的計算資源共享池（資源包括網(wǎng)絡(luò)，服務(wù)器，存儲，應(yīng)用軟件，服務(wù)），這些資源能夠被快速提供，只需投入很少的管理工作，或與服務(wù)供應(yīng)商進(jìn)行很少的交互。

云計算（cloudcomputing）是基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交付模式，通常涉及通過互聯(lián)網(wǎng)來提供動態(tài)易擴(kuò)展且經(jīng)常是虛擬化的資源。

美國國家標(biāo)準(zhǔn)與技術(shù)研究院（NIST）定義：云計算是一種按使用量付費的模式，這種模式提供可用的、便捷的、按需的網(wǎng)絡(luò)訪問， 進(jìn)入可配置的計算資源共享池（資源包括網(wǎng)絡(luò)，服務(wù)器，存儲，應(yīng)用軟件，服務(wù)），這些資源能夠被快速提供，只需投入很少的管理工作，或與服務(wù)供應(yīng)商進(jìn)行很少的交互。XenSystem，以及在國外已經(jīng)非常成熟的Intel 和IBM，各種“云計算”的應(yīng)用服務(wù)范圍正日漸擴(kuò)大，影響力也無可估量。

在了解云計算概念之后，請你閱讀這一篇文章，看完之后，你會對大數(shù)據(jù)與云計算的關(guān)系有一個初步的了解

大數(shù)據(jù)和云計算到底是何關(guān)系？

hadoop概念

Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。

用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運算和存儲。

Hadoop實現(xiàn)了一個分布式文件系統(tǒng)（Hadoop Distributed File System），簡稱HDFS。HDFS有高容錯性的特點，并且設(shè)計用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streaming access）文件系統(tǒng)中的數(shù)據(jù)。

Hadoop的框架最核心的設(shè)計就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲，則MapReduce為海量的數(shù)據(jù)提供了計算。

項目起源

Hadoop由 Apache Software Foundation 公司于 2005 年秋天作為Lucene的子項目Nutch的一部分正式引入。它受到最先由 Google Lab 開發(fā)的 Map/Reduce 和 Google File System(GFS) 的啟發(fā)。

2006 年 3 月份，Map/Reduce 和 Nutch Distributed File System (NDFS) 分別被納入稱為 Hadoop 的項目中。

Hadoop 是最受歡迎的在 Internet 上對搜索關(guān)鍵字進(jìn)行內(nèi)容分類的工具，但它也可以解決許多要求極大伸縮性的問題。例如，如果您要 grep 一個 10TB 的巨型文件，會出現(xiàn)什么情況？在傳統(tǒng)的系統(tǒng)上，這將需要很長的時間。但是 Hadoop 在設(shè)計時就考慮到這些問題，采用并行執(zhí)行機(jī)制，因此能大大提高效率。

那么大數(shù)據(jù)和Hadoop之間又是什么關(guān)系呢？請看下面的文章

大數(shù)據(jù)與Hadoo之間是什么關(guān)系？

我在了解了以上知識之后，對大數(shù)據(jù)有了一定了解，如果你想更深入學(xué)習(xí)，可以買一些大數(shù)據(jù)相關(guān)的專業(yè)書籍。