使用Hadoop處理大數(shù)據(jù)，你需要了解它的優(yōu)點和缺點

由于從各光伏電站采集的數(shù)據(jù)量較大，必須解決海量數(shù)據(jù)的查詢、分析的問題。目前主要考慮兩種方式：

1. Hadoop大數(shù)據(jù)技術(shù)；

2. Oracle（數(shù)據(jù)倉庫）+BI；

本文僅介紹hadoop的技術(shù)要應用特征。

Hadoop 基本介紹

hadoop是一個平臺，是一個適合大數(shù)據(jù)的分布式存儲和計算的平臺。什么是分布式存儲？這就是后邊我們要講的hadoop核心之一HDFS(Hadoop Distributed File System)；什么是分布式計算？這是我們后邊要講的hadoop另外一個重要的核心MapReduce。

hadoop的優(yōu)點一：低成本

hadoop本身是運行在普通PC服務器組成的集群中進行大數(shù)據(jù)的分發(fā)及處理工作的，這些服務器集群是可以支持數(shù)千個節(jié)點的。

hadoop優(yōu)點二：高效性

這也是hadoop的核心競爭優(yōu)勢所在，接受到客戶的數(shù)據(jù)請求后，hadoop可以在數(shù)據(jù)所在的集群節(jié)點上并發(fā)處理。

hadoop優(yōu)點三：可靠性

通過分布式存儲，hadoop可以自動存儲多份副本，當數(shù)據(jù)處理請求失敗后，會自動重新部署計算任務。

hadoop優(yōu)點四：擴展性

hadoop的分布式存儲和分布式計算是在集群節(jié)點完成的，這也決定了hadoop可以擴展至更多的集群節(jié)點。

hadoop安裝方式|hadoop部署方式

hadoop安裝方式只有三種：本地安裝；偽分布安裝；集群安裝。

Hadoop 適應的場景

1：超大文件

可以是幾百M，幾百T這個級別的文件。

2：流式數(shù)據(jù)訪問

Hadoop適用于一次寫入，多次讀取的場景，也就是數(shù)據(jù)復制進去之后，長時間在這些數(shù)據(jù)上進行分析。

3：商業(yè)硬件

也就是說大街上到處都能買到的那種硬件，這樣的硬件故障率較高，所以要有很好的容錯機制。

Hadoop 不適用的場景

1：低延遲數(shù)據(jù)訪問

Hadoop設計的目的是大吞吐量，所以并沒有針對低延遲數(shù)據(jù)訪問做一些優(yōu)化，如果要求低延遲， 可以看看Hbase。

2：大量的小文件

由于NameNode把文件的MetaData存儲在內(nèi)存中，所以大量的小文件會產(chǎn)生大量的MetaData。這樣的話百萬級別的文件數(shù)目還是可行的，再多的話就有問題了。

3：多用戶寫入，任意修改

Hadoop現(xiàn)在還不支持多人寫入，任意修改的功能。也就是說每次寫入都會添加在文件末尾。

Hadoop 業(yè)務場景（一）

在大數(shù)據(jù)背景下，Apache Hadoop已經(jīng)逐漸成為一種標簽性，業(yè)界對于這一開源分布式技術(shù)的了解也在不斷加深。但誰才是Hadoop的最大用戶呢？首先想到的當然是它的“發(fā)源 地”,像Google這樣的大型互聯(lián)網(wǎng)搜索引擎，以及Yahoo專門的廣告分析系統(tǒng)。也許你會認為，Hadoop平臺發(fā)揮作用的領域是互聯(lián)網(wǎng)行業(yè)，用來改 善分析性能并提高擴展性。其實Hadoop的應用場景遠不止這一點，深入挖掘的話你會發(fā)現(xiàn)Hadoop能夠在許多地方發(fā)揮巨大的作用。

美國著名科技博客GigaOM的專欄作家Derrick Harris跟蹤云計算和Hadoop技術(shù)已有多年時間，他也在最近的一篇文章中總結(jié)了10個Hadoop的應用場景，下面分享給大家：

在線旅游：目前全球范圍內(nèi)80%的在線旅游網(wǎng)站都是在使用Cloudera公司提供的Hadoop發(fā)行版，其中SearchBI網(wǎng)站曾經(jīng)報道過的Expedia也在其中。

移動數(shù)據(jù)：Cloudera運營總監(jiān)稱，美國有70%的智能手機數(shù)據(jù)服務背后都是由Hadoop來支撐的，也就是說，包括數(shù)據(jù)的存儲以及無線運營商的數(shù)據(jù)處理等，都是在利用Hadoop技術(shù)。

電子商務：這一場景應該是非常確定的，eBay就是最大的實踐者之一。國內(nèi)的電商在Hadoop技術(shù)上也是儲備頗為雄厚的。

能源開采：美國Chevron公司是全美第二大石油公司，他們的IT部門主管介紹了Chevron使用Hadoop的經(jīng)驗，他們利用Hadoop進行數(shù)據(jù)的收集和處理，其中這些數(shù)據(jù)是海洋的地震數(shù)據(jù)，以便于他們找到油礦的位置。

節(jié)能：另外一家能源服務商Opower也在使用Hadoop,為消費者提供節(jié)約電費的服務，其中對用戶電費單進行了預測分析。

基礎架構(gòu)管理：這是一個非?；A的應用場景，用戶可以用Hadoop從服務器、交換機以及其他的設備中收集并分析數(shù)據(jù)。

圖像處理：創(chuàng)業(yè)公司Skybox Imaging 使用Hadoop來存儲并處理圖片數(shù)據(jù)，從衛(wèi)星中拍攝的高清圖像中探測地理變化。

詐騙檢測：這個場景用戶接觸的比較少，一般金融服務或者政府機構(gòu)會用到。利用Hadoop來存儲所有的客戶交易數(shù)據(jù)，包括一些非結(jié)構(gòu)化的數(shù)據(jù)，能夠幫助機構(gòu)發(fā)現(xiàn)客戶的異?；顒?，預防欺詐行為。

IT安全：除企業(yè)IT基礎機構(gòu)的管理之外，Hadoop還可以用來處理機器生成數(shù)據(jù)以便甄別來自惡意軟件或者網(wǎng)絡中的攻擊。

醫(yī)療保?。横t(yī)療行業(yè)也會用到Hadoop,像IBM的Watson就會使用Hadoop集群作為其服務的基礎，包括語義分析等高級分析技術(shù)等。醫(yī)療機構(gòu)可以利用語義分析為患者提供醫(yī)護人員，并協(xié)助醫(yī)生更好地為患者進行診斷

Hadoop 業(yè)務場景（二）

其實我們要知道大數(shù)據(jù)的實質(zhì)特性：針對增量中海量的結(jié)構(gòu)化，非結(jié)構(gòu)化，半結(jié)構(gòu)數(shù)據(jù)，在這種情況下，如何快速反復計算挖掘出高效益的市場數(shù)據(jù)？

帶著這個問題滲透到業(yè)務中去分析，就知道hadoop需要應用到什么業(yè)務場景了！??！如果關(guān)系型數(shù)據(jù)庫都能應付的工作還需要hadoop嗎？

比如：

1.銀行的信用卡業(yè)務，當你正在刷卡完一筆消費的那一瞬間，假如在你當天消費基礎上再消費滿某個額度，你就可以免費獲得某種令你非常滿意的利益等 等，你可能就會心動再去消費，這樣就可能提高銀行信用卡業(yè)務，那么這個消費額度是如何從海量的業(yè)務數(shù)據(jù)中以秒級的速度計算出該客戶的消費記錄，并及時反饋 這個營銷信息到客戶手中呢？這時候關(guān)系型數(shù)據(jù)庫計算出這個額度或許就需要幾分鐘甚至更多時間，就需要hadoop了，這就是所謂的“秒級營銷”. 針對真正的海量數(shù)據(jù)，一般不主張多表關(guān)聯(lián)。

2. 在淘寶，當你瀏覽某個商品的時候，它會及時提示出你感興趣的同類商品的產(chǎn)品信息和實時銷售情況，這或許也需要用到hadoop。

3. 就是報表用到的年度報告或者年度環(huán)比數(shù)據(jù)報告的時候也會用到hadoop去計算。

4.搜索引擎分析的時候應該也會用到。一個網(wǎng)友說過，其實還是看big data能否帶來多大的效益！比如銀行在躺著都賺錢的情況下，big data不一定是銀行的項目. 況且hadoop是新興技術(shù)，銀行業(yè)對新技術(shù)還是相對保守的。

hadoop 主要用于大數(shù)據(jù)的并行計算，并行計算按計算特征分為：

? 數(shù)據(jù)密集型并行計算：數(shù)據(jù)量極大，但是計算相對簡單的并行處理。如：大規(guī)模Web信息搜索；

? 計算密集型并行計算：數(shù)據(jù)量相對不是很大，但是計算較為復雜的并行計算。如：3-D建模與渲染，氣象預報，科學計算；

? 數(shù)據(jù)密集與計算密集混合型的并行計算。如：3－D電影的渲染；

hadoop比較擅長的是數(shù)據(jù)密集的并行計算，它主要是對不同的數(shù)據(jù)做相同的事情，最后再整合。

我知道以及曾經(jīng)實驗過的hadoop的例子有：

? wordCount （相當于hadoop的HelloWorld的程序）；

? 文檔倒排索引；

? PageRank；

? K-Means 算法；

這些程序都可以從網(wǎng)上找到相應的解決方案。

hadoop的是根據(jù)Google MapReduce 提出的開源版本。但是它的性能不是很好。

hadoop主要應用于數(shù)據(jù)量大的離線場景。特征為：

1、數(shù)據(jù)量大。一般真正線上用Hadoop的，集群規(guī)模都在上百臺到幾千臺的機器。這種情況下，T級別的數(shù)據(jù)也是很小的。Coursera上一門課了有句話覺得很不錯：Don’t use hadoop, your data isn’t that big.

2、離線。Mapreduce框架下，很難處理實時計算，作業(yè)都以日志分析這樣的線下作業(yè)為主。另外，集群中一般都會有大量作業(yè)等待被調(diào)度，保證資源充分利用。

3、數(shù)據(jù)塊大。由于HDFS設計的特點，Hadoop適合處理文件塊大的文件。大量的小文件使用Hadoop來處理效率會很低。舉個例子，百度每天都會有用戶對側(cè)邊欄廣告進行點擊。這些點擊都會被記入日志。然后在離線場景下，將大量的日志使用Hadoop進行處理，分析用戶習慣等信息。

MapReduce 的經(jīng)典案例

MapReduce的一個經(jīng)典實例是Hadoop。用于處理大型分布式數(shù)據(jù)庫。由于Hadoop關(guān)聯(lián)到云以及云部署，大多數(shù)人忽略了一點，Hadoop有些屬性不適合一般企業(yè)的需求，特別是移動應用程序。下面是其中的一些特點：

Hadoop的最大價值在于數(shù)據(jù)庫，而Hadoop所用的數(shù)據(jù)庫是移動應用程序所用數(shù)據(jù)庫的10到1000倍。對于許多人來說，使用Hadoop就是殺雞用牛刀。

Hadoop有顯著的設置和處理開銷。 Hadoop工作可能會需要幾分鐘的時間，即使相關(guān)數(shù)據(jù)量不是很大。

Hadoop在支持具有多維上下文數(shù)據(jù)結(jié)構(gòu)方面不是很擅長。例如，一個定義給定地理變量值的記錄，然后使用垂直連接，來連續(xù)定義一個比hadoop使用的鍵值對定義更復雜的數(shù)據(jù)結(jié)構(gòu)關(guān)系。

Hadoop必須使用迭代方法處理的問題方面用處不大，尤其是幾個連續(xù)有依賴性步驟的問題。

MapReduce (EMR)，這是一項Hadoop服務。Hadoop旨在同期文件系統(tǒng)工作，以HDFS著稱。

當用戶用EMR創(chuàng)建了一個Hadoop集群，他們可以從AWS S3（亞馬遜簡單儲存服務）或者一些其他的數(shù)據(jù)存儲復制數(shù)據(jù)到集群上的HDFS，或者也可以直接從S3訪問數(shù)據(jù)。HDFS使用本地存儲，而且通常提供了比從S3恢復更好的性能，但是在運行Hadoop工作之前，也需要時間從S3復制數(shù)據(jù)到HDFS。如果EMR集群要運行一段時間，且針對多項工作使用相同的數(shù)據(jù)，可能值得額外的啟動時間來從S3復制數(shù)據(jù)到HDFS。