文 | 翟周偉

本文節(jié)選自《Hadoop核心技術(shù)》一書。

Hadoop是一個(gè)開源的高效云計(jì)算基礎(chǔ)架構(gòu)平臺(tái)，其不僅僅在云計(jì)算領(lǐng)域用途廣泛，還可以支撐搜索引擎服務(wù)，作為搜索引擎底層的基礎(chǔ)架構(gòu)系統(tǒng)，同時(shí)在海量數(shù)據(jù)處理、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、科學(xué)計(jì)算等領(lǐng)域都越來越受到青睞。本文將講述國內(nèi)外的hadoop應(yīng)用現(xiàn)狀。

國外Hadoop的應(yīng)用現(xiàn)狀
1.Yahoo
Yahoo是Hadoop的最大支持者，截至2012年，Yahoo的Hadoop機(jī)器總節(jié)點(diǎn)數(shù)目超過42?000個(gè)，有超過10萬的核心CPU在運(yùn)行Hadoop。最大的一個(gè)單Master節(jié)點(diǎn)集群有4500個(gè)節(jié)點(diǎn)(每個(gè)節(jié)點(diǎn)雙路4核心CPUboxesw，4×1TB磁盤，16GBRAM)?？偟募捍鎯?chǔ)容量大于350PB，每月提交的作業(yè)數(shù)目超過1000萬個(gè)，在Pig中超過60%的Hadoop作業(yè)是使用Pig編寫提交的。
Yahoo的Hadoop應(yīng)用主要包括以下幾個(gè)方面：
支持廣告系統(tǒng)
用戶行為分析
支持Web搜索
反垃圾郵件系統(tǒng)
會(huì)員反濫用
內(nèi)容敏捷
個(gè)性化推薦
同時(shí)Pig研究并測(cè)試支持超大規(guī)模節(jié)點(diǎn)集群的Hadoop系統(tǒng)。
2.Facebook
Facebook使用Hadoop存儲(chǔ)內(nèi)部日志與多維數(shù)據(jù)，并以此作為報(bào)告、分析和機(jī)器學(xué)習(xí)的數(shù)據(jù)源。目前Hadoop集群的機(jī)器節(jié)點(diǎn)超過1400臺(tái)，共計(jì)11?200個(gè)核心CPU，超過15PB原始存儲(chǔ)容量，每個(gè)商用機(jī)器節(jié)點(diǎn)配置了8核CPU，12TB數(shù)據(jù)存儲(chǔ)，主要使用StreamingAPI和JavaAPI編程接口。Facebook同時(shí)在Hadoop基礎(chǔ)上建立了一個(gè)名為Hive的高級(jí)數(shù)據(jù)倉庫框架，Hive已經(jīng)正式成為基于Hadoop的Apache一級(jí)項(xiàng)目。此外，還開發(fā)了HDFS上的FUSE實(shí)現(xiàn)。
3.A9.com
A9.com為Amazon使用Hadoop構(gòu)建了商品搜索索引，主要使用StreamingAPI以及C++、Perl和Python工具，同時(shí)使用Java和StreamingAPI分析處理每日數(shù)以百萬計(jì)的會(huì)話。A9.com為Amazon構(gòu)建的索引服務(wù)運(yùn)行在100節(jié)點(diǎn)左右的Hadoop集群上。
4.Adobe
Adobe主要使用Hadoop及HBase，同于支撐社會(huì)服務(wù)計(jì)算，以及結(jié)構(gòu)化的數(shù)據(jù)存儲(chǔ)和處理。大約有超過30個(gè)節(jié)點(diǎn)的Hadoop-HBase生產(chǎn)集群。Adobe將數(shù)據(jù)直接持續(xù)地存儲(chǔ)在HBase中，并以HBase作為數(shù)據(jù)源運(yùn)行MapReduce作業(yè)處理，然后將其運(yùn)行結(jié)果直接存到HBase或外部系統(tǒng)。Adobe在2008年10月就已經(jīng)將Hadoop和HBase應(yīng)用于生產(chǎn)集群。
5.CbIR
自2008年4月以來，日本的CbIR(Content-basedInformationRetrieval)公司在AmazonEC2上使用Hadoop來構(gòu)建圖像處理環(huán)境，用于圖像產(chǎn)品推薦系統(tǒng)。使用Hadoop環(huán)境生成源數(shù)據(jù)庫，便于Web應(yīng)用對(duì)其快速訪問，同時(shí)使用Hadoop分析用戶行為的相似性。
6.Datagraph
Datagraph主要使用Hadoop批量處理大量的RDF數(shù)據(jù)集，尤其是利用Hadoop對(duì)RDF數(shù)據(jù)建立索引。Datagraph也使用Hadoop為客戶執(zhí)行長時(shí)間運(yùn)行的離線SPARQL查詢。Datagraph是使用AmazonS3和Cassandra存儲(chǔ)RDF數(shù)據(jù)輸入和輸出文件的，并已經(jīng)開發(fā)了一個(gè)基于MapReduce處理RDF數(shù)據(jù)的Ruby框架——RDFgrid。
Datagraph主要使用Ruby、RDF.rb以及自己開發(fā)的RDFgrid框架來處理RDF數(shù)據(jù)，主要使用HadoopStreaming接口。
7.EBay
單集群超過532節(jié)點(diǎn)集群，單節(jié)點(diǎn)8核心CPU，容量超過5.3PB存儲(chǔ)。大量使用的MapReduce的Java接口、Pig、Hive來處理大規(guī)模的數(shù)據(jù)，還使用HBase進(jìn)行搜索優(yōu)化和研究。
8.IBM
IBM藍(lán)云也利用Hadoop來構(gòu)建云基礎(chǔ)設(shè)施。IBM藍(lán)云使用的技術(shù)包括：Xen和PowerVM虛擬化的Linux操作系統(tǒng)映像及Hadoop并行工作量調(diào)度，并發(fā)布了自己的Hadoop發(fā)行版及大數(shù)據(jù)解決方案。
9.Last.Fm
Last.Fm主要用于圖表計(jì)算、專利申報(bào)、日志分析、A/B測(cè)試、數(shù)據(jù)集合并等，也使用Hadoop對(duì)超過百萬的曲目進(jìn)行大規(guī)模的音頻特征分析。
節(jié)點(diǎn)超過100臺(tái)機(jī)器，集群節(jié)點(diǎn)配置雙四核XeonL5520@2.27GHzL5630@2.13GHz，24GB內(nèi)存，8TB(4×2TB)存儲(chǔ)。
10.LinkedIn
LinkedIn有多種硬件配置的Hadoop集群，主要集群配置如下：
800節(jié)點(diǎn)集群，基于Westmere的惠普SL170X與2×4的核心，24GB內(nèi)存，6×2TBSATA。
1900節(jié)點(diǎn)集群，基于Westmere的超微-HX8DTT，與2×6的核心，24GB內(nèi)存，6×2TBSATA。
1400節(jié)點(diǎn)集群，基于SandyBridge超微與2×6的核心，32GB內(nèi)存，6×2TBSATA。
使用的軟件如下：
操作系統(tǒng)使用RHEL6.3。
JDK使用SUNJDK1.6.0_32。
Apache的Hadoop0.20.2的補(bǔ)丁和ApacheHadoop的1.0.4補(bǔ)丁。
Azkaban和Azkaban用于作業(yè)調(diào)度。
Hive、Avro、Kafka等。
11.MobileAnalytic.TV
主要使用Hadoop應(yīng)用在并行化算法領(lǐng)域，涉及的MapReduce應(yīng)用算法如下。
信息檢索和分析。
機(jī)器生成的內(nèi)容——文檔、文本、音頻、視頻。
自然語言處理。
項(xiàng)目組合包括：
移動(dòng)社交網(wǎng)絡(luò)。
網(wǎng)絡(luò)爬蟲。
文本到語音轉(zhuǎn)化。
音頻和視頻自動(dòng)生成。
12.Openstat
主要利用Hadoop定制一個(gè)網(wǎng)絡(luò)日志分析并生成報(bào)告，其生產(chǎn)環(huán)境下超過50個(gè)節(jié)點(diǎn)集群(雙路四核Xeon處理器，16GB的RAM，4～6硬盤驅(qū)動(dòng)器)，還有兩個(gè)相對(duì)小的集群用于個(gè)性化分析，每天處理約500萬的事件，每月15億美元的交易數(shù)據(jù)，集群每天產(chǎn)生大約25GB的報(bào)告。
使用的技術(shù)主要包括：CDH、Cascading、Janino。
13.Quantcast
3000個(gè)CPU核心，3500TB存儲(chǔ)，每日處理1PB以上的數(shù)據(jù)，使用完全自定義的數(shù)據(jù)路徑和排序器的Hadoop調(diào)度器，對(duì)KFS文件系統(tǒng)有突出貢獻(xiàn)。
14.Rapleaf
超過80個(gè)節(jié)點(diǎn)的集群(每個(gè)節(jié)點(diǎn)有2個(gè)雙核CPU，2TB×8存儲(chǔ)，16GBRAM內(nèi)存);主要使用Hadoop、Hive處理Web上關(guān)聯(lián)到個(gè)人的數(shù)據(jù)，并引入Cascading簡(jiǎn)化數(shù)據(jù)流穿過各種處理階段。
15.WorldLingo
硬件上超過44臺(tái)服務(wù)器(每臺(tái)有2個(gè)雙核CPU，2TB存儲(chǔ)，8GB內(nèi)存)，每臺(tái)服務(wù)器均運(yùn)行Xen，啟動(dòng)一個(gè)虛擬機(jī)實(shí)例運(yùn)行Hadoop/HBase，再啟動(dòng)一個(gè)虛擬機(jī)實(shí)例運(yùn)行Web或應(yīng)用程序服務(wù)器，即有88臺(tái)可用的虛擬機(jī);運(yùn)行兩套獨(dú)立的Hadoop/HBase機(jī)群，它們各自擁有22個(gè)節(jié)點(diǎn)。Hadoop主要用于運(yùn)行HBase和MapReduce作業(yè)，掃描HBase的數(shù)據(jù)表，執(zhí)行特定的任務(wù)。HBase作為一種可擴(kuò)展的、快速的存儲(chǔ)后端，用于保存數(shù)以百萬的文檔。目前存儲(chǔ)了1200萬篇文檔，近期的目標(biāo)是存儲(chǔ)4.5億篇文檔。
16.格拉斯哥大學(xué)的TerrierTeam
超過30個(gè)節(jié)點(diǎn)的實(shí)驗(yàn)集群(每節(jié)點(diǎn)配置XeonQuadCore2.4GHz，4GB內(nèi)存，1TB存儲(chǔ))。使用Hadoop促進(jìn)信息檢索研究和試驗(yàn)，特別是用于TREC，用于TerrierIR平臺(tái)。Terrier的開源發(fā)行版中包含了基于HadoopMapReduce的大規(guī)模分布式索引。
17.內(nèi)布拉斯加大學(xué)的HollandComputingCenter
運(yùn)行一個(gè)中等規(guī)模的Hadoop機(jī)群(共計(jì)1.6PB存儲(chǔ))用于存儲(chǔ)和提供物理數(shù)據(jù)，以支持緊湊型μ子螺旋型磁譜儀(CompactMuonSolenoid，CMS)實(shí)驗(yàn)的計(jì)算。這需要一類能夠以幾Gbps的速度下載數(shù)據(jù)，并以更高的速度處理數(shù)據(jù)的文件系統(tǒng)的支持。
18.VisibleMeasures
將Hadoop作為可擴(kuò)展數(shù)據(jù)流水線的一個(gè)組件，最終用于VisibleSuite等產(chǎn)品。使用Hadoop匯總、存儲(chǔ)和分析與網(wǎng)絡(luò)視頻觀眾收看行為相關(guān)的數(shù)據(jù)流。目前的網(wǎng)格包括超過128個(gè)CPU核心，超過100TB的存儲(chǔ)，并計(jì)劃大幅擴(kuò)容。
國內(nèi)Hadoop的應(yīng)用現(xiàn)狀
Hadoop在國內(nèi)的應(yīng)用主要以互聯(lián)網(wǎng)公司為主，下面主要介紹大規(guī)模使用Hadoop或研究Hadoop的公司。
1.百度
百度在2006年就開始關(guān)注Hadoop并開始調(diào)研和使用，在2012年其總的集群規(guī)模達(dá)到近十個(gè)，單集群超過2800臺(tái)機(jī)器節(jié)點(diǎn)，Hadoop機(jī)器總數(shù)有上萬臺(tái)機(jī)器，總的存儲(chǔ)容量超過100PB，已經(jīng)使用的超過74PB，每天提交的作業(yè)數(shù)目有數(shù)千個(gè)之多，每天的輸入數(shù)據(jù)量已經(jīng)超過7500TB，輸出超過1700TB。
百度的Hadoop集群為整個(gè)公司的數(shù)據(jù)團(tuán)隊(duì)、大搜索團(tuán)隊(duì)、社區(qū)產(chǎn)品團(tuán)隊(duì)、廣告團(tuán)隊(duì)，以及LBS團(tuán)體提供統(tǒng)一的計(jì)算和存儲(chǔ)服務(wù)，主要應(yīng)用包括：
數(shù)據(jù)挖掘與分析。
日志分析平臺(tái)。
數(shù)據(jù)倉庫系統(tǒng)。
推薦引擎系統(tǒng)。
用戶行為分析系統(tǒng)。
同時(shí)百度在Hadoop的基礎(chǔ)上還開發(fā)了自己的日志分析平臺(tái)、數(shù)據(jù)倉庫系統(tǒng)，以及統(tǒng)一的C++編程接口，并對(duì)Hadoop進(jìn)行深度改造，開發(fā)了HadoopC++擴(kuò)展HCE系統(tǒng)。
2.阿里巴巴
阿里巴巴的Hadoop集群截至2012年大約有3200臺(tái)服務(wù)器，大約30?000物理CPU核心，總內(nèi)存100TB，總的存儲(chǔ)容量超過60PB，每天的作業(yè)數(shù)目超過150?000個(gè)，每天hivequery查詢大于6000個(gè)，每天掃描數(shù)據(jù)量約為7.5PB，每天掃描文件數(shù)約為4億，存儲(chǔ)利用率大約為80%，CPU利用率平均為65%，峰值可以達(dá)到80%。阿里巴巴的Hadoop集群擁有150個(gè)用戶組、4500個(gè)集群用戶，為淘寶、天貓、一淘、聚劃算、CBU、支付寶提供底層的基礎(chǔ)計(jì)算和存儲(chǔ)服務(wù)，主要應(yīng)用包括：
數(shù)據(jù)平臺(tái)系統(tǒng)。
搜索支撐。
廣告系統(tǒng)。
數(shù)據(jù)魔方。
量子統(tǒng)計(jì)。
淘數(shù)據(jù)。
推薦引擎系統(tǒng)。
搜索排行榜。
為了便于開發(fā)，其還開發(fā)了WebIDE繼承開發(fā)環(huán)境，使用的相關(guān)系統(tǒng)包括：Hive、Pig、Mahout、Hbase等。
3.騰訊
騰訊也是使用Hadoop最早的中國互聯(lián)網(wǎng)公司之一，截至2012年年底，騰訊的Hadoop集群機(jī)器總量超過5000臺(tái)，最大單集群約為2000個(gè)節(jié)點(diǎn)，并利用Hadoop-Hive構(gòu)建了自己的數(shù)據(jù)倉庫系統(tǒng)TDW，同時(shí)還開發(fā)了自己的TDW-IDE基礎(chǔ)開發(fā)環(huán)境。騰訊的Hadoop為騰訊各個(gè)產(chǎn)品線提供基礎(chǔ)云計(jì)算和云存儲(chǔ)服務(wù)，其支持以下產(chǎn)品：
騰訊社交廣告平臺(tái)。
搜搜(SOSO)。
拍拍網(wǎng)。
騰訊微博。
騰訊羅盤。
QQ會(huì)員。
騰訊游戲支撐。
QQ空間。
朋友網(wǎng)。
騰訊開放平臺(tái)。
財(cái)付通。
手機(jī)QQ。
QQ音樂。
4.奇虎360
奇虎360主要使用Hadoop-HBase作為其搜索引擎so.com的底層網(wǎng)頁存儲(chǔ)架構(gòu)系統(tǒng)，360搜索的網(wǎng)頁可到千億記錄，數(shù)據(jù)量在PB級(jí)別。截至2012年年底，其HBase集群規(guī)模超過300節(jié)點(diǎn)，region個(gè)數(shù)大于10萬個(gè)，使用的平臺(tái)版本如下。
HBase版本：facebook0.89-fb。
HDFS版本：facebookHadoop-20。
奇虎360在Hadoop-HBase方面的工作主要為了優(yōu)化減少HBase集群的啟停時(shí)間，并優(yōu)化減少RS異常退出后的恢復(fù)時(shí)間。
5.華為
華為公司也是Hadoop主要做出貢獻(xiàn)的公司之一，排在Google和Cisco的前面，華為對(duì)Hadoop的HA方案，以及HBase領(lǐng)域有深入研究，并已經(jīng)向業(yè)界推出了自己的基于Hadoop的大數(shù)據(jù)解決方案。
6.中國移動(dòng)
中國移動(dòng)于2010年5月正式推出大云BigCloud1.0，集群節(jié)點(diǎn)達(dá)到了1024。中國移動(dòng)的大云基于Hadoop的MapReduce實(shí)現(xiàn)了分布式計(jì)算，并利用了HDFS來實(shí)現(xiàn)分布式存儲(chǔ)，并開發(fā)了基于Hadoop的數(shù)據(jù)倉庫系統(tǒng)HugeTable，并行數(shù)據(jù)挖掘工具集BC-PDM，以及并行數(shù)據(jù)抽取轉(zhuǎn)化BC-ETL，對(duì)象存儲(chǔ)系統(tǒng)BC-ONestd等系統(tǒng)，并開源了自己的BC-Hadoop版本。
中國移動(dòng)主要在電信領(lǐng)域應(yīng)用Hadoop，其規(guī)劃的應(yīng)用領(lǐng)域包括：
經(jīng)分KPI集中運(yùn)算。
經(jīng)分系統(tǒng)ETL/DM。
結(jié)算系統(tǒng)。
信令系統(tǒng)。
云計(jì)算資源池系統(tǒng)。
物聯(lián)網(wǎng)應(yīng)用系統(tǒng)。
E-mail。
IDC服務(wù)等。
7.盤古搜索
盤古搜索(目前已和即刻搜索合并為中國搜索)主要使用Hadoop集群作為搜索引擎的基礎(chǔ)架構(gòu)支撐系統(tǒng)，截至2013年年初，集群中機(jī)器數(shù)量總計(jì)超過380臺(tái)，存儲(chǔ)總量總計(jì)3.66PB，主要包括的應(yīng)用如下。
網(wǎng)頁存儲(chǔ)。
網(wǎng)頁解析。
建索引。
Pagerank計(jì)算。
日志統(tǒng)計(jì)分析。
推薦引擎等。
即刻搜索(人民搜索)
即刻搜索(目前已與盤古搜索合并為中國搜索)也使用Hadoop作為其搜索引擎的支撐系統(tǒng)，截至2013年，其Hadoop集群規(guī)?？傆?jì)超過500臺(tái)節(jié)點(diǎn)，配置為雙路6核心CPU，48G內(nèi)存，11×2T存儲(chǔ)，集群總?cè)萘砍^10PB，使用率在78%左右，每天處理讀取的數(shù)據(jù)量約為500TB，峰值大于1P，平均約為300TB。
即刻搜索在搜索引擎中使用sstable格式存儲(chǔ)網(wǎng)頁并直接將sstable文件存儲(chǔ)在HDFS上面，主要使用HadoopPipes編程接口進(jìn)行后續(xù)處理，也使用Streaming接口處理數(shù)據(jù)，主要的應(yīng)用包括：
網(wǎng)頁存儲(chǔ)。
解析。
建索引。
推薦引擎。
end