從Hadoop 說(shuō)起 六個(gè)真實(shí)的大數(shù)據(jù)應(yīng)用案例_數(shù)據(jù)分析師

案例主要關(guān)注三個(gè)問(wèn)題：數(shù)據(jù)從哪里來(lái)？數(shù)據(jù)如何存儲(chǔ)？數(shù)據(jù)如何計(jì)算？

1. Last.fm

1.1 背景
創(chuàng)建于2002年，提供網(wǎng)絡(luò)電臺(tái)和網(wǎng)絡(luò)音樂(lè)服務(wù)的社交網(wǎng)絡(luò)。每個(gè)月有2500萬(wàn)人使用Last.fm，產(chǎn)生大量數(shù)據(jù)。現(xiàn)在有了中文版http://cn.last.fm/，界面很不錯(cuò)！

2006年初，Last.fm開(kāi)始使用Hadoop，幾個(gè)月后投入實(shí)際應(yīng)用。Hadoop是Last.fm基礎(chǔ)平臺(tái)的關(guān)鍵組件，有2個(gè)Hadoop集群，50臺(tái)計(jì)算機(jī)，300個(gè)內(nèi)核，100TB的硬盤(pán)空間。在集群上，運(yùn)行數(shù)百種各種日常作業(yè)，包括日志文件分析，A/B測(cè)試評(píng)測(cè)，即時(shí)處理和圖表生成。

1.2 圖表生成

圖表生成是Hadoop在Last.fm的第一個(gè)應(yīng)用。

1.3 數(shù)據(jù)從哪里來(lái)

Last.fm有兩種收聽(tīng)信息：用戶播放自己的音樂(lè)，如pc或者其他設(shè)備mp3，這種信息通過(guò)Last.fm的客戶端或者第三方應(yīng)用發(fā)送到Last.fm，這一類叫scrobble收藏?cái)?shù)據(jù)；用戶收聽(tīng)Last.fm網(wǎng)絡(luò)電臺(tái)的節(jié)目，以及聽(tīng)節(jié)目時(shí)候的喜愛(ài)，跳過(guò)，禁止等操作信息，這一類叫radio listen電臺(tái)收聽(tīng)數(shù)據(jù)。

1.4 數(shù)據(jù)存儲(chǔ)

收聽(tīng)數(shù)據(jù)被發(fā)送到Last.fm，經(jīng)歷驗(yàn)證和轉(zhuǎn)換，形成一系列有空格分隔的文本文件，包含用戶id-userid，音樂(lè)id-trackid，這首音樂(lè)被收藏的次數(shù)scrobble，這首音樂(lè)在電臺(tái)中收聽(tīng)的次數(shù)radio，被跳過(guò)的次數(shù)skip。真實(shí)數(shù)據(jù)達(dá)到GB級(jí)別，有更多屬性字段。

1.5 數(shù)據(jù)處理

1.5.1 Unique Listeners作業(yè)：統(tǒng)計(jì)收聽(tīng)某一首歌的不同用戶數(shù)，也就說(shuō)說(shuō)，有多少個(gè)用戶聽(tīng)過(guò)某個(gè)歌，如果用戶重復(fù)收聽(tīng)，只算一次。
1.5.2 Sum作業(yè)：每首歌的收聽(tīng)總數(shù)，收藏總數(shù)，電臺(tái)收聽(tīng)總數(shù)，被跳過(guò)的總數(shù)。
1.5.3 合作作業(yè)：每首歌的被多少不同用戶收聽(tīng)總數(shù)，收聽(tīng)總數(shù)，收藏總數(shù)，電臺(tái)收聽(tīng)總數(shù)，被跳過(guò)的總數(shù)。
1.5.4 這些數(shù)據(jù)會(huì)被作為周排行榜等在Last.fm主站上顯示出來(lái)。

2. Facebook

2.1 背景

Facebook社交網(wǎng)絡(luò)。
開(kāi)始時(shí)，試用一個(gè)小Hadoop集群，很成功。同時(shí)開(kāi)始開(kāi)發(fā)Hive，Hive讓工程師能用SQL語(yǔ)言處理Hadoop集群的數(shù)據(jù)，畢竟很多人更熟悉SQL。后來(lái)，F(xiàn)acbook運(yùn)行了世界第二大Hadoop集群，數(shù)據(jù)超多2PB，每天加入10TB數(shù)據(jù)，2400個(gè)內(nèi)核，9TB內(nèi)存，大部分時(shí)間硬件滿負(fù)荷運(yùn)行。

2.2 使用情況

2.2.1 在大規(guī)模數(shù)據(jù)是以天和小時(shí)為單位產(chǎn)生概要信息。如用戶數(shù)，網(wǎng)頁(yè)瀏覽次數(shù)，網(wǎng)站訪問(wèn)時(shí)間增常情況，廣告活動(dòng)效果數(shù)據(jù)，計(jì)算用戶喜歡人和應(yīng)用程序。
2.2.2 分析歷史數(shù)據(jù)，以設(shè)計(jì)和改進(jìn)產(chǎn)品，以及管理。
2.2.3 文件存檔和日志查詢。

2.3 廣告分析

2.3.1 cpc-cost perclick點(diǎn)擊數(shù)計(jì)費(fèi)，cpm-cost per mille每千人成本。
2.3.2 個(gè)性化廣告定制：根據(jù)個(gè)體用戶進(jìn)行不同的內(nèi)容剪輯。Yahoo!的SmartAds，F(xiàn)acebook的Social Ads，Engagement Ad廣告意見(jiàn)/嵌入視頻交互。Facebook每天處理1TB數(shù)量級(jí)廣告數(shù)據(jù)。
2.3.3 用Hive分析A/B測(cè)試的結(jié)果。
2.3.4 Hadoop和Hive分析人氣網(wǎng)站，生物信息公司，原油勘探公司，在線廣告。

3.Nutch搜索引擎

3.1 Nutch框架用戶建立可擴(kuò)展的crawler網(wǎng)絡(luò)爬蟲(chóng)和搜索引擎。

3.2 架構(gòu)

3.2.1 crawlDb網(wǎng)頁(yè)數(shù)據(jù)庫(kù)：跟蹤網(wǎng)絡(luò)crawler抓取的網(wǎng)頁(yè)和它們的狀態(tài)。
3.2.2 fetchlist爬取網(wǎng)頁(yè)清單：crawler定期刷新web視圖信息，下載新的網(wǎng)頁(yè)。
3.2.3 page content原始網(wǎng)頁(yè)數(shù)據(jù)：從遠(yuǎn)程網(wǎng)站下載，以原始的未世界的格式在本地存儲(chǔ)成字節(jié)數(shù)組。
3.2.4 解析的網(wǎng)頁(yè)數(shù)據(jù)：Nutch為html, pdf, open office, ms office, rss提供了解析器。
3.2.5 linkdb鏈接圖數(shù)據(jù)庫(kù)：page rank來(lái)的。
3.2.6 lucene全文檢索索引：倒排索引，基于搜集到的所有網(wǎng)頁(yè)元數(shù)據(jù)和抽取到的純文本內(nèi)容建立。

3.3 使用情況
Nutch使用Hadoop作業(yè)處理數(shù)據(jù)。

36大數(shù)據(jù)知識(shí)圖譜：

關(guān)于Nutch：Nutch 是一個(gè)開(kāi)源Java 實(shí)現(xiàn)的搜索引擎。它提供了我們運(yùn)行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬蟲(chóng)。

4 Rackspace

4.1 背景
Rackspace hosting為企業(yè)提供管理系統(tǒng)。在數(shù)百臺(tái)服務(wù)器上為100萬(wàn)用戶和幾千家公司提供郵件服務(wù)。

4.2 使用情況

日志分析。發(fā)送郵件需要使用多個(gè)postfix郵件代理服務(wù)器，大部分消息穿越多個(gè)Postfix服務(wù)器，但每個(gè)服務(wù)器只知道郵件的目的地，為了給消息建立完整的歷史信息，需要用Hadoop處理日志記錄。

4.3 使用方式
在數(shù)據(jù)中心, syslog-ng從source機(jī)器傳統(tǒng)日志數(shù)據(jù)到一組負(fù)載均衡的collector收集器機(jī)器。在收集器上，日志數(shù)據(jù)被匯集成一個(gè)單獨(dú)的數(shù)據(jù)流，用gzip格式進(jìn)行輕量級(jí)壓縮。
當(dāng)壓縮的日志流到達(dá)本地收集器，數(shù)據(jù)會(huì)被寫(xiě)入Hadoop，這一步用簡(jiǎn)單的python腳本寫(xiě)入即可。
Hadoop集群有15個(gè)數(shù)據(jù)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)使用普通cpu和3個(gè)500G硬盤(pán)。

4.4 計(jì)算
每個(gè)電子郵件有一個(gè)唯一標(biāo)示符號(hào)queue-id。每個(gè)電子郵件有一個(gè)唯一的message-id，但惡意客戶端會(huì)重復(fù)發(fā)送消息，所以message-id會(huì)被偽造。
在Postfix日志，需要用queue-id查找message-id。
第一步，以queue-id為健，進(jìn)行map，把日志log的每個(gè)分配給對(duì)應(yīng)的queue-id，然后，執(zhí)行reduce過(guò)程，根據(jù)日志消息數(shù)值判斷queue-id的發(fā)送過(guò)程是否完整。
第二步，根據(jù)message-id對(duì)第一步的結(jié)果進(jìn)行分組，以queue-di和message-id同時(shí)為鍵，以它們對(duì)應(yīng)的日志行作為值，在reuce階段，判斷針對(duì)某個(gè)message-id的所有queue-id是否合理，驗(yàn)證消息是否離開(kāi)系統(tǒng)。

36大數(shù)據(jù)知識(shí)圖譜：

關(guān)于Rackspace：

Rackspace （NYSE：RAX）全球三大云計(jì)算中心之一，1998年成立，是一家全球領(lǐng)先的托管服務(wù)器及云計(jì)算提供商，公司總部位于美國(guó)，在英國(guó)，澳大利亞，瑞士，荷蘭及香港設(shè)有分部。在全球擁有10個(gè)以上數(shù)據(jù)中心，管理超過(guò)10萬(wàn)臺(tái)服務(wù)器。Rackspace的托管服務(wù)產(chǎn)品包括專用服務(wù)器，電子郵件，SharePoint，云服務(wù)器，云存儲(chǔ)，云網(wǎng)站等。在服務(wù)架構(gòu)上提供專用托管，公有云，私有云及混合云。

2010年，Rackspace與美國(guó)航空航天局（NASA）合作創(chuàng)始了開(kāi)源云平臺(tái)OpenStack。2012年Rackspace宣布在自己的云平臺(tái)使用建立于OpenStack的技術(shù)，并開(kāi)源自己的云平臺(tái)軟件Rackspace Cloud。

5. Cascading

5.1 背景
Cascading是一個(gè)開(kāi)源的Java庫(kù)，為MapReduce提供抽象層。用Java寫(xiě)Hadoop的MapReduce是有難度的：cascading用簡(jiǎn)單字段名和數(shù)據(jù)元組模型代替MapReduce的key-value；cascading引入了比Map和Reduce更抽象的層次，如Function, Fileter, Aggregator和Buffer。

5.2 使用情況
Cascading以字段名和元組的方式，把多個(gè)MapReduce的處理簡(jiǎn)化成一個(gè)管道鏈接起來(lái)的形式處理數(shù)據(jù)。從例子來(lái)看非常簡(jiǎn)潔，需要的代碼很少。

6. 用Pig和Wukong探索十億數(shù)據(jù)級(jí)別的網(wǎng)絡(luò)圖

6.1 圖=節(jié)點(diǎn)+連接節(jié)點(diǎn)的邊。

6.2 Infochimps項(xiàng)目，一個(gè)發(fā)現(xiàn)，共享，出售數(shù)據(jù)集的全球性網(wǎng)站。用簡(jiǎn)單的腳本語(yǔ)言-不超過(guò)一頁(yè)，就可以處理TB級(jí)別的圖數(shù)據(jù)。
6.3 在Infochimps，有twitter，faceboobk的數(shù)據(jù)集；有wiki百科數(shù)據(jù)集；線蟲(chóng)項(xiàng)目神經(jīng)愿和突觸的聯(lián)系；高速公路地圖等等。
6.4 在網(wǎng)絡(luò)圖分析上可以做出很多很好玩的有趣東東。