電信級(jí)數(shù)據(jù)流量與監(jiān)控系統(tǒng)部署案例分享

編者按：挖掘用戶的行為習(xí)慣和喜好，在凌亂紛繁的數(shù)據(jù)背后找到更符合用戶興趣和習(xí)慣的產(chǎn)品和服務(wù)，并對(duì)產(chǎn)品和服務(wù)進(jìn)行針對(duì)性地調(diào)整和優(yōu)化，這就是大數(shù)據(jù)的價(jià)值。今天分享的內(nèi)容就是永洪大數(shù)據(jù)一個(gè)大數(shù)據(jù)分析平臺(tái)的搭建部署案例。

以下為原文：

夜深了，電話鈴聲響起!這不是恐怖片的開頭，卻是我們工作的開始。

2013年5月，我們收到一個(gè)電話線索，客戶需要支持幾十億數(shù)據(jù)量的實(shí)時(shí)查詢與分析，包括數(shù)據(jù)抓取和存儲(chǔ)，我們經(jīng)過(guò)一番努力提出一個(gè)解決方案，客戶覺得有些不妥，決定自己招聘Hadoop團(tuán)隊(duì)，實(shí)施該系統(tǒng)……

半個(gè)月后，客戶打來(lái)第二個(gè)電話，明確表示Hadoop未能滿足實(shí)時(shí)大數(shù)據(jù)分析的需求，決定接受我們的方案，但是客戶要求我們不僅出產(chǎn)品，還要負(fù)責(zé)實(shí)施……

于是乎，開工!

項(xiàng)目?jī)r(jià)值

CMNET網(wǎng)間流量分析與監(jiān)控系統(tǒng)(簡(jiǎn)稱流控系統(tǒng))，是中國(guó)移動(dòng)分公司的一個(gè)項(xiàng)目。項(xiàng)目要求能基于時(shí)間、地區(qū)、運(yùn)營(yíng)商、業(yè)務(wù)、App、IP分組、域名等維度對(duì)全省的上網(wǎng)流量進(jìn)行實(shí)時(shí)分析和報(bào)告。這些分析報(bào)告能給客戶帶來(lái)如下好處：

1. 實(shí)現(xiàn)對(duì)接入鏈路和基站的全程監(jiān)控。例如，一旦來(lái)自某鏈路或基站的流量很低，可及時(shí)對(duì)鏈路和基站進(jìn)行檢修，這將大大降低故障率。

2. 由于具備了對(duì)鏈路和基站進(jìn)行全程監(jiān)控的能力，客戶可以對(duì)鏈路和基站的帶寬進(jìn)行動(dòng)態(tài)調(diào)整，基于需求進(jìn)行合理的資源配置。

3. 覆蓋全省的全量數(shù)據(jù)，能提供基于業(yè)務(wù)/地域/App/行業(yè)/域名等維度的數(shù)據(jù)分析報(bào)告，具備100%的可信度和極高的商業(yè)價(jià)值。

數(shù)據(jù)流向

上網(wǎng)數(shù)據(jù)從硬件設(shè)備中抓取出來(lái)，形成壓縮的日志文件存儲(chǔ)在服務(wù)器上，服務(wù)器每五分鐘生成新的日志文件。該服務(wù)器提供FTP訪問(wèn)。

我們方案中承擔(dān)的流控系統(tǒng)，將通過(guò)FTP每五分鐘訪問(wèn)一次日志文件服務(wù)器，將新生成的壓縮日志文件抽取出來(lái)。這是一個(gè)典型的、增量更新的ETL過(guò)程，如下：

1. Extract: 定期抽取的日志文件并解壓縮。

2. Transform: 解析出上網(wǎng)信息，同MySQL的維度表進(jìn)行關(guān)聯(lián)，生成包括業(yè)務(wù)/地域/App/行業(yè)/域名等維度的寬表。

3. Load: 將數(shù)據(jù)裝載入我們的分布式集市。

初期驗(yàn)證（POC）

中國(guó)移動(dòng)的日志數(shù)據(jù)分G類和A類，各取幾塊樣本日志文件，驗(yàn)證數(shù)據(jù)流向的可行性以及性能。

我們很快完成了ETL的整個(gè)過(guò)程，寬表數(shù)據(jù)被成功地裝載入我們的分布式集市。

性能上，我們按照用戶提出的每天數(shù)據(jù)量5000萬(wàn)條增量，計(jì)算出支持100天50億數(shù)據(jù)量的分布式集群所需的磁盤空間、內(nèi)存總量、和CPU總量。由于客戶一再?gòu)?qiáng)調(diào)預(yù)算有限，于是配置了6臺(tái)低配PC server：1cpu x 4core，32G內(nèi)存，1T硬盤。

我們模擬了常用的用戶場(chǎng)景，整個(gè)系統(tǒng)的響應(yīng)能力基本滿足需求。系統(tǒng)架構(gòu)如下：

系統(tǒng)架構(gòu)圖

正式實(shí)施

中國(guó)移動(dòng)分公司的上網(wǎng)數(shù)據(jù)在內(nèi)網(wǎng)，一般不提供外網(wǎng)連接，需要嚴(yán)格申請(qǐng)之后才能在一定時(shí)間內(nèi)提供外網(wǎng)連接。因而，我們先把整個(gè)系統(tǒng)的ETL工作開發(fā)完成之后，才正式申請(qǐng)了外網(wǎng)連接進(jìn)行數(shù)據(jù)裝載。

從開始進(jìn)行上網(wǎng)數(shù)據(jù)的ETL工作，我們就發(fā)現(xiàn)數(shù)據(jù)量與預(yù)期嚴(yán)重不符。預(yù)期的上網(wǎng)數(shù)據(jù)是每天不超過(guò)5000萬(wàn)條，但實(shí)際上每天的上網(wǎng)數(shù)據(jù)在6億條以上，100天保存的數(shù)據(jù)量將會(huì)達(dá)到驚人的六百億條。6臺(tái)低配PC server有點(diǎn)小馬拉大車的感覺，完全達(dá)不到“海量數(shù)據(jù)、實(shí)時(shí)分析”的設(shè)計(jì)目標(biāo)。我們趕緊聯(lián)系客戶，確定上網(wǎng)數(shù)據(jù)每天6億條以上，而不是之前預(yù)估的每天5000萬(wàn)條左右。怎么辦?

系統(tǒng)重構(gòu)

經(jīng)過(guò)與客戶的詳細(xì)溝通和理性分析，大家一致決定進(jìn)行系統(tǒng)重構(gòu)。

上網(wǎng)數(shù)據(jù)的日志文件是5分鐘粒度的。我們將上網(wǎng)數(shù)據(jù)按照分析需求分為兩類：

1. 細(xì)節(jié)數(shù)據(jù)：保留三天的細(xì)節(jié)數(shù)據(jù)(5分鐘粒度)，共約20億條。這樣，由于保留了細(xì)節(jié)數(shù)據(jù)，客戶可以對(duì)近三天的上網(wǎng)數(shù)據(jù)進(jìn)行任意的探索式BI分析。

2. 匯總數(shù)據(jù)：在認(rèn)真研究了流控系統(tǒng)的分析報(bào)告需求之后，我們將五分鐘的細(xì)節(jié)數(shù)據(jù)匯總為兩小時(shí)的匯總數(shù)據(jù)。這樣數(shù)據(jù)量可以降到約為原來(lái)的1/10，100天的數(shù)據(jù)總量大約60億條。

重構(gòu)之后的數(shù)據(jù)流如下：

數(shù)據(jù)流圖

后期，我們陸續(xù)進(jìn)行了一些系統(tǒng)調(diào)優(yōu)，包括JVM調(diào)優(yōu)、存儲(chǔ)調(diào)優(yōu)、計(jì)算調(diào)優(yōu)等等?？蛻舸蜷_一個(gè)Dashboard的響應(yīng)時(shí)間基本控制在秒級(jí)，最極端的分析報(bào)告也能在一分鐘之內(nèi)生成?；緦?shí)現(xiàn)了“海量數(shù)據(jù)、實(shí)時(shí)分析”：

1. 系統(tǒng)定期推送日?qǐng)?bào)、周報(bào)和月報(bào)。

2. 系統(tǒng)支持探索式BI分析。多數(shù)分析請(qǐng)求達(dá)到了秒級(jí)響應(yīng)。

案例總結(jié)

1. 項(xiàng)目的數(shù)據(jù)量非常大，100天超過(guò)600億條日志;

2. 項(xiàng)目的預(yù)算非常有限，采購(gòu)了6臺(tái)低端PC Server。硬件投入不大，軟件性價(jià)比也很高;

3. ETL過(guò)程難度較高，隨著降維的需求加入，BI層難度也相應(yīng)提高;

4. 為達(dá)到秒級(jí)響應(yīng)，以支持探索式BI的交互式分析，對(duì)系統(tǒng)進(jìn)行了多個(gè)層面的優(yōu)化。

結(jié)束語(yǔ)

有了大數(shù)據(jù)，還要從大數(shù)據(jù)中提取價(jià)值，離不開分析工具，通過(guò)豐富的分析功能，在繁雜的數(shù)據(jù)中找到其中的價(jià)值。而大數(shù)據(jù)給分析提供了一定的挑戰(zhàn)，需要高性能計(jì)算做支撐，才能在大數(shù)據(jù)的金礦中挖到金子。

這些案例的成功實(shí)施和上線，完美詮釋了我們的大數(shù)據(jù)之道：大數(shù)據(jù)，小投入。