中移動(dòng)掘金大數(shù)據(jù) 浪潮為其改造基礎(chǔ)架構(gòu)

海量數(shù)據(jù)是4G時(shí)代送給電信運(yùn)營(yíng)商最大的禮物。信息、互聯(lián)網(wǎng)行為數(shù)據(jù)、話單數(shù)據(jù)、WAP日志/WEB日志、互聯(lián)網(wǎng)網(wǎng)頁(yè)、投訴文本、短信文本等結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)數(shù)據(jù)呈現(xiàn)幾何式增長(zhǎng)，基于這些數(shù)據(jù)的挖掘、共享、分析已經(jīng)成為全球電信運(yùn)營(yíng)商轉(zhuǎn)變商業(yè)模式的重要資源，目前，全球120家運(yùn)營(yíng)商中，已經(jīng)有48%的企業(yè)正在實(shí)施大數(shù)據(jù)戰(zhàn)略。

某省移動(dòng)公司是全省唯一專注移動(dòng)通信領(lǐng)域的電信運(yùn)營(yíng)企業(yè)，網(wǎng)絡(luò)容量1400萬(wàn)戶，客戶總量超過(guò)6000萬(wàn)戶。作為“中國(guó)移動(dòng)通信”網(wǎng)絡(luò)的有機(jī)組成部分，該移動(dòng)公司一直專注于新技術(shù)開(kāi)發(fā)和應(yīng)用，并在大數(shù)據(jù)平臺(tái)的建設(shè)中走在了最前沿。

要用大數(shù)據(jù) 先改變基礎(chǔ)架構(gòu)

現(xiàn)階段，三大運(yùn)營(yíng)商還處于數(shù)據(jù)應(yīng)用的初級(jí)階段只支持流量經(jīng)營(yíng)、智能管道等應(yīng)用，主要采用基于內(nèi)部整合數(shù)據(jù)的分析挖掘手段，未能形成規(guī)模并進(jìn)行商業(yè)利用。而舊有系統(tǒng)建設(shè)分散，無(wú)法實(shí)現(xiàn)資源應(yīng)用共享。數(shù)據(jù)的分散存儲(chǔ)和傳統(tǒng)架構(gòu)的缺陷，無(wú)法滿足新業(yè)務(wù)發(fā)展要求。

目前國(guó)內(nèi)的三大運(yùn)營(yíng)商都在著力整合企業(yè)內(nèi)外部數(shù)據(jù)，做到內(nèi)部交易數(shù)據(jù)與互聯(lián)網(wǎng)交互數(shù)據(jù)的融合，由此開(kāi)展用戶行為模式的分析與數(shù)據(jù)挖掘并支撐各類數(shù)據(jù)應(yīng)用，包括：支持精細(xì)化營(yíng)銷、支持產(chǎn)品規(guī)劃和創(chuàng)新、支持網(wǎng)絡(luò)優(yōu)化和投資、支持能力開(kāi)放與合作。長(zhǎng)遠(yuǎn)來(lái)看，運(yùn)營(yíng)商應(yīng)建立基于大數(shù)據(jù)驅(qū)動(dòng)，以消費(fèi)者為中心、以客戶體驗(yàn)為重心的企業(yè)運(yùn)營(yíng)及組織變革模式，如淘寶將數(shù)據(jù)化運(yùn)營(yíng)貫穿業(yè)務(wù)全過(guò)程，以選品、價(jià)格和推送作為淘寶客戶體驗(yàn)的三個(gè)靈魂。

而現(xiàn)實(shí)的IT基礎(chǔ)架構(gòu)則阻礙了電信行業(yè)發(fā)展大數(shù)據(jù)的步伐。首先，傳統(tǒng)IT系統(tǒng)建設(shè)分散，很難實(shí)現(xiàn)資源和應(yīng)用共享。諸如經(jīng)營(yíng)分析、信令監(jiān)測(cè)、綜合網(wǎng)絡(luò)分析、不良信息監(jiān)測(cè)以及上網(wǎng)日志留存等大數(shù)據(jù)系統(tǒng)垂直建設(shè)較多，同時(shí)，系統(tǒng)建設(shè)存在重復(fù)建設(shè)、應(yīng)用重復(fù)開(kāi)發(fā)、各類專家資源無(wú)法共享等情況。

其次，數(shù)據(jù)分散存儲(chǔ)，標(biāo)準(zhǔn)化程度低。要對(duì)網(wǎng)絡(luò)流量大數(shù)據(jù)進(jìn)行分析，必須實(shí)現(xiàn)數(shù)據(jù)的集中存儲(chǔ)，并有統(tǒng)一的標(biāo)準(zhǔn)。但從目前來(lái)看，各大運(yùn)營(yíng)商數(shù)據(jù)系統(tǒng)的數(shù)據(jù)模型并未統(tǒng)一，跨系統(tǒng)綜合分析較為困難，在原有基礎(chǔ)之上實(shí)現(xiàn)統(tǒng)一管理的難度較高。

最后，以聯(lián)機(jī)事務(wù)處理系統(tǒng)On-Line Transaction Processing (OLTP)為核心的傳統(tǒng)架構(gòu)難以滿足新業(yè)務(wù)發(fā)展要求，海量的大數(shù)據(jù)處理需要高度易擴(kuò)展、高性能的基礎(chǔ)架構(gòu)，先行架構(gòu)在存儲(chǔ)、計(jì)算等各個(gè)方面都不能滿足需求。

架構(gòu)改變是基礎(chǔ) 整體效率是目標(biāo)

為了推進(jìn)全網(wǎng)數(shù)據(jù)流量的精細(xì)化經(jīng)營(yíng)，提升數(shù)據(jù)流量經(jīng)營(yíng)效益，尤其是挖掘數(shù)據(jù)價(jià)值，開(kāi)拓新的業(yè)務(wù)內(nèi)容和盈利項(xiàng)目，某省移動(dòng)與浪潮合作搭建大數(shù)據(jù)平臺(tái)，建成后該平臺(tái)用于多個(gè)平臺(tái)數(shù)據(jù)分析業(yè)務(wù)。平臺(tái)會(huì)處理每月客戶賬單，確保每月1日按時(shí)為用戶提供賬單服務(wù)，河南移動(dòng)每年數(shù)據(jù)符合增長(zhǎng)率在15%左右，基礎(chǔ)架構(gòu)完全可以滿足擴(kuò)容的技術(shù)需求。

由50臺(tái)浪潮雙路服務(wù)器NF5270M3構(gòu)建Hadoop平臺(tái)是系統(tǒng)的核心，另外三十臺(tái)NF5270M3構(gòu)建數(shù)據(jù)庫(kù)處理平臺(tái)。

網(wǎng)絡(luò)——容錯(cuò)，高性能

系統(tǒng)采用了全新的IP網(wǎng)絡(luò)互聯(lián)架構(gòu)，有足夠的容錯(cuò)能力和性能來(lái)支持規(guī)?；瘮?shù)據(jù)處理。這一設(shè)計(jì)方案的優(yōu)點(diǎn)是每臺(tái)服務(wù)器配置兩個(gè)10GB端口，端口通過(guò)冗余綁定方式分別與兩臺(tái)不同的匯聚交換機(jī)相連。此外通過(guò)高度冗余的三臺(tái)二層交換機(jī)將所有匯聚交換機(jī)連接為統(tǒng)一的子網(wǎng)，最大限度的提高系統(tǒng)的冗余度和節(jié)點(diǎn)間通信帶寬限制。

存儲(chǔ)——成本降20%，效率提高3倍

數(shù)據(jù)存儲(chǔ)方案也采用了分布式本地存儲(chǔ)方式，采用雙路服務(wù)器構(gòu)建，替代原有的MNC小型機(jī)加磁盤(pán)陣列的方式，建設(shè)成本降低了20%以上。新平臺(tái)可實(shí)現(xiàn)海量圖片、視頻文件的快速存儲(chǔ)與查詢，數(shù)據(jù)處理效率提升50%以上。而且，浪潮根據(jù)該省移動(dòng)數(shù)據(jù)具體需求對(duì)大數(shù)據(jù)系統(tǒng)做了深層次的優(yōu)化，在存儲(chǔ)和網(wǎng)絡(luò)資源間更均勻地平衡負(fù)載，從而將資源利用率提高三倍多。

電信行業(yè)的大數(shù)據(jù)仍然剛剛起步

該移動(dòng)完成大數(shù)據(jù)平臺(tái)建設(shè)后，不僅可以為相關(guān)企業(yè)提供數(shù)據(jù)分析報(bào)告，增加新的企業(yè)贏利點(diǎn)，而且可以通過(guò)對(duì)用戶位置信息和指令信息的歷史數(shù)據(jù)和當(dāng)前信息分析建模，服務(wù)公共服務(wù)業(yè)，指揮交通、應(yīng)對(duì)突發(fā)事件和重大活動(dòng)。

此外還可以對(duì)某個(gè)時(shí)段和某個(gè)地點(diǎn)的用戶流量和關(guān)鍵影響因素進(jìn)行分析，洞察結(jié)果可為零售商在新店設(shè)計(jì)和選址、商品促銷方式等提供決策支撐，從而幫助零售商更好地洞察客戶需求，提升營(yíng)銷業(yè)績(jī)。

2014年大數(shù)據(jù)的普及和運(yùn)用都達(dá)到了前所未有的高度，但仍然僅是一個(gè)起步。憑借數(shù)據(jù)分析來(lái)競(jìng)爭(zhēng)，實(shí)現(xiàn)數(shù)據(jù)價(jià)值貨幣化，這是運(yùn)營(yíng)商的終極追求。當(dāng)一個(gè)人拿著手機(jī)玩《刀塔傳奇》時(shí)，用快的軟件叫一輛出租車時(shí)，無(wú)形的數(shù)據(jù)已經(jīng)形成了一個(gè)流通的氣場(chǎng)，這個(gè)氣場(chǎng)就需要運(yùn)營(yíng)山的大數(shù)據(jù)平臺(tái)來(lái)支持，從這個(gè)角度看，運(yùn)營(yíng)商的大數(shù)據(jù)建設(shè)還有更遠(yuǎn)的路要走。

此次同該移動(dòng)合作的浪潮是中國(guó)領(lǐng)先的云計(jì)算和大數(shù)據(jù)方案供應(yīng)商，也是2014年唯一全面入圍三大電信運(yùn)營(yíng)商的服務(wù)器品牌廠商，在運(yùn)營(yíng)商集采中占有30%的份額。