助力精細(xì)營銷 電信行業(yè)大數(shù)據(jù)分析詳解

移動(dòng)互聯(lián)網(wǎng)時(shí)代的來臨，給人們的生活和娛樂方式帶來了天翻地覆的變化，尤其是3G網(wǎng)絡(luò)的出現(xiàn)，使得人們已經(jīng)突破了時(shí)間和空間的限制，隨時(shí)隨地都可與他人交流溝通。這一全新事物的迅猛發(fā)展，給電信運(yùn)營商帶來許多商機(jī)，同時(shí)也出現(xiàn)了一些挑戰(zhàn)。例如隨著移動(dòng)互聯(lián)網(wǎng)的普及，用戶移動(dòng)數(shù)據(jù)流量迅猛增長，數(shù)據(jù)流量收入已經(jīng)超過了點(diǎn)對(duì)點(diǎn)短信業(yè)務(wù)，成為拉動(dòng)數(shù)據(jù)業(yè)務(wù)收入增長的主要驅(qū)動(dòng)力。

　　如何應(yīng)對(duì)大商機(jī)下的大挑戰(zhàn)

盡管新的商業(yè)凸顯，但挑戰(zhàn)也應(yīng)運(yùn)而生。如在3G全業(yè)務(wù)市場競爭環(huán)境下，電信運(yùn)營商急需根據(jù)競爭情況和用戶需求，加快實(shí)現(xiàn)流量的實(shí)時(shí)計(jì)費(fèi)和提醒，優(yōu)化數(shù)據(jù)流量資費(fèi)體系，降低資費(fèi)水平差距，提高精細(xì)化營銷能力，不斷提高客戶滿意度并降低流量投訴等等。而這一切都催生了對(duì)流量大數(shù)據(jù)分析的需求，大數(shù)據(jù)依賴于成熟的技術(shù)方案，但從目前看來，運(yùn)營商現(xiàn)有的系統(tǒng)架構(gòu)并不能很好地滿足這些需求。

從電信運(yùn)營商的整體系統(tǒng)架構(gòu)來看，其主要面臨四個(gè)方面的挑戰(zhàn)：

首先，傳統(tǒng)電信運(yùn)營商的系統(tǒng)建設(shè)分散，很難實(shí)現(xiàn)資源和應(yīng)用共享。諸如經(jīng)營分析、信令監(jiān)測、綜合網(wǎng)絡(luò)分析、不良信息監(jiān)測以及上網(wǎng)日志留存等大數(shù)據(jù)系統(tǒng)垂直建設(shè)較多。同時(shí)，很多省分公司的系統(tǒng)建設(shè)存在重復(fù)建設(shè)、應(yīng)用重復(fù)開發(fā)、各類專家資源無法共享等情況。

其次，則是數(shù)據(jù)分散存儲(chǔ)，標(biāo)準(zhǔn)化程度低。要對(duì)電信行業(yè)的流量大數(shù)據(jù)進(jìn)行分析，就必須實(shí)現(xiàn)數(shù)據(jù)的集中存儲(chǔ)，并有統(tǒng)一的標(biāo)準(zhǔn)。但從目前來看，各級(jí)電信運(yùn)營商各大數(shù)據(jù)系統(tǒng)的數(shù)據(jù)模型并未統(tǒng)一，跨系統(tǒng)綜合分析較為困難，在原有基礎(chǔ)之上實(shí)現(xiàn)統(tǒng)一管理的難度較高。

再者，以O(shè)LTP為核心的傳統(tǒng)架構(gòu)難以滿足新業(yè)務(wù)發(fā)展要求。電信運(yùn)營商IT架構(gòu)較為傳統(tǒng)的做法是采用高端架構(gòu)建設(shè)(類IOE)，成本極高。并且，其僅具備良好的結(jié)構(gòu)化數(shù)據(jù)處理能力，在飛速增長的非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)處理方面顯得心有余而力不足。除此之外，傳統(tǒng)的IT架構(gòu)在高速增長的數(shù)據(jù)背景之下，很難滿足其存儲(chǔ)需求。

除了上述之外，目前電信運(yùn)營商的大部分業(yè)務(wù)都只對(duì)內(nèi)提供服務(wù)，未能有效地進(jìn)行成規(guī)模商業(yè)利用。如何建立商業(yè)模式?如何解決用戶隱私保護(hù)問題?這是各大電信運(yùn)營商都需要深思的問題。

面對(duì)上述難題與挑戰(zhàn)，并結(jié)合電信運(yùn)營商現(xiàn)有業(yè)務(wù)，曙光存儲(chǔ)提出了針對(duì)電信運(yùn)營商大數(shù)據(jù)管理總體系統(tǒng)框架模型，其主要分為四層，即物理層、數(shù)據(jù)層、模型層和應(yīng)用層。其中數(shù)據(jù)層是整個(gè)運(yùn)營商大數(shù)據(jù)管理的核心部分，為上層應(yīng)用提供數(shù)據(jù)支持。具體如下圖所示：

那么其在實(shí)際環(huán)境中的表現(xiàn)是怎么的呢?下面我們來看看河南移動(dòng)大數(shù)據(jù)平臺(tái)的案例。

河南移動(dòng)Hadoop平臺(tái)案例分享

作為省級(jí)電信運(yùn)營商，河南移動(dòng)也需要滿足前文所提到的優(yōu)化資費(fèi)體系、提高精細(xì)化營銷、提升用戶體驗(yàn)等需求。因此，為了推進(jìn)全網(wǎng)數(shù)據(jù)流量的精細(xì)化經(jīng)營，提升數(shù)據(jù)流量經(jīng)營效益，河南移動(dòng)與曙光公司合作進(jìn)行了經(jīng)分系統(tǒng)流量運(yùn)營分析工程的建設(shè)。

該平臺(tái)首先用于經(jīng)分業(yè)務(wù)，基于平臺(tái)來提高數(shù)據(jù)處理速度，為公司業(yè)務(wù)開展提供數(shù)據(jù)支撐。除此之外，該平臺(tái)還用于處理每月賬單。以現(xiàn)有傳統(tǒng)Oracle數(shù)據(jù)庫集群 + 小型機(jī) + 高端FC磁盤陣列的模式，暫時(shí)能夠保證每月1日按時(shí)提供用戶賬單，但以每年15%的數(shù)據(jù)增長量，用戶估計(jì)一年后就難以滿足需要，因此需要搭建一個(gè)處理能力更強(qiáng)，擴(kuò)展性更高的平臺(tái)來替代現(xiàn)有系統(tǒng)。

根據(jù)河南移動(dòng)提出的需求，曙光公司依據(jù)在分布式計(jì)算領(lǐng)域多年的積累和研究提出了基于IB網(wǎng)的Hadoop分布式計(jì)算平臺(tái)的方案。具體如下圖所示：

在這一項(xiàng)目建設(shè)之中，其采用150臺(tái)A620r-G雙路服務(wù)器構(gòu)建Hadoop平臺(tái)，100臺(tái)A840r-G四路服務(wù)器構(gòu)建數(shù)據(jù)庫處理平臺(tái)，全系統(tǒng)以Infiniband網(wǎng)絡(luò)互聯(lián)，系統(tǒng)平臺(tái)的IB網(wǎng)絡(luò)設(shè)計(jì)中，所有的網(wǎng)絡(luò)設(shè)備的連接均采用冗余設(shè)計(jì)。

這一設(shè)計(jì)方案的好處在于，每臺(tái)服務(wù)器配置兩個(gè)IB端口，IB端口通過冗余綁定方式分別與兩臺(tái)不同的匯聚交換機(jī)相連;此外通過高度冗余的三臺(tái)二層交換機(jī)將所有匯聚交換機(jī)連接為統(tǒng)一的子網(wǎng)，最大限度的提高系統(tǒng)的冗余度和節(jié)點(diǎn)間通信帶寬限制;兩個(gè)IB網(wǎng)關(guān)設(shè)備底層各自與兩臺(tái)二層交換機(jī)相連，上層分別與一臺(tái)路由器連接，上層的兩臺(tái)路由器通過VRRP技術(shù)實(shí)現(xiàn)IB網(wǎng)關(guān)的冗余連接，保證當(dāng)任意一臺(tái)網(wǎng)關(guān)或路由設(shè)備出現(xiàn)故障時(shí)，底層服務(wù)器均有鏈路連接到上層網(wǎng)絡(luò)。

通過上述方案，該系統(tǒng)實(shí)現(xiàn)了Ethernet、Fibre channel、Infiniband三網(wǎng)融合，最大可能的滿足Hadoop集群和數(shù)據(jù)庫處理平臺(tái)的高速通訊的需要。

這僅僅是曙光公司面向大數(shù)據(jù)處理與分析的一個(gè)較為典型的案例而已，實(shí)際上，針對(duì)電信行業(yè)的需求與挑戰(zhàn)，曙光公司提出了各種有針對(duì)性的解決方案，下面我們就來一下在電信行業(yè)較為典型的話費(fèi)詳單查詢系統(tǒng)解決方案和電信流量業(yè)務(wù)DPI系統(tǒng)解決方案。

迎難而上 曙光電信行業(yè)解決方案一覽

　　話費(fèi)詳單查詢系統(tǒng)解決方案

隨著科技與生活水平的提高，手機(jī)已經(jīng)成為現(xiàn)代人必不可少的通訊工具之一。面對(duì)上千萬甚至上億用戶所產(chǎn)生的海量數(shù)據(jù)信息，如何在最短時(shí)間內(nèi)精準(zhǔn)定位數(shù)據(jù)，并返回正確的查詢結(jié)果，這是電信運(yùn)營商最為迫切需要解決的問題。

針對(duì)話費(fèi)詳單公眾查詢查詢業(yè)務(wù)，系統(tǒng)設(shè)計(jì)上要滿足海量歷史數(shù)據(jù)的獲取和存儲(chǔ)，同時(shí)也要滿足大并發(fā)量的查詢和檢索。針對(duì)海量詳單查詢系統(tǒng)的架構(gòu)設(shè)計(jì)如下：

這一系統(tǒng)的特點(diǎn)在于，將查詢數(shù)據(jù)和生產(chǎn)去耦合，生產(chǎn)數(shù)據(jù)中轉(zhuǎn)之后再進(jìn)行處理。再借助曙光XData大數(shù)據(jù)處理平臺(tái)，實(shí)現(xiàn)數(shù)據(jù)的高效導(dǎo)入、查詢及處理。面對(duì)海量數(shù)據(jù)的增長，這一大數(shù)據(jù)處理平臺(tái)的線性擴(kuò)展架構(gòu)，能夠面對(duì)數(shù)據(jù)量增加和查詢量增加而輕松擴(kuò)展。

　　電信流量業(yè)務(wù)DPI系統(tǒng)解決方案

移動(dòng)智能終端的大肆興起，使得數(shù)據(jù)業(yè)務(wù)迅猛增長，在帶來收入的同時(shí)，也產(chǎn)生了諸多的難題。例如用戶感知差，P2P濫用基站資源的有限帶寬資源，高峰時(shí)段用戶感知差，基站維護(hù)和增建，網(wǎng)絡(luò)優(yōu)化缺少依據(jù)。安全威脅多，黃色、暴力、反動(dòng)等不良內(nèi)容充斥網(wǎng)絡(luò) ，被黑客控制的僵尸網(wǎng)絡(luò)主機(jī)?？焖俾?，安全隱患嚴(yán)重 ，DDoS攻擊手段日新月異，攻擊行為泛濫且難于防范。

同時(shí)，電信運(yùn)營商的運(yùn)維管理能力也遭遇巨大挑戰(zhàn)，疲于應(yīng)付各種事件和問題，各個(gè)系統(tǒng)無規(guī)則迭加部署，眾多的離散系統(tǒng)，無法統(tǒng)一管理，網(wǎng)絡(luò)的可用性和可維護(hù)性面臨挑戰(zhàn)。迫切需要統(tǒng)一的系統(tǒng)對(duì)網(wǎng)絡(luò)應(yīng)用監(jiān)管，實(shí)現(xiàn)業(yè)務(wù)的保值到增值。針對(duì)這些難題，曙光構(gòu)建了基于大數(shù)據(jù)理念的電信流量業(yè)務(wù)DPI系統(tǒng)解決方案，具體架構(gòu)如下：

這一方案的特點(diǎn)在于，其采用高速設(shè)備直接從骨干網(wǎng)絡(luò)抓取數(shù)據(jù)，而曙光XData大數(shù)據(jù)平臺(tái)能夠應(yīng)對(duì)大規(guī)模流量做近實(shí)時(shí)的分析，并感知整個(gè)網(wǎng)絡(luò)狀態(tài)，優(yōu)化網(wǎng)絡(luò)運(yùn)行。在應(yīng)對(duì)海量數(shù)據(jù)處理、并發(fā)方面，大數(shù)據(jù)平臺(tái)幣傳統(tǒng)的關(guān)系型數(shù)據(jù)平臺(tái)更加適合DPI業(yè)務(wù)處理。

　　結(jié)語

電信行業(yè)當(dāng)前面臨的數(shù)據(jù)挑戰(zhàn)和新業(yè)務(wù)運(yùn)營的壓力，曙光大數(shù)據(jù)解決方案能夠充分發(fā)揮出數(shù)據(jù)的價(jià)值，在流量深度感知，新業(yè)務(wù)開發(fā)，傳統(tǒng)業(yè)務(wù)增強(qiáng)方面，具有高性價(jià)比，易于管理和擴(kuò)展等特性，效果顯著，為運(yùn)營商在移動(dòng)互聯(lián)網(wǎng)時(shí)代快速發(fā)展增加引擎動(dòng)力。