助力精細營銷 電信行業(yè)大數(shù)據(jù)分析詳解

移動互聯(lián)網(wǎng)時代的來臨，給人們的生活和娛樂方式帶來了天翻地覆的變化，尤其是3G網(wǎng)絡的出現(xiàn)，使得人們已經(jīng)突破了時間和空間的限制，隨時隨地都可與他人交流溝通。這一全新事物的迅猛發(fā)展，給電信運營商帶來許多商機，同時也出現(xiàn)了一些挑戰(zhàn)。例如隨著移動互聯(lián)網(wǎng)的普及，用戶移動數(shù)據(jù)流量迅猛增長，數(shù)據(jù)流量收入已經(jīng)超過了點對點短信業(yè)務，成為拉動數(shù)據(jù)業(yè)務收入增長的主要驅動力。

　　如何應對大商機下的大挑戰(zhàn)

盡管新的商業(yè)凸顯，但挑戰(zhàn)也應運而生。如在3G全業(yè)務市場競爭環(huán)境下，電信運營商急需根據(jù)競爭情況和用戶需求，加快實現(xiàn)流量的實時計費和提醒，優(yōu)化數(shù)據(jù)流量資費體系，降低資費水平差距，提高精細化營銷能力，不斷提高客戶滿意度并降低流量投訴等等。而這一切都催生了對流量大數(shù)據(jù)分析的需求，大數(shù)據(jù)依賴于成熟的技術方案，但從目前看來，運營商現(xiàn)有的系統(tǒng)架構并不能很好地滿足這些需求。

從電信運營商的整體系統(tǒng)架構來看，其主要面臨四個方面的挑戰(zhàn)：

首先，傳統(tǒng)電信運營商的系統(tǒng)建設分散，很難實現(xiàn)資源和應用共享。諸如經(jīng)營分析、信令監(jiān)測、綜合網(wǎng)絡分析、不良信息監(jiān)測以及上網(wǎng)日志留存等大數(shù)據(jù)系統(tǒng)垂直建設較多。同時，很多省分公司的系統(tǒng)建設存在重復建設、應用重復開發(fā)、各類專家資源無法共享等情況。

其次，則是數(shù)據(jù)分散存儲，標準化程度低。要對電信行業(yè)的流量大數(shù)據(jù)進行分析，就必須實現(xiàn)數(shù)據(jù)的集中存儲，并有統(tǒng)一的標準。但從目前來看，各級電信運營商各大數(shù)據(jù)系統(tǒng)的數(shù)據(jù)模型并未統(tǒng)一，跨系統(tǒng)綜合分析較為困難，在原有基礎之上實現(xiàn)統(tǒng)一管理的難度較高。

再者，以OLTP為核心的傳統(tǒng)架構難以滿足新業(yè)務發(fā)展要求。電信運營商IT架構較為傳統(tǒng)的做法是采用高端架構建設(類IOE)，成本極高。并且，其僅具備良好的結構化數(shù)據(jù)處理能力，在飛速增長的非結構化、半結構化數(shù)據(jù)處理方面顯得心有余而力不足。除此之外，傳統(tǒng)的IT架構在高速增長的數(shù)據(jù)背景之下，很難滿足其存儲需求。

除了上述之外，目前電信運營商的大部分業(yè)務都只對內提供服務，未能有效地進行成規(guī)模商業(yè)利用。如何建立商業(yè)模式?如何解決用戶隱私保護問題?這是各大電信運營商都需要深思的問題。

面對上述難題與挑戰(zhàn)，并結合電信運營商現(xiàn)有業(yè)務，曙光存儲提出了針對電信運營商大數(shù)據(jù)管理總體系統(tǒng)框架模型，其主要分為四層，即物理層、數(shù)據(jù)層、模型層和應用層。其中數(shù)據(jù)層是整個運營商大數(shù)據(jù)管理的核心部分，為上層應用提供數(shù)據(jù)支持。具體如下圖所示：

那么其在實際環(huán)境中的表現(xiàn)是怎么的呢?下面我們來看看河南移動大數(shù)據(jù)平臺的案例。

河南移動Hadoop平臺案例分享

作為省級電信運營商，河南移動也需要滿足前文所提到的優(yōu)化資費體系、提高精細化營銷、提升用戶體驗等需求。因此，為了推進全網(wǎng)數(shù)據(jù)流量的精細化經(jīng)營，提升數(shù)據(jù)流量經(jīng)營效益，河南移動與曙光公司合作進行了經(jīng)分系統(tǒng)流量運營分析工程的建設。

該平臺首先用于經(jīng)分業(yè)務，基于平臺來提高數(shù)據(jù)處理速度，為公司業(yè)務開展提供數(shù)據(jù)支撐。除此之外，該平臺還用于處理每月賬單。以現(xiàn)有傳統(tǒng)Oracle數(shù)據(jù)庫集群 + 小型機 + 高端FC磁盤陣列的模式，暫時能夠保證每月1日按時提供用戶賬單，但以每年15%的數(shù)據(jù)增長量，用戶估計一年后就難以滿足需要，因此需要搭建一個處理能力更強，擴展性更高的平臺來替代現(xiàn)有系統(tǒng)。

根據(jù)河南移動提出的需求，曙光公司依據(jù)在分布式計算領域多年的積累和研究提出了基于IB網(wǎng)的Hadoop分布式計算平臺的方案。具體如下圖所示：

在這一項目建設之中，其采用150臺A620r-G雙路服務器構建Hadoop平臺，100臺A840r-G四路服務器構建數(shù)據(jù)庫處理平臺，全系統(tǒng)以Infiniband網(wǎng)絡互聯(lián)，系統(tǒng)平臺的IB網(wǎng)絡設計中，所有的網(wǎng)絡設備的連接均采用冗余設計。

這一設計方案的好處在于，每臺服務器配置兩個IB端口，IB端口通過冗余綁定方式分別與兩臺不同的匯聚交換機相連;此外通過高度冗余的三臺二層交換機將所有匯聚交換機連接為統(tǒng)一的子網(wǎng)，最大限度的提高系統(tǒng)的冗余度和節(jié)點間通信帶寬限制;兩個IB網(wǎng)關設備底層各自與兩臺二層交換機相連，上層分別與一臺路由器連接，上層的兩臺路由器通過VRRP技術實現(xiàn)IB網(wǎng)關的冗余連接，保證當任意一臺網(wǎng)關或路由設備出現(xiàn)故障時，底層服務器均有鏈路連接到上層網(wǎng)絡。

通過上述方案，該系統(tǒng)實現(xiàn)了Ethernet、Fibre channel、Infiniband三網(wǎng)融合，最大可能的滿足Hadoop集群和數(shù)據(jù)庫處理平臺的高速通訊的需要。

這僅僅是曙光公司面向大數(shù)據(jù)處理與分析的一個較為典型的案例而已，實際上，針對電信行業(yè)的需求與挑戰(zhàn)，曙光公司提出了各種有針對性的解決方案，下面我們就來一下在電信行業(yè)較為典型的話費詳單查詢系統(tǒng)解決方案和電信流量業(yè)務DPI系統(tǒng)解決方案。

迎難而上 曙光電信行業(yè)解決方案一覽

　　話費詳單查詢系統(tǒng)解決方案

隨著科技與生活水平的提高，手機已經(jīng)成為現(xiàn)代人必不可少的通訊工具之一。面對上千萬甚至上億用戶所產(chǎn)生的海量數(shù)據(jù)信息，如何在最短時間內精準定位數(shù)據(jù)，并返回正確的查詢結果，這是電信運營商最為迫切需要解決的問題。

針對話費詳單公眾查詢查詢業(yè)務，系統(tǒng)設計上要滿足海量歷史數(shù)據(jù)的獲取和存儲，同時也要滿足大并發(fā)量的查詢和檢索。針對海量詳單查詢系統(tǒng)的架構設計如下：

這一系統(tǒng)的特點在于，將查詢數(shù)據(jù)和生產(chǎn)去耦合，生產(chǎn)數(shù)據(jù)中轉之后再進行處理。再借助曙光XData大數(shù)據(jù)處理平臺，實現(xiàn)數(shù)據(jù)的高效導入、查詢及處理。面對海量數(shù)據(jù)的增長，這一大數(shù)據(jù)處理平臺的線性擴展架構，能夠面對數(shù)據(jù)量增加和查詢量增加而輕松擴展。

　　電信流量業(yè)務DPI系統(tǒng)解決方案

移動智能終端的大肆興起，使得數(shù)據(jù)業(yè)務迅猛增長，在帶來收入的同時，也產(chǎn)生了諸多的難題。例如用戶感知差，P2P濫用基站資源的有限帶寬資源，高峰時段用戶感知差，基站維護和增建，網(wǎng)絡優(yōu)化缺少依據(jù)。安全威脅多，黃色、暴力、反動等不良內容充斥網(wǎng)絡 ，被黑客控制的僵尸網(wǎng)絡主機?？焖俾?，安全隱患嚴重 ，DDoS攻擊手段日新月異，攻擊行為泛濫且難于防范。

同時，電信運營商的運維管理能力也遭遇巨大挑戰(zhàn)，疲于應付各種事件和問題，各個系統(tǒng)無規(guī)則迭加部署，眾多的離散系統(tǒng)，無法統(tǒng)一管理，網(wǎng)絡的可用性和可維護性面臨挑戰(zhàn)。迫切需要統(tǒng)一的系統(tǒng)對網(wǎng)絡應用監(jiān)管，實現(xiàn)業(yè)務的保值到增值。針對這些難題，曙光構建了基于大數(shù)據(jù)理念的電信流量業(yè)務DPI系統(tǒng)解決方案，具體架構如下：

這一方案的特點在于，其采用高速設備直接從骨干網(wǎng)絡抓取數(shù)據(jù)，而曙光XData大數(shù)據(jù)平臺能夠應對大規(guī)模流量做近實時的分析，并感知整個網(wǎng)絡狀態(tài)，優(yōu)化網(wǎng)絡運行。在應對海量數(shù)據(jù)處理、并發(fā)方面，大數(shù)據(jù)平臺幣傳統(tǒng)的關系型數(shù)據(jù)平臺更加適合DPI業(yè)務處理。

　　結語

電信行業(yè)當前面臨的數(shù)據(jù)挑戰(zhàn)和新業(yè)務運營的壓力，曙光大數(shù)據(jù)解決方案能夠充分發(fā)揮出數(shù)據(jù)的價值，在流量深度感知，新業(yè)務開發(fā)，傳統(tǒng)業(yè)務增強方面，具有高性價比，易于管理和擴展等特性，效果顯著，為運營商在移動互聯(lián)網(wǎng)時代快速發(fā)展增加引擎動力。