運營商的新方向-運用Hadoop技術(shù)將大數(shù)據(jù)資產(chǎn)變現(xiàn)

移動互聯(lián)網(wǎng)時代的今天，手機不再僅僅是個通訊工具，它是錢包(手機支付)，是商店(手機淘寶)，是地圖(手機導(dǎo)航)，是資訊來源(新聞訂閱)，是社交工具(微信微博)……手機角色的變化豐富了人們的生活，卻顛覆了運營商的世界。不久前，運營商還靠著語音和短信服務(wù)壟斷著移動通訊市場，現(xiàn)在卻不得不和微信等APP共分一杯羹。運營商投資提供了高速穩(wěn)定的3G/4G網(wǎng)絡(luò)，卻是為百度、阿里、騰訊等互聯(lián)網(wǎng)公司在OTT領(lǐng)域玩得風生水起做嫁衣。智能手機用戶在手機上消費越來越多，三大運營商的收入增長率卻從常年的兩位數(shù)降至了一位數(shù)。缺少競爭帶來的高利潤高增長模式已經(jīng)被打破。運營商面臨著一個抉擇：是滿足于在移動互聯(lián)網(wǎng)市場中充當管道，還是充分利用擁有網(wǎng)絡(luò)設(shè)備和海量用戶的優(yōu)勢扭轉(zhuǎn)局面，繼續(xù)做行業(yè)的領(lǐng)頭羊?運營商心中應(yīng)該已經(jīng)有了決定，但是運營商該如何利用優(yōu)勢?其實答案一直都只有一個，那就是深刻地理解用戶，深刻地理解自己。

困境的出路——精細化經(jīng)營

互聯(lián)網(wǎng)公司大獲成功的一大原因是它們深刻地理解用戶的各種需求和習慣。它們的產(chǎn)品具有極大的多樣性，這意味著大量的創(chuàng)收方式。運營商雖然也通過調(diào)整通話、短信、流量的比例推出不同的套餐，相較五花八門的APP便顯得單調(diào)許多，收入增長點極少。想要增加收入，運營商必須放眼用戶在通訊之外的活動，關(guān)注過去不曾關(guān)注的用戶細節(jié)，洞察用戶的潛在需求甚至創(chuàng)造和引導(dǎo)用戶的需求。

基礎(chǔ)網(wǎng)絡(luò)設(shè)備是運營商的核心競爭力，也是巨額投資的地方。在傳統(tǒng)優(yōu)勢語音和短信業(yè)務(wù)受到巨大侵蝕的情況下，運營商更應(yīng)該發(fā)揮它擁有網(wǎng)絡(luò)的優(yōu)勢，提供高覆蓋率、高質(zhì)量的網(wǎng)絡(luò)服務(wù)，以此來保有老客戶吸引新客戶。同時，運營商也應(yīng)該通過優(yōu)化網(wǎng)絡(luò)的鋪設(shè)，在保證網(wǎng)絡(luò)覆蓋率的情況下避免建設(shè)多余基站，提高投資效益。

要做到理解客戶和優(yōu)化網(wǎng)絡(luò)，運營商需要高度關(guān)注生產(chǎn)中的細節(jié)，換言之就是精細化經(jīng)營。而精細化經(jīng)營的方向都蘊藏在運營商手中的海量的運營數(shù)據(jù)，用戶行為數(shù)據(jù)和網(wǎng)絡(luò)數(shù)據(jù)中。這些數(shù)據(jù)可以為經(jīng)營分析和網(wǎng)絡(luò)分析提供有力的決策支撐。

運營商的第一步

廣東移動下的某地級市分公司(以下稱分公司)為了集中處理手中數(shù)據(jù)建立了統(tǒng)一的數(shù)據(jù)分析系統(tǒng)，匯聚了包括CRM(客戶關(guān)系管理)、計費、經(jīng)營分析和網(wǎng)絡(luò)分析四個方面的數(shù)據(jù)，總量達80TB。分公司根據(jù)業(yè)務(wù)需求用SQL設(shè)計編寫了很多復(fù)雜模型，交給該系統(tǒng)來運行。該系統(tǒng)的分析模塊像一顆精密的大腦，從經(jīng)營管理數(shù)據(jù)、用戶行為數(shù)據(jù)和網(wǎng)絡(luò)優(yōu)化數(shù)據(jù)中計算出各種指標用于支撐經(jīng)營和網(wǎng)絡(luò)分析的決策。然而，運營商業(yè)務(wù)繁雜，近年來增長的3G/4G業(yè)務(wù)帶來的海量數(shù)據(jù)更是增加了數(shù)據(jù)分析的難度。這些指標不但數(shù)量大(近千個指標，而且數(shù)量還在增長)，而且涉及到的表數(shù)目多(接近300張)，很多表還涉及到十多個月份的數(shù)據(jù)，導(dǎo)致計算量浩大。數(shù)據(jù)分析系統(tǒng)使用Oracle作為計算引擎，對所有指標的一次計算至少要用兩天時間，一些復(fù)雜的指標甚至無法得出結(jié)果。決策的制定具有很高的時效性，如此有限的計算能力讓該系統(tǒng)完全無法發(fā)揮其應(yīng)有的分析作用，大大限制了的生產(chǎn)力。為了讓該系統(tǒng)能夠正常運轉(zhuǎn)，分公司將目光投向了在海量數(shù)據(jù)計算上有極大優(yōu)勢的大數(shù)據(jù)技術(shù)。

運營商的選擇

近年來，隨著大數(shù)據(jù)技術(shù)的發(fā)展，大數(shù)據(jù)解決方案的市場涌現(xiàn)了很多產(chǎn)品，主要分為MPP數(shù)據(jù)庫和Hadoop發(fā)行版兩種。分公司應(yīng)該選擇MPP還是Hadoop呢?在MPP或Hadoop下，它又應(yīng)該選擇哪一個具體產(chǎn)品呢?分公司的技術(shù)人員對市場上的產(chǎn)品進行了仔細的調(diào)研。他們發(fā)現(xiàn)，MPP數(shù)據(jù)庫支持經(jīng)營和網(wǎng)絡(luò)分析模型使用的SQL，但是計算性能不夠，不能快速完成運算。而基于Hadoop的產(chǎn)品大多對SQL支持不足。分公司嘗試過某著名北美廠商的Hadoop發(fā)行版。然而，這家北美廠商的Hadoop發(fā)行版支持的SQL很少，不支持分公司的大多數(shù)經(jīng)營和網(wǎng)絡(luò)模型。向這個Hadoop發(fā)行版遷移需要對大量模型進行改寫，意味著極高的知識成本。而使用混合架構(gòu)——只改寫尤其復(fù)雜的模型放在Hadoop上計算，簡單一些的模型依舊使用Oracle——會導(dǎo)致數(shù)據(jù)分析系統(tǒng)業(yè)務(wù)過于復(fù)雜，帶來大量的后期管理維護成本。最后，分公司發(fā)現(xiàn)了星環(huán)科技的Hadoop發(fā)行版一站式大數(shù)據(jù)平臺Transwarp Data Hub(TDH)。TDH平臺下的交互式內(nèi)存分析引擎Transwarp Inceptor使用Spark作為計算框架速度極快，而且全面支持SQL，完美滿足數(shù)據(jù)分析系統(tǒng)的運算需求。然而，分公司對TDH這個完全由國內(nèi)團隊研發(fā)的Hadoop發(fā)行版還持保留態(tài)度，了解了TDH在國內(nèi)的多個成功案例后，才決定一試。

問題解決了

經(jīng)過部署，TDH的工作流程為：先用平臺自帶的數(shù)據(jù)導(dǎo)入工具將分公司原本存儲在Windows文件系統(tǒng)，Linux文件系統(tǒng)和Oracle中的數(shù)據(jù)導(dǎo)入至TDH下的分布式文件系統(tǒng)HDFS中;數(shù)據(jù)導(dǎo)入完成后，Transwarp Inceptor利用分布式內(nèi)存計算得出結(jié)果并通過TDH自帶的JDBC接口傳輸?shù)娇蛻舳嘶蛘咂渌鸅I和報表工具。

部署了TDH方案后，分公司的問題迅速得到了解決。原先使用Oracle花兩天時間都不能完全計算得出的上千個指標Transwarp Inceptor用了8小時便全部計算完成。從Oracle可以完成計算的指標中隨機選取四個與TDH做性能對比，可以得到下圖(每個指標對應(yīng)的兩個條柱中，左邊的是TDH所花時間，右邊的是Oracle所花時間，都以秒為單位)，TDH的計算優(yōu)勢一覽無余:

部署了大數(shù)據(jù)平臺后，數(shù)據(jù)分析系統(tǒng)終于可以發(fā)揮它的分析作用，將指標傳達給決策層，清晰透明地反映經(jīng)營管理狀況，幫助決策層迅速準確地找出問題和發(fā)現(xiàn)新的商機。在此基礎(chǔ)上，數(shù)據(jù)分析系統(tǒng)還可以通過對用戶數(shù)據(jù)的分析建立客戶標簽，為客戶畫像，做到“比客戶更了解客戶”。這樣分公司可以基于客戶的行為分析來洞察用戶的潛在需求，通過產(chǎn)品推薦和宣傳針對性地刺激和引導(dǎo)用戶的需求，使產(chǎn)品多樣化、個性化，創(chuàng)造新的收入增長點。根據(jù)用戶畫像，分公司還可以適當?shù)赝瞥鰞?yōu)惠活動和贈送活動來體現(xiàn)客戶關(guān)懷。另一方面，數(shù)據(jù)分析系統(tǒng)對經(jīng)營數(shù)據(jù)的分析可以幫助領(lǐng)導(dǎo)層進行預(yù)算管控，投資管理，進而提升資源管理的準確性，提高投資效益。而對網(wǎng)絡(luò)數(shù)據(jù)的分析可以幫助分公司優(yōu)化基站選址，減少重復(fù)投資，提高網(wǎng)絡(luò)質(zhì)量，最終提升用戶體驗減少客戶流失甚至從競爭對手中贏來客戶。

讓數(shù)據(jù)說話

僅僅討論“精細營銷”或許有些抽象。下面，我們來看看分公司具體在如何用新系統(tǒng)做用戶數(shù)據(jù)分析。在這個例子中，分公司根據(jù)用戶的手機品牌進行了數(shù)據(jù)分析。我們將看到，單單從不同品牌的用戶習慣上我們就可以得出不少有價值的結(jié)論。

首先，對手機價位分析可以看出，分公司的客戶主要集中千元和高端兩個價位：

其中，小米占有700-1500元機市場中最高份額(22.9%)和1500-2000元第二的市場份額(21.1%，略低于第一的三星)。從這點可以看出，小米近年來注重線上銷售、針對年輕和資費敏感客戶的營銷策略取得了巨大的成功，從而在千元機和中端市場中脫穎而出，作為一個較新的智能終端品牌，發(fā)展勢頭強勁。事實上，2014年的用戶數(shù)據(jù)顯示，小米以4%的市場份額增幅在所有品牌中排名第一，超過3%的蘋果，也就是說，給這個年輕品牌一些時間，它可以更加成功。

高端機市場中，不出所料，老牌勁旅蘋果以59.02%的市場份額牢牢占據(jù)龍頭地位，遠超第二名三星的30.24%，幾乎是三星市場份額的兩倍。蘋果手機受歡迎程度我們都不陌生，“果粉”對蘋果的忠誠度也不是新聞，那么蘋果的品牌粘性具體有多大呢?讓數(shù)字說話：

根據(jù)對用戶數(shù)據(jù)進行的“換機分析”，也就是統(tǒng)計用戶換手機前后使用的品牌，我們看出有超過一半的蘋果用戶會再次選擇蘋果，蘋果有著絕對的品牌忠誠度。通過對蘋果用戶ARPU(每用戶平均付費)數(shù)據(jù)的分析，分公司發(fā)現(xiàn)，蘋果用戶中一半以上都是高價值用戶(ARPU大于80元/月)，遠遠多于全量市場的高端用戶。綜合來看，不難看出延續(xù)對蘋果的推廣和加強對小米的推廣都將是分公司近期營銷的重點。

此外，分公司還對用戶的APP下載、上網(wǎng)搜索關(guān)鍵詞、閱讀內(nèi)容進行了分析并制作了用戶標簽。以蘋果用戶為例，他們絕大多數(shù)(99%以上)都下載了微信、QQ客戶端，上網(wǎng)搜索最偏好購物類關(guān)鍵詞(頻率超過90%)，閱讀習慣最喜歡經(jīng)管勵志的主題(占據(jù)一半以上的閱讀量)。所以，蘋果用戶獲得了“愛騰訊”、“愛購物”、“愛勵志”的標簽。利用類似的標簽根據(jù)用戶的行為習慣進行有針對性的營銷，不僅可以獲得更高的營銷回報，還可以讓用戶方便得獲得他們所需，提升他們的滿意度。

故事還沒結(jié)束

目前，分公司的數(shù)據(jù)分析系統(tǒng)僅處理其所在地級市產(chǎn)生的數(shù)據(jù)。但是系統(tǒng)使用的大數(shù)據(jù)平臺TDH有很強的擴展性，通過添加服務(wù)器便可擴大規(guī)模和提升性能，數(shù)據(jù)分析系統(tǒng)可以輕松推廣到廣東省移動。對全省用戶數(shù)據(jù)做分析，運營商將得到更全面更準確的信息。在移動互聯(lián)網(wǎng)時代，分公司選擇大數(shù)據(jù)解決方案十分有借鑒意義。因為用戶的增長和高速網(wǎng)絡(luò)的普及，其他運營商都將面臨傳統(tǒng)數(shù)據(jù)庫無法解決日益增長的數(shù)據(jù)的難題。但正是這些數(shù)據(jù)中蘊藏著運營商的潛在問題、解決方案和新的商機，任何運營商要對這些數(shù)據(jù)好好利用都必須選擇大數(shù)據(jù)解決方案。

經(jīng)營和網(wǎng)絡(luò)分析僅僅是大數(shù)據(jù)對運營商業(yè)務(wù)幫助的冰山一角。大數(shù)據(jù)還可以在很多其他方面助力運營商。比如，大數(shù)據(jù)在處理半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)上的優(yōu)勢可以幫助運營商處理多媒體手機終端帶來的圖片、音頻和視頻數(shù)據(jù)。大數(shù)據(jù)對實時數(shù)據(jù)進行實時處理的能力可以幫助運營商及時發(fā)現(xiàn)網(wǎng)絡(luò)故障并迅速搶修，還可以根據(jù)用戶所在地點進行實時wifi熱點推薦。毫不夸張地說，大數(shù)據(jù)產(chǎn)品將是運營商在移動互聯(lián)網(wǎng)時代最重要的工具。請我們共同期待大數(shù)據(jù)技術(shù)打造的更智慧的運營商。