運(yùn)營(yíng)商的新方向-運(yùn)用Hadoop技術(shù)將大數(shù)據(jù)資產(chǎn)變現(xiàn)

移動(dòng)互聯(lián)網(wǎng)時(shí)代的今天，手機(jī)不再僅僅是個(gè)通訊工具，它是錢(qián)包(手機(jī)支付)，是商店(手機(jī)淘寶)，是地圖(手機(jī)導(dǎo)航)，是資訊來(lái)源(新聞?dòng)嗛?，是社交工具(微信微博)……手機(jī)角色的變化豐富了人們的生活，卻顛覆了運(yùn)營(yíng)商的世界。不久前，運(yùn)營(yíng)商還靠著語(yǔ)音和短信服務(wù)壟斷著移動(dòng)通訊市場(chǎng)，現(xiàn)在卻不得不和微信等APP共分一杯羹。運(yùn)營(yíng)商投資提供了高速穩(wěn)定的3G/4G網(wǎng)絡(luò)，卻是為百度、阿里、騰訊等互聯(lián)網(wǎng)公司在OTT領(lǐng)域玩得風(fēng)生水起做嫁衣。智能手機(jī)用戶在手機(jī)上消費(fèi)越來(lái)越多，三大運(yùn)營(yíng)商的收入增長(zhǎng)率卻從常年的兩位數(shù)降至了一位數(shù)。缺少競(jìng)爭(zhēng)帶來(lái)的高利潤(rùn)高增長(zhǎng)模式已經(jīng)被打破。運(yùn)營(yíng)商面臨著一個(gè)抉擇：是滿足于在移動(dòng)互聯(lián)網(wǎng)市場(chǎng)中充當(dāng)管道，還是充分利用擁有網(wǎng)絡(luò)設(shè)備和海量用戶的優(yōu)勢(shì)扭轉(zhuǎn)局面，繼續(xù)做行業(yè)的領(lǐng)頭羊?運(yùn)營(yíng)商心中應(yīng)該已經(jīng)有了決定，但是運(yùn)營(yíng)商該如何利用優(yōu)勢(shì)?其實(shí)答案一直都只有一個(gè)，那就是深刻地理解用戶，深刻地理解自己。

困境的出路——精細(xì)化經(jīng)營(yíng)

互聯(lián)網(wǎng)公司大獲成功的一大原因是它們深刻地理解用戶的各種需求和習(xí)慣。它們的產(chǎn)品具有極大的多樣性，這意味著大量的創(chuàng)收方式。運(yùn)營(yíng)商雖然也通過(guò)調(diào)整通話、短信、流量的比例推出不同的套餐，相較五花八門(mén)的APP便顯得單調(diào)許多，收入增長(zhǎng)點(diǎn)極少。想要增加收入，運(yùn)營(yíng)商必須放眼用戶在通訊之外的活動(dòng)，關(guān)注過(guò)去不曾關(guān)注的用戶細(xì)節(jié)，洞察用戶的潛在需求甚至創(chuàng)造和引導(dǎo)用戶的需求。

基礎(chǔ)網(wǎng)絡(luò)設(shè)備是運(yùn)營(yíng)商的核心競(jìng)爭(zhēng)力，也是巨額投資的地方。在傳統(tǒng)優(yōu)勢(shì)語(yǔ)音和短信業(yè)務(wù)受到巨大侵蝕的情況下，運(yùn)營(yíng)商更應(yīng)該發(fā)揮它擁有網(wǎng)絡(luò)的優(yōu)勢(shì)，提供高覆蓋率、高質(zhì)量的網(wǎng)絡(luò)服務(wù)，以此來(lái)保有老客戶吸引新客戶。同時(shí)，運(yùn)營(yíng)商也應(yīng)該通過(guò)優(yōu)化網(wǎng)絡(luò)的鋪設(shè)，在保證網(wǎng)絡(luò)覆蓋率的情況下避免建設(shè)多余基站，提高投資效益。

要做到理解客戶和優(yōu)化網(wǎng)絡(luò)，運(yùn)營(yíng)商需要高度關(guān)注生產(chǎn)中的細(xì)節(jié)，換言之就是精細(xì)化經(jīng)營(yíng)。而精細(xì)化經(jīng)營(yíng)的方向都蘊(yùn)藏在運(yùn)營(yíng)商手中的海量的運(yùn)營(yíng)數(shù)據(jù)，用戶行為數(shù)據(jù)和網(wǎng)絡(luò)數(shù)據(jù)中。這些數(shù)據(jù)可以為經(jīng)營(yíng)分析和網(wǎng)絡(luò)分析提供有力的決策支撐。

運(yùn)營(yíng)商的第一步

廣東移動(dòng)下的某地級(jí)市分公司(以下稱(chēng)分公司)為了集中處理手中數(shù)據(jù)建立了統(tǒng)一的數(shù)據(jù)分析系統(tǒng)，匯聚了包括CRM(客戶關(guān)系管理)、計(jì)費(fèi)、經(jīng)營(yíng)分析和網(wǎng)絡(luò)分析四個(gè)方面的數(shù)據(jù)，總量達(dá)80TB。分公司根據(jù)業(yè)務(wù)需求用SQL設(shè)計(jì)編寫(xiě)了很多復(fù)雜模型，交給該系統(tǒng)來(lái)運(yùn)行。該系統(tǒng)的分析模塊像一顆精密的大腦，從經(jīng)營(yíng)管理數(shù)據(jù)、用戶行為數(shù)據(jù)和網(wǎng)絡(luò)優(yōu)化數(shù)據(jù)中計(jì)算出各種指標(biāo)用于支撐經(jīng)營(yíng)和網(wǎng)絡(luò)分析的決策。然而，運(yùn)營(yíng)商業(yè)務(wù)繁雜，近年來(lái)增長(zhǎng)的3G/4G業(yè)務(wù)帶來(lái)的海量數(shù)據(jù)更是增加了數(shù)據(jù)分析的難度。這些指標(biāo)不但數(shù)量大(近千個(gè)指標(biāo)，而且數(shù)量還在增長(zhǎng))，而且涉及到的表數(shù)目多(接近300張)，很多表還涉及到十多個(gè)月份的數(shù)據(jù)，導(dǎo)致計(jì)算量浩大。數(shù)據(jù)分析系統(tǒng)使用Oracle作為計(jì)算引擎，對(duì)所有指標(biāo)的一次計(jì)算至少要用兩天時(shí)間，一些復(fù)雜的指標(biāo)甚至無(wú)法得出結(jié)果。決策的制定具有很高的時(shí)效性，如此有限的計(jì)算能力讓該系統(tǒng)完全無(wú)法發(fā)揮其應(yīng)有的分析作用，大大限制了的生產(chǎn)力。為了讓該系統(tǒng)能夠正常運(yùn)轉(zhuǎn)，分公司將目光投向了在海量數(shù)據(jù)計(jì)算上有極大優(yōu)勢(shì)的大數(shù)據(jù)技術(shù)。

運(yùn)營(yíng)商的選擇

近年來(lái)，隨著大數(shù)據(jù)技術(shù)的發(fā)展，大數(shù)據(jù)解決方案的市場(chǎng)涌現(xiàn)了很多產(chǎn)品，主要分為MPP數(shù)據(jù)庫(kù)和Hadoop發(fā)行版兩種。分公司應(yīng)該選擇MPP還是Hadoop呢?在MPP或Hadoop下，它又應(yīng)該選擇哪一個(gè)具體產(chǎn)品呢?分公司的技術(shù)人員對(duì)市場(chǎng)上的產(chǎn)品進(jìn)行了仔細(xì)的調(diào)研。他們發(fā)現(xiàn)，MPP數(shù)據(jù)庫(kù)支持經(jīng)營(yíng)和網(wǎng)絡(luò)分析模型使用的SQL，但是計(jì)算性能不夠，不能快速完成運(yùn)算。而基于Hadoop的產(chǎn)品大多對(duì)SQL支持不足。分公司嘗試過(guò)某著名北美廠商的Hadoop發(fā)行版。然而，這家北美廠商的Hadoop發(fā)行版支持的SQL很少，不支持分公司的大多數(shù)經(jīng)營(yíng)和網(wǎng)絡(luò)模型。向這個(gè)Hadoop發(fā)行版遷移需要對(duì)大量模型進(jìn)行改寫(xiě)，意味著極高的知識(shí)成本。而使用混合架構(gòu)——只改寫(xiě)尤其復(fù)雜的模型放在Hadoop上計(jì)算，簡(jiǎn)單一些的模型依舊使用Oracle——會(huì)導(dǎo)致數(shù)據(jù)分析系統(tǒng)業(yè)務(wù)過(guò)于復(fù)雜，帶來(lái)大量的后期管理維護(hù)成本。最后，分公司發(fā)現(xiàn)了星環(huán)科技的Hadoop發(fā)行版一站式大數(shù)據(jù)平臺(tái)Transwarp Data Hub(TDH)。TDH平臺(tái)下的交互式內(nèi)存分析引擎Transwarp Inceptor使用Spark作為計(jì)算框架速度極快，而且全面支持SQL，完美滿足數(shù)據(jù)分析系統(tǒng)的運(yùn)算需求。然而，分公司對(duì)TDH這個(gè)完全由國(guó)內(nèi)團(tuán)隊(duì)研發(fā)的Hadoop發(fā)行版還持保留態(tài)度，了解了TDH在國(guó)內(nèi)的多個(gè)成功案例后，才決定一試。

問(wèn)題解決了

經(jīng)過(guò)部署，TDH的工作流程為：先用平臺(tái)自帶的數(shù)據(jù)導(dǎo)入工具將分公司原本存儲(chǔ)在Windows文件系統(tǒng)，Linux文件系統(tǒng)和Oracle中的數(shù)據(jù)導(dǎo)入至TDH下的分布式文件系統(tǒng)HDFS中;數(shù)據(jù)導(dǎo)入完成后，Transwarp Inceptor利用分布式內(nèi)存計(jì)算得出結(jié)果并通過(guò)TDH自帶的JDBC接口傳輸?shù)娇蛻舳嘶蛘咂渌鸅I和報(bào)表工具。

部署了TDH方案后，分公司的問(wèn)題迅速得到了解決。原先使用Oracle花兩天時(shí)間都不能完全計(jì)算得出的上千個(gè)指標(biāo)Transwarp Inceptor用了8小時(shí)便全部計(jì)算完成。從Oracle可以完成計(jì)算的指標(biāo)中隨機(jī)選取四個(gè)與TDH做性能對(duì)比，可以得到下圖(每個(gè)指標(biāo)對(duì)應(yīng)的兩個(gè)條柱中，左邊的是TDH所花時(shí)間，右邊的是Oracle所花時(shí)間，都以秒為單位)，TDH的計(jì)算優(yōu)勢(shì)一覽無(wú)余:

部署了大數(shù)據(jù)平臺(tái)后，數(shù)據(jù)分析系統(tǒng)終于可以發(fā)揮它的分析作用，將指標(biāo)傳達(dá)給決策層，清晰透明地反映經(jīng)營(yíng)管理狀況，幫助決策層迅速準(zhǔn)確地找出問(wèn)題和發(fā)現(xiàn)新的商機(jī)。在此基礎(chǔ)上，數(shù)據(jù)分析系統(tǒng)還可以通過(guò)對(duì)用戶數(shù)據(jù)的分析建立客戶標(biāo)簽，為客戶畫(huà)像，做到“比客戶更了解客戶”。這樣分公司可以基于客戶的行為分析來(lái)洞察用戶的潛在需求，通過(guò)產(chǎn)品推薦和宣傳針對(duì)性地刺激和引導(dǎo)用戶的需求，使產(chǎn)品多樣化、個(gè)性化，創(chuàng)造新的收入增長(zhǎng)點(diǎn)。根據(jù)用戶畫(huà)像，分公司還可以適當(dāng)?shù)赝瞥鰞?yōu)惠活動(dòng)和贈(zèng)送活動(dòng)來(lái)體現(xiàn)客戶關(guān)懷。另一方面，數(shù)據(jù)分析系統(tǒng)對(duì)經(jīng)營(yíng)數(shù)據(jù)的分析可以幫助領(lǐng)導(dǎo)層進(jìn)行預(yù)算管控，投資管理，進(jìn)而提升資源管理的準(zhǔn)確性，提高投資效益。而對(duì)網(wǎng)絡(luò)數(shù)據(jù)的分析可以幫助分公司優(yōu)化基站選址，減少重復(fù)投資，提高網(wǎng)絡(luò)質(zhì)量，最終提升用戶體驗(yàn)減少客戶流失甚至從競(jìng)爭(zhēng)對(duì)手中贏來(lái)客戶。

讓數(shù)據(jù)說(shuō)話

僅僅討論“精細(xì)營(yíng)銷(xiāo)”或許有些抽象。下面，我們來(lái)看看分公司具體在如何用新系統(tǒng)做用戶數(shù)據(jù)分析。在這個(gè)例子中，分公司根據(jù)用戶的手機(jī)品牌進(jìn)行了數(shù)據(jù)分析。我們將看到，單單從不同品牌的用戶習(xí)慣上我們就可以得出不少有價(jià)值的結(jié)論。

首先，對(duì)手機(jī)價(jià)位分析可以看出，分公司的客戶主要集中千元和高端兩個(gè)價(jià)位：

其中，小米占有700-1500元機(jī)市場(chǎng)中最高份額(22.9%)和1500-2000元第二的市場(chǎng)份額(21.1%，略低于第一的三星)。從這點(diǎn)可以看出，小米近年來(lái)注重線上銷(xiāo)售、針對(duì)年輕和資費(fèi)敏感客戶的營(yíng)銷(xiāo)策略取得了巨大的成功，從而在千元機(jī)和中端市場(chǎng)中脫穎而出，作為一個(gè)較新的智能終端品牌，發(fā)展勢(shì)頭強(qiáng)勁。事實(shí)上，2014年的用戶數(shù)據(jù)顯示，小米以4%的市場(chǎng)份額增幅在所有品牌中排名第一，超過(guò)3%的蘋(píng)果，也就是說(shuō)，給這個(gè)年輕品牌一些時(shí)間，它可以更加成功。

高端機(jī)市場(chǎng)中，不出所料，老牌勁旅蘋(píng)果以59.02%的市場(chǎng)份額牢牢占據(jù)龍頭地位，遠(yuǎn)超第二名三星的30.24%，幾乎是三星市場(chǎng)份額的兩倍。蘋(píng)果手機(jī)受歡迎程度我們都不陌生，“果粉”對(duì)蘋(píng)果的忠誠(chéng)度也不是新聞，那么蘋(píng)果的品牌粘性具體有多大呢?讓數(shù)字說(shuō)話：

根據(jù)對(duì)用戶數(shù)據(jù)進(jìn)行的“換機(jī)分析”，也就是統(tǒng)計(jì)用戶換手機(jī)前后使用的品牌，我們看出有超過(guò)一半的蘋(píng)果用戶會(huì)再次選擇蘋(píng)果，蘋(píng)果有著絕對(duì)的品牌忠誠(chéng)度。通過(guò)對(duì)蘋(píng)果用戶ARPU(每用戶平均付費(fèi))數(shù)據(jù)的分析，分公司發(fā)現(xiàn)，蘋(píng)果用戶中一半以上都是高價(jià)值用戶(ARPU大于80元/月)，遠(yuǎn)遠(yuǎn)多于全量市場(chǎng)的高端用戶。綜合來(lái)看，不難看出延續(xù)對(duì)蘋(píng)果的推廣和加強(qiáng)對(duì)小米的推廣都將是分公司近期營(yíng)銷(xiāo)的重點(diǎn)。

此外，分公司還對(duì)用戶的APP下載、上網(wǎng)搜索關(guān)鍵詞、閱讀內(nèi)容進(jìn)行了分析并制作了用戶標(biāo)簽。以蘋(píng)果用戶為例，他們絕大多數(shù)(99%以上)都下載了微信、QQ客戶端，上網(wǎng)搜索最偏好購(gòu)物類(lèi)關(guān)鍵詞(頻率超過(guò)90%)，閱讀習(xí)慣最喜歡經(jīng)管勵(lì)志的主題(占據(jù)一半以上的閱讀量)。所以，蘋(píng)果用戶獲得了“愛(ài)騰訊”、“愛(ài)購(gòu)物”、“愛(ài)勵(lì)志”的標(biāo)簽。利用類(lèi)似的標(biāo)簽根據(jù)用戶的行為習(xí)慣進(jìn)行有針對(duì)性的營(yíng)銷(xiāo)，不僅可以獲得更高的營(yíng)銷(xiāo)回報(bào)，還可以讓用戶方便得獲得他們所需，提升他們的滿意度。

故事還沒(méi)結(jié)束

目前，分公司的數(shù)據(jù)分析系統(tǒng)僅處理其所在地級(jí)市產(chǎn)生的數(shù)據(jù)。但是系統(tǒng)使用的大數(shù)據(jù)平臺(tái)TDH有很強(qiáng)的擴(kuò)展性，通過(guò)添加服務(wù)器便可擴(kuò)大規(guī)模和提升性能，數(shù)據(jù)分析系統(tǒng)可以輕松推廣到廣東省移動(dòng)。對(duì)全省用戶數(shù)據(jù)做分析，運(yùn)營(yíng)商將得到更全面更準(zhǔn)確的信息。在移動(dòng)互聯(lián)網(wǎng)時(shí)代，分公司選擇大數(shù)據(jù)解決方案十分有借鑒意義。因?yàn)橛脩舻脑鲩L(zhǎng)和高速網(wǎng)絡(luò)的普及，其他運(yùn)營(yíng)商都將面臨傳統(tǒng)數(shù)據(jù)庫(kù)無(wú)法解決日益增長(zhǎng)的數(shù)據(jù)的難題。但正是這些數(shù)據(jù)中蘊(yùn)藏著運(yùn)營(yíng)商的潛在問(wèn)題、解決方案和新的商機(jī)，任何運(yùn)營(yíng)商要對(duì)這些數(shù)據(jù)好好利用都必須選擇大數(shù)據(jù)解決方案。

經(jīng)營(yíng)和網(wǎng)絡(luò)分析僅僅是大數(shù)據(jù)對(duì)運(yùn)營(yíng)商業(yè)務(wù)幫助的冰山一角。大數(shù)據(jù)還可以在很多其他方面助力運(yùn)營(yíng)商。比如，大數(shù)據(jù)在處理半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)上的優(yōu)勢(shì)可以幫助運(yùn)營(yíng)商處理多媒體手機(jī)終端帶來(lái)的圖片、音頻和視頻數(shù)據(jù)。大數(shù)據(jù)對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行實(shí)時(shí)處理的能力可以幫助運(yùn)營(yíng)商及時(shí)發(fā)現(xiàn)網(wǎng)絡(luò)故障并迅速搶修，還可以根據(jù)用戶所在地點(diǎn)進(jìn)行實(shí)時(shí)wifi熱點(diǎn)推薦。毫不夸張地說(shuō)，大數(shù)據(jù)產(chǎn)品將是運(yùn)營(yíng)商在移動(dòng)互聯(lián)網(wǎng)時(shí)代最重要的工具。請(qǐng)我們共同期待大數(shù)據(jù)技術(shù)打造的更智慧的運(yùn)營(yíng)商。