
產(chǎn)品和應(yīng)用前景廣闊 大數(shù)據(jù)為信息社會賦能
今年5·17世界電信和信息社會日主題是“發(fā)展大數(shù)據(jù),擴大影響力”,這是國際電信聯(lián)盟首次將“大數(shù)據(jù)”設(shè)為主題。發(fā)展大數(shù)據(jù)最活躍的是互聯(lián)網(wǎng)公司,與BAT等互聯(lián)網(wǎng)巨頭相似,通信運營商儲存和管理的數(shù)據(jù)量也十分驚人,通過把數(shù)據(jù)變?yōu)楣ぞ撸怪蔀镚DP的“倍增器”。
目前,整個通信網(wǎng)絡(luò)正在努力實現(xiàn)支持更大數(shù)據(jù)流量和更多終端的連接,5G帶來的萬物互聯(lián)遠景將會使整個通信網(wǎng)絡(luò)中增加上百億的連接,這些連接需要通過大數(shù)據(jù)、云計算等技術(shù)賦予更多的智慧,為整個信息社會賦能。
通信運營商沉淀海量數(shù)據(jù)
如何更好地發(fā)揮數(shù)據(jù)資產(chǎn)的價值,對于通信運營商來說是一個嶄新的課題。通信運營商是大數(shù)據(jù)的傳送者、生產(chǎn)者和使用者。運營商中的大數(shù)據(jù)主要可分為三大類。第一類是CS(Circuit Switch)域中的信令數(shù)據(jù),主要包含用戶的電話呼叫記錄(CDR)、短信發(fā)送記錄以及終端與網(wǎng)絡(luò)的其他交互記錄(如終端的開機消息、位置更新消息、鑒權(quán)消息)等;第二類是PS(Packet Switch)域中的IP包數(shù)據(jù),PS域數(shù)據(jù)主要包含用戶上網(wǎng)時的控制面和用戶面數(shù)據(jù)包記錄,控制面數(shù)據(jù)如AAA的鑒權(quán)、認證數(shù)據(jù)包,PDP建立、更新、刪除等,用戶面數(shù)據(jù)主要是用戶的上網(wǎng)記錄數(shù)據(jù);第三類是包含用戶個人屬性的CRM數(shù)據(jù),主要包含用戶的身份資料數(shù)據(jù)、產(chǎn)品的訂購數(shù)據(jù)、用戶的消費數(shù)據(jù)、用戶的支付數(shù)據(jù)、用戶的套餐數(shù)據(jù)、用戶的終端數(shù)據(jù)等。
目前通信運營商對這些數(shù)據(jù)的管理能力已經(jīng)達到了新的水平。中國聯(lián)通信息化事業(yè)部副總經(jīng)理范濟安告訴記者,自2012年中國聯(lián)通成立全集團范圍內(nèi)的大數(shù)據(jù)中心以來,中國聯(lián)通在持續(xù)強化和提升對公司內(nèi)部數(shù)據(jù)支撐能力的同時,加快建設(shè)中國聯(lián)通大數(shù)據(jù)應(yīng)用開放平臺,已形成國內(nèi)除BAT外最大的云架構(gòu)大數(shù)據(jù)平臺,沉淀了海量的數(shù)據(jù)。
現(xiàn)在這一平臺存儲容量為85PB,Hadoop集群的計算能力已近4500個節(jié)點,平臺上集中了全國4.1億多用戶數(shù)據(jù)和GPS級的實時位置數(shù)據(jù),建立了涵蓋9大類,共計3800多個用戶標簽體系;可輕松識別4億URL,20萬個互聯(lián)網(wǎng)產(chǎn)品,約4200個手機品牌、10.5萬個終端型號;日處理5480億條上網(wǎng)記錄信息,670億條位置信息,170億條計費詳單。每月可支撐內(nèi)部各種數(shù)據(jù)查詢服務(wù)超過6000萬次。
范濟安說,在數(shù)據(jù)安全保障水平提升方面,2015年,面向全集團發(fā)布了《中國聯(lián)通數(shù)據(jù)服務(wù)安全管理辦法》,加強數(shù)據(jù)輸出及應(yīng)用監(jiān)管,嚴格把控數(shù)據(jù)質(zhì)量及數(shù)據(jù)擴散,有效開展數(shù)據(jù)治理,保障數(shù)據(jù)安全和質(zhì)量,處理好個人隱私保護(嚴格控制可追溯到個人或終端的數(shù)據(jù)授權(quán)和應(yīng)用),讓數(shù)據(jù)只能在安全可控的范圍內(nèi)使用,提供持續(xù)、穩(wěn)定、高效的大數(shù)據(jù)運營服務(wù)。2016年數(shù)據(jù)中心整體通過了ISO27001國際數(shù)據(jù)安全標準認證,實現(xiàn)了既定信息安全目標,信息安全和商業(yè)秘密信息泄露事故為零。
中國電信在大數(shù)據(jù)方面動手也很早。2014年11月4日,在中國電信牽頭下,由工信部電信研究院、中國電信、亞信、東方航空、中國互聯(lián)網(wǎng)協(xié)會等45家單位聯(lián)合組成中國企業(yè)大數(shù)據(jù)聯(lián)盟。2015年11月,中國電信正式發(fā)布了大數(shù)據(jù)開放平臺和“天翼大數(shù)據(jù)”品牌,并推出精準營銷、風險防控、區(qū)域洞察、咨詢報告4類數(shù)據(jù)型產(chǎn)品及大數(shù)據(jù)云平臺型產(chǎn)品,重點服務(wù)于旅游、金融、廣告、政府、交通等行業(yè)。
大數(shù)據(jù)產(chǎn)品和應(yīng)用
前景廣闊
中國聯(lián)通在2016年推出了六類大數(shù)據(jù)產(chǎn)品:沃標簽、沃平臺、沃征信、沃營銷、沃指數(shù)及智慧足跡。前兩個產(chǎn)品的定位是通用的基礎(chǔ)服務(wù),目標是將聯(lián)通的數(shù)據(jù)通過標簽的形式進行開放,供合作伙伴在沃平臺上使用。后四類產(chǎn)品屬行業(yè)應(yīng)用,為特定的行業(yè)提供特定的服務(wù)。
范濟安表示,六大產(chǎn)品中沃風控和沃指數(shù)取得了巨大成功,收到金融領(lǐng)域和互聯(lián)網(wǎng)企業(yè)的熱烈響應(yīng)。一年多來發(fā)展了200多個政企客戶,其中既有各大部委,又有頗具代表性的互聯(lián)網(wǎng)企業(yè);金融行業(yè)里各大保險公司等尤顯活躍,同時許多初創(chuàng)公司中小企業(yè)也紛紛利用聯(lián)通開放的數(shù)據(jù)與平臺開發(fā)運營自己的應(yīng)用。
到目前為止,中國聯(lián)通已經(jīng)形成了征信風控、沃指數(shù)、精準營銷、用戶標簽、能力開放平臺、智慧足跡、沃廣告、沃旅游、沃政務(wù)大數(shù)據(jù)共計九大產(chǎn)品。
中國聯(lián)通與國家旅游局共同開發(fā)發(fā)布的旅游大數(shù)據(jù)指數(shù)、與騰訊公司共同開發(fā)運營的防電信欺詐的天眼、與招聯(lián)公司共同開發(fā)并在雙方各自業(yè)務(wù)中部署使用的沃信用分、與中國電信合作推出的個人征信查詢系統(tǒng)大數(shù)據(jù)應(yīng)用已經(jīng)實現(xiàn)了數(shù)據(jù)的深度融合。其中與中國電信合作推出的個人征信查詢系統(tǒng)獲得工業(yè)部頒發(fā)的“司馬”獎特等獎。
風險防控產(chǎn)品基于中國電信用戶標簽數(shù)據(jù),建立用戶信用模型,主要服務(wù)于銀行、保險、征信、P2P等金融機構(gòu),在貸前風險防控、貸中風險管理、貸后風險追蹤等方面提供大數(shù)據(jù)服務(wù);區(qū)域洞察產(chǎn)品基于中國電信用戶位置標簽數(shù)據(jù),為道路交通、區(qū)域人流分析、商業(yè)選址分析、智慧城市建設(shè)、智慧旅游建設(shè)等領(lǐng)域提供數(shù)據(jù)服務(wù)。
中國移動利用大數(shù)據(jù)精準扶貧。智慧精準扶貧系統(tǒng)依托中國移動在IT和數(shù)據(jù)方面的資源及能力,具備精準識別、精準匹配、精準幫扶與精準管控等功能,可以實現(xiàn)貧困組織(縣/村等)、貧困戶、貧困人口的精準識別,系統(tǒng)不僅可以在電子屏上精準顯示貧困戶、幫扶黨員干部等的數(shù)據(jù)信息,還能通過數(shù)據(jù)圖表分析出貧困人口致貧原因、務(wù)工狀況、文化程度,圖文并茂、一目了然,可以更精準地制定扶貧方案。
通信運營商
發(fā)展大數(shù)據(jù)僅是開端
電信運營商發(fā)展大數(shù)據(jù),也面臨很多挑戰(zhàn)。范濟安說,經(jīng)過四年的建設(shè)運行,中國聯(lián)通在數(shù)據(jù)集中、平臺建設(shè)、對外開放和服務(wù)運營等方面積累了一些經(jīng)驗,在國內(nèi)具備一定的領(lǐng)先地位。與國內(nèi)同行相比,中國聯(lián)通的領(lǐng)先優(yōu)勢有四點:全國集中的數(shù)據(jù)、數(shù)據(jù)質(zhì)量、平臺規(guī)模與能力、集團與分子公司之間協(xié)調(diào)發(fā)展的一體化運營體系?!巴瑖馔邢啾龋瑧?yīng)該說我們是兩優(yōu)一劣:數(shù)據(jù)量和應(yīng)用廣度與深度要遠遠優(yōu)于國外;而在技術(shù)方面,大量使用的開源軟件還都源自國外。”
當前,針對“互聯(lián)網(wǎng)+”或產(chǎn)業(yè)互聯(lián)網(wǎng)中所需的多行業(yè)業(yè)務(wù)和數(shù)據(jù)融合模式,首先,在對外開放方面,運營商過于聚焦在銀行、保險、征信等領(lǐng)域,在工業(yè)制造等行業(yè)的案例寥寥無幾。其次是缺乏像德國“工業(yè)4.0”中的大數(shù)據(jù)或其中的工業(yè)數(shù)據(jù)空間IDS那樣有個系統(tǒng)化的頂層設(shè)計,流于摸著石頭過河。最重要的是第三點,即運營商只能做到有限的數(shù)據(jù)開放,而沒有做到數(shù)據(jù)共享和多方數(shù)據(jù)的整合。
范濟安表示,出于防止數(shù)據(jù)擴散,用戶個人信息可能受到侵犯,數(shù)據(jù)價值無法持久化等方面的考慮,中國聯(lián)通在數(shù)據(jù)對外合作方面往往采取的是“請進來”的方式(這也是運營商的普遍情況)。這樣的做法有兩個缺陷:一是過于以我為中心,請進來的基本都是自身沒數(shù)據(jù)或有數(shù)據(jù)也不愿意分享的合作伙伴;二是如果大家都堅持這種“請進來”的模式,不能實現(xiàn)多方數(shù)據(jù)的整合,跨行業(yè)應(yīng)用就得不到發(fā)展。
歐洲最大應(yīng)用科學研究機構(gòu)、有2萬多研究人員、20億歐元研究經(jīng)費的德國Fraunhofer研究所在德國“工業(yè)4.0”項目中啟動和領(lǐng)導了德國工業(yè)數(shù)字化創(chuàng)新的工業(yè)數(shù)據(jù)空間子項目(IDS),該子項目專注于跨行業(yè)數(shù)據(jù)代理交換和數(shù)據(jù)應(yīng)用,其目的是將分散的工業(yè)數(shù)據(jù)轉(zhuǎn)換為一個可信的數(shù)據(jù)網(wǎng)絡(luò)空間,目前已經(jīng)得到德國或國際30多個重點企業(yè)支持,其中不乏世界500強企業(yè),如歐洲著名的保險公司Allianz、最大的IT服務(wù)公司Atos Origin、世界知名的拜耳制藥公司、世界頂級會計事務(wù)所普華永道、德國技術(shù)檢驗協(xié)會TUV、大眾汽車、重型工業(yè)公司克虜伯、蒂森等。
“IDS中的去中心化思想摒除了將數(shù)據(jù)都集中在一個平臺上進行整合、共享的方案,奠定了大數(shù)據(jù)持續(xù)順暢發(fā)展的基石。”范濟安說,“所以我們在積極與Fraunhofer研究所合作,希望能夠借鑒他們的經(jīng)驗,滿足30家世界500強企業(yè)到中國來發(fā)展的需求,發(fā)展數(shù)據(jù)交易技術(shù),打造一張去中心化的、由認證的合作伙伴自營的中國式工業(yè)大數(shù)據(jù)網(wǎng),實現(xiàn)中國聯(lián)通從‘請進來’到‘走出去’的發(fā)展愿望,實現(xiàn)三家運營商以及眾多大數(shù)據(jù)企業(yè)在數(shù)據(jù)合作上共享共贏的愿望。此外,我們也在與我們的戰(zhàn)略合作伙伴西班牙電信在多個維度開展合作。”
從數(shù)據(jù)資源或資產(chǎn)的角度,互聯(lián)網(wǎng)企業(yè)的數(shù)據(jù)一般受限于本身的業(yè)務(wù)和數(shù)據(jù)基因,其數(shù)據(jù)的范圍和深度都是有限的。運營商在大數(shù)據(jù)領(lǐng)域具有其他行業(yè)無可比擬的優(yōu)勢,主要體現(xiàn)在以下三個方面:一是規(guī)模性。一方面是數(shù)據(jù)體量大,每天產(chǎn)生的數(shù)據(jù)以PB計算,具有豐富充足的數(shù)據(jù)源;另一方面是數(shù)據(jù)維度全面,包含用戶行為、地理位置、上網(wǎng)行為、運動軌跡、支付能力、咨詢投訴等信息;二是準確性。網(wǎng)絡(luò)系統(tǒng)可實時產(chǎn)生與終端用戶相關(guān)的多維度行為信息,準確實時的反映用戶行為狀態(tài)。三是連續(xù)性。網(wǎng)絡(luò)數(shù)據(jù)可持續(xù)提供,具有連續(xù)和可追溯性,僅取決于數(shù)據(jù)的存儲策略,無人為因素干擾。而且通過這些不同維度數(shù)據(jù)的交叉關(guān)聯(lián),可以創(chuàng)造更多的新數(shù)據(jù)和新價值。
作為運營商,盡管在數(shù)據(jù)資源上具有其獨特的價值,并不意味著僅靠自身的數(shù)據(jù)就所向披靡。尤其是在跨行業(yè)的復合場景下,多個數(shù)據(jù)源的關(guān)聯(lián)分析能產(chǎn)生出更大的價值。這就要求運營商還要整合更為廣泛的外部數(shù)據(jù)源,包括其他行業(yè)、公司及政府機構(gòu)。
通信運營商發(fā)展大數(shù)據(jù),目前僅僅是一個開端。整個通信網(wǎng)絡(luò)正在努力實現(xiàn)支持更大數(shù)據(jù)流量和更多終端的連接,5G帶來的萬物互聯(lián)遠景將會使整個通信網(wǎng)絡(luò)中增加上百億的連接,這些連接需要通過大數(shù)據(jù)、云計算等技術(shù)賦予更多的智慧,需要運營商通過持續(xù)不斷的投入和深入的行業(yè)分析,為整個信息社會賦能。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
訓練與驗證損失驟升:機器學習訓練中的異常診斷與解決方案 在機器學習模型訓練過程中,“損失曲線” 是反映模型學習狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對數(shù)據(jù)的需求已從 “存儲” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計基本概念成為業(yè)務(wù)決策的底層邏輯 統(tǒng)計基本概念是商業(yè)數(shù)據(jù)分析的 “基礎(chǔ)語言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計學領(lǐng)域,假設(shè)檢驗是驗證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當下,精準營銷成為企業(yè)突圍的核心方 ...
2025-09-11