大數(shù)據(jù)時代的挑戰(zhàn)、價值與應(yīng)對策略

隨著移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計算等的快速發(fā)展，及視頻監(jiān)控、智能終端、應(yīng)用商店等的快速普及，全球數(shù)據(jù)量出現(xiàn)爆炸式增長。在此背景下，電信運營商在其網(wǎng)絡(luò)無休止擴容的同時，卻面臨“增量不增收”的困境；而一些采用“數(shù)據(jù)驅(qū)動型決策”模式經(jīng)營的公司，則可將其生產(chǎn)力提高5%～6%。因此，有必要深入研究大數(shù)據(jù)時代（Big Data Era）的挑戰(zhàn)、價值與務(wù)實應(yīng)對策略。
   1大數(shù)據(jù)時代的基本特征
    據(jù)統(tǒng)計，2010年以互聯(lián)網(wǎng)為基礎(chǔ)所產(chǎn)生的數(shù)據(jù)比之前所有年份的總和還要多；而且不僅是數(shù)據(jù)量的激增，數(shù)據(jù)結(jié)構(gòu)亦在演變。Gartner預(yù)計，2012年半結(jié)構(gòu)和非結(jié)構(gòu)化的數(shù)據(jù)，諸如文檔、表格、網(wǎng)頁、音頻、圖像和視頻等將占全球網(wǎng)絡(luò)數(shù)據(jù)量的85%左右；而且，整個網(wǎng)絡(luò)體系架構(gòu)將面臨革命性改變。由此，所謂大數(shù)據(jù)時代已經(jīng)來臨！
    對于大數(shù)據(jù)時代，目前通常認為有下述四大特征，稱為“四V”特征：
    （1）量大（Volume Big）。數(shù)據(jù)量級已從TB（1012字節(jié)）發(fā)展至PB乃至ZB，可稱海量、巨量乃至超量。
    （2）多樣化（Variable Type）。數(shù)據(jù)類型繁多，愈來愈多為網(wǎng)頁、圖片、視頻、圖像與位置信息等半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)信息。
    （3）快速化（VelocityFast）。數(shù)據(jù)流往往為高速實時數(shù)據(jù)流，而且往往需要快速、持續(xù)的實時處理；處理工具亦在快速演進，軟件工程及人工智能等均可能介入。
    （4）價值高和密度低（Value HighandLowDensity）。以視頻安全監(jiān)控為例，連續(xù)不斷的監(jiān)控流中，有重大價值者可能僅為一兩秒的數(shù)據(jù)流；360°全方位視頻監(jiān)控的“死角”處，可能會挖掘出最有價值的圖像信息。
   2大數(shù)據(jù)時代面臨的挑戰(zhàn)
    （1）運營商帶寬能力與對數(shù)據(jù)洪流的適應(yīng)能力面臨前所未有的挑戰(zhàn)，管道化壓力化解及“云－管－端”的有效裝備也均面臨新挑戰(zhàn)。
    （2）大數(shù)據(jù)的“四V”特征在數(shù)據(jù)存儲、傳輸、分析、處理等方面均帶來本質(zhì)變化。數(shù)據(jù)量的快速增長，對存儲技術(shù)提出了挑戰(zhàn)；同時，需要高速信息傳輸能力支持，與低密度有價值數(shù)據(jù)的快速分析、處理能力。
    （3）海量數(shù)據(jù)洪流中，在線對話與在線交易活動日益增加，其安全威脅更為嚴峻；而且現(xiàn)今黑客的組織能力、作案工具、作案手法及隱蔽程度更上一層樓，典型的有APT（Advanced Persistent Threat，高級持續(xù)性安全威脅）。
    （4）大數(shù)據(jù)環(huán)境下通過對用戶數(shù)據(jù)的深度分析，很容易了解用戶行為和喜好，乃至企業(yè)用戶的商業(yè)機密，對個人隱私問題必須引起充分重視。
    （5）大數(shù)據(jù)時代的基本特征，決定其在技術(shù)與商業(yè)模式上有巨大的創(chuàng)新空間，這將對可持續(xù)發(fā)展起關(guān)鍵作用。
    （6）大數(shù)據(jù)時代的基本特征及安全挑戰(zhàn)，對政府制訂規(guī)則與監(jiān)管部門發(fā)揮作用提出了新的挑戰(zhàn)。
   3大數(shù)據(jù)帶來的價值
    （1）利用大數(shù)據(jù)特征，借助云計算等有效工具，深度挖掘流量與數(shù)據(jù)價值，可幫助運營商實施好流量經(jīng)營，減輕管道化風(fēng)險，發(fā)揚“云－管－端”的智能管道的威力。
    （2）多業(yè)務(wù)環(huán)境下掌握用戶體驗效果尤為重要，可從海量用戶數(shù)據(jù)中深度分析、挖掘出用戶的行為習(xí)慣和消費愛好，以實施精準營銷及網(wǎng)絡(luò)優(yōu)化，掌控數(shù)據(jù)增值的“金鑰匙”。
    （3）掌握好大數(shù)據(jù)的存儲、分類、挖掘、快速調(diào)用和決策支撐，并應(yīng)用于企業(yè)的日常運營、維護及戰(zhàn)略轉(zhuǎn)型中，成為企業(yè)可持續(xù)發(fā)展、維持競爭優(yōu)勢的當務(wù)之急與重要途徑。
    （4）充分利用對大數(shù)據(jù)的分析、挖掘，可幫助找到隱蔽性極強的APT之類的安全威脅，助力信息安全部門找到應(yīng)對新型安全威脅的有效途徑。
    （5）通過對公共大數(shù)據(jù)的分析、挖掘與利用，可減少欺詐行為及錯誤數(shù)據(jù)的負面作用、追收逃稅漏稅及刺激公共機構(gòu)生產(chǎn)力等，幫助政府節(jié)省開支。例如英國政府即通過此途徑節(jié)省大約330億英鎊/年。
   4大數(shù)據(jù)時代的應(yīng)對策略
    （1）大數(shù)據(jù)時代應(yīng)以智慧創(chuàng)新理念融合大數(shù)據(jù)與云計算，在大數(shù)據(jù)洪流中提升知識價值洞察力，實施高效實時個性化運作，建立有效增值的商業(yè)模式，確保應(yīng)對APT之類的新型安全威脅。
    （2）電信運營商轉(zhuǎn)型中流量經(jīng)營已成共識，即以智能管道與聚合平臺為基礎(chǔ)，以擴大流量規(guī)模、提升流量層次及豐富流量內(nèi)涵作為基本經(jīng)營方向，并以釋放流量價值為基本目標，可見大數(shù)據(jù)和云計算的深度融合與此流量經(jīng)營目標十分吻合。實際上已經(jīng)有一些運營商借助大數(shù)據(jù)Hadoop云工具管理與分析網(wǎng)絡(luò)中的用戶數(shù)據(jù)，為日常運維及制定市場戰(zhàn)略等提供有效支撐。
    （3）針對大數(shù)據(jù)時代的基本特征，加強全方位創(chuàng)新。包括IBM、EMC、HP、Microsoft等在內(nèi)的IT巨頭，紛紛加速收購相關(guān)大數(shù)據(jù)公司進行技術(shù)整合，尋找數(shù)據(jù)洪流大潮中新的立足點。而涉及人工智能、機器學(xué)習(xí)等新技術(shù)的創(chuàng)新應(yīng)用，已初顯效益。
    （4）將大數(shù)據(jù)時代全方位創(chuàng)新工作和智慧城市發(fā)展緊密結(jié)合。借助移動互聯(lián)網(wǎng)、大數(shù)據(jù)與云計算的融合、智能運營管道等，建立智能平臺，優(yōu)化配置城市資源，向真正的智慧城市邁進。
    （5）借助大數(shù)據(jù)創(chuàng)新處理技術(shù)應(yīng)對APT安全攻擊。APT安全攻擊的最主要特征為單點隱蔽能力強、攻擊空間路徑不確定、攻擊渠道不確定；同時APT攻擊一旦入侵成功則長期潛伏，攻擊時間上具有持續(xù)性。目前，全流量審計方案具備強大的實時檢測能力與事后回溯能力，并可將安全工作人員的分析能力、計算機存儲與運算能力組合在一起，是一種較完整的解決方案。