大數(shù)據(jù)時(shí)代的挑戰(zhàn)、價(jià)值與應(yīng)對(duì)策略

隨著移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計(jì)算等的快速發(fā)展，及視頻監(jiān)控、智能終端、應(yīng)用商店等的快速普及，全球數(shù)據(jù)量出現(xiàn)爆炸式增長(zhǎng)。在此背景下，電信運(yùn)營(yíng)商在其網(wǎng)絡(luò)無(wú)休止擴(kuò)容的同時(shí)，卻面臨“增量不增收”的困境；而一些采用“數(shù)據(jù)驅(qū)動(dòng)型決策”模式經(jīng)營(yíng)的公司，則可將其生產(chǎn)力提高5%～6%。因此，有必要深入研究大數(shù)據(jù)時(shí)代（Big Data Era）的挑戰(zhàn)、價(jià)值與務(wù)實(shí)應(yīng)對(duì)策略。
   1大數(shù)據(jù)時(shí)代的基本特征
    據(jù)統(tǒng)計(jì)，2010年以互聯(lián)網(wǎng)為基礎(chǔ)所產(chǎn)生的數(shù)據(jù)比之前所有年份的總和還要多；而且不僅是數(shù)據(jù)量的激增，數(shù)據(jù)結(jié)構(gòu)亦在演變。Gartner預(yù)計(jì)，2012年半結(jié)構(gòu)和非結(jié)構(gòu)化的數(shù)據(jù)，諸如文檔、表格、網(wǎng)頁(yè)、音頻、圖像和視頻等將占全球網(wǎng)絡(luò)數(shù)據(jù)量的85%左右；而且，整個(gè)網(wǎng)絡(luò)體系架構(gòu)將面臨革命性改變。由此，所謂大數(shù)據(jù)時(shí)代已經(jīng)來(lái)臨！
    對(duì)于大數(shù)據(jù)時(shí)代，目前通常認(rèn)為有下述四大特征，稱為“四V”特征：
    （1）量大（Volume Big）。數(shù)據(jù)量級(jí)已從TB（1012字節(jié)）發(fā)展至PB乃至ZB，可稱海量、巨量乃至超量。
    （2）多樣化（Variable Type）。數(shù)據(jù)類型繁多，愈來(lái)愈多為網(wǎng)頁(yè)、圖片、視頻、圖像與位置信息等半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)信息。
    （3）快速化（VelocityFast）。數(shù)據(jù)流往往為高速實(shí)時(shí)數(shù)據(jù)流，而且往往需要快速、持續(xù)的實(shí)時(shí)處理；處理工具亦在快速演進(jìn)，軟件工程及人工智能等均可能介入。
    （4）價(jià)值高和密度低（Value HighandLowDensity）。以視頻安全監(jiān)控為例，連續(xù)不斷的監(jiān)控流中，有重大價(jià)值者可能僅為一兩秒的數(shù)據(jù)流；360°全方位視頻監(jiān)控的“死角”處，可能會(huì)挖掘出最有價(jià)值的圖像信息。
   2大數(shù)據(jù)時(shí)代面臨的挑戰(zhàn)
    （1）運(yùn)營(yíng)商帶寬能力與對(duì)數(shù)據(jù)洪流的適應(yīng)能力面臨前所未有的挑戰(zhàn)，管道化壓力化解及“云－管－端”的有效裝備也均面臨新挑戰(zhàn)。
    （2）大數(shù)據(jù)的“四V”特征在數(shù)據(jù)存儲(chǔ)、傳輸、分析、處理等方面均帶來(lái)本質(zhì)變化。數(shù)據(jù)量的快速增長(zhǎng)，對(duì)存儲(chǔ)技術(shù)提出了挑戰(zhàn)；同時(shí)，需要高速信息傳輸能力支持，與低密度有價(jià)值數(shù)據(jù)的快速分析、處理能力。
    （3）海量數(shù)據(jù)洪流中，在線對(duì)話與在線交易活動(dòng)日益增加，其安全威脅更為嚴(yán)峻；而且現(xiàn)今黑客的組織能力、作案工具、作案手法及隱蔽程度更上一層樓，典型的有APT（Advanced Persistent Threat，高級(jí)持續(xù)性安全威脅）。
    （4）大數(shù)據(jù)環(huán)境下通過(guò)對(duì)用戶數(shù)據(jù)的深度分析，很容易了解用戶行為和喜好，乃至企業(yè)用戶的商業(yè)機(jī)密，對(duì)個(gè)人隱私問(wèn)題必須引起充分重視。
    （5）大數(shù)據(jù)時(shí)代的基本特征，決定其在技術(shù)與商業(yè)模式上有巨大的創(chuàng)新空間，這將對(duì)可持續(xù)發(fā)展起關(guān)鍵作用。
    （6）大數(shù)據(jù)時(shí)代的基本特征及安全挑戰(zhàn)，對(duì)政府制訂規(guī)則與監(jiān)管部門發(fā)揮作用提出了新的挑戰(zhàn)。
   3大數(shù)據(jù)帶來(lái)的價(jià)值
    （1）利用大數(shù)據(jù)特征，借助云計(jì)算等有效工具，深度挖掘流量與數(shù)據(jù)價(jià)值，可幫助運(yùn)營(yíng)商實(shí)施好流量經(jīng)營(yíng)，減輕管道化風(fēng)險(xiǎn)，發(fā)揚(yáng)“云－管－端”的智能管道的威力。
    （2）多業(yè)務(wù)環(huán)境下掌握用戶體驗(yàn)效果尤為重要，可從海量用戶數(shù)據(jù)中深度分析、挖掘出用戶的行為習(xí)慣和消費(fèi)愛(ài)好，以實(shí)施精準(zhǔn)營(yíng)銷及網(wǎng)絡(luò)優(yōu)化，掌控?cái)?shù)據(jù)增值的“金鑰匙”。
    （3）掌握好大數(shù)據(jù)的存儲(chǔ)、分類、挖掘、快速調(diào)用和決策支撐，并應(yīng)用于企業(yè)的日常運(yùn)營(yíng)、維護(hù)及戰(zhàn)略轉(zhuǎn)型中，成為企業(yè)可持續(xù)發(fā)展、維持競(jìng)爭(zhēng)優(yōu)勢(shì)的當(dāng)務(wù)之急與重要途徑。
    （4）充分利用對(duì)大數(shù)據(jù)的分析、挖掘，可幫助找到隱蔽性極強(qiáng)的APT之類的安全威脅，助力信息安全部門找到應(yīng)對(duì)新型安全威脅的有效途徑。
    （5）通過(guò)對(duì)公共大數(shù)據(jù)的分析、挖掘與利用，可減少欺詐行為及錯(cuò)誤數(shù)據(jù)的負(fù)面作用、追收逃稅漏稅及刺激公共機(jī)構(gòu)生產(chǎn)力等，幫助政府節(jié)省開(kāi)支。例如英國(guó)政府即通過(guò)此途徑節(jié)省大約330億英鎊/年。
   4大數(shù)據(jù)時(shí)代的應(yīng)對(duì)策略
    （1）大數(shù)據(jù)時(shí)代應(yīng)以智慧創(chuàng)新理念融合大數(shù)據(jù)與云計(jì)算，在大數(shù)據(jù)洪流中提升知識(shí)價(jià)值洞察力，實(shí)施高效實(shí)時(shí)個(gè)性化運(yùn)作，建立有效增值的商業(yè)模式，確保應(yīng)對(duì)APT之類的新型安全威脅。
    （2）電信運(yùn)營(yíng)商轉(zhuǎn)型中流量經(jīng)營(yíng)已成共識(shí)，即以智能管道與聚合平臺(tái)為基礎(chǔ)，以擴(kuò)大流量規(guī)模、提升流量層次及豐富流量?jī)?nèi)涵作為基本經(jīng)營(yíng)方向，并以釋放流量?jī)r(jià)值為基本目標(biāo)，可見(jiàn)大數(shù)據(jù)和云計(jì)算的深度融合與此流量經(jīng)營(yíng)目標(biāo)十分吻合。實(shí)際上已經(jīng)有一些運(yùn)營(yíng)商借助大數(shù)據(jù)Hadoop云工具管理與分析網(wǎng)絡(luò)中的用戶數(shù)據(jù)，為日常運(yùn)維及制定市場(chǎng)戰(zhàn)略等提供有效支撐。
    （3）針對(duì)大數(shù)據(jù)時(shí)代的基本特征，加強(qiáng)全方位創(chuàng)新。包括IBM、EMC、HP、Microsoft等在內(nèi)的IT巨頭，紛紛加速收購(gòu)相關(guān)大數(shù)據(jù)公司進(jìn)行技術(shù)整合，尋找數(shù)據(jù)洪流大潮中新的立足點(diǎn)。而涉及人工智能、機(jī)器學(xué)習(xí)等新技術(shù)的創(chuàng)新應(yīng)用，已初顯效益。
    （4）將大數(shù)據(jù)時(shí)代全方位創(chuàng)新工作和智慧城市發(fā)展緊密結(jié)合。借助移動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)與云計(jì)算的融合、智能運(yùn)營(yíng)管道等，建立智能平臺(tái)，優(yōu)化配置城市資源，向真正的智慧城市邁進(jìn)。
    （5）借助大數(shù)據(jù)創(chuàng)新處理技術(shù)應(yīng)對(duì)APT安全攻擊。APT安全攻擊的最主要特征為單點(diǎn)隱蔽能力強(qiáng)、攻擊空間路徑不確定、攻擊渠道不確定；同時(shí)APT攻擊一旦入侵成功則長(zhǎng)期潛伏，攻擊時(shí)間上具有持續(xù)性。目前，全流量審計(jì)方案具備強(qiáng)大的實(shí)時(shí)檢測(cè)能力與事后回溯能力，并可將安全工作人員的分析能力、計(jì)算機(jī)存儲(chǔ)與運(yùn)算能力組合在一起，是一種較完整的解決方案。