實(shí)時(shí)大數(shù)據(jù)分析是網(wǎng)絡(luò)分析的一種新方法

當(dāng)被分解到其最簡單的形式時(shí)，大數(shù)據(jù)分析包括兩部分，以便將自身與數(shù)據(jù)倉庫和商業(yè)智能進(jìn)行區(qū)分：

實(shí)時(shí)行動(dòng)

分布式，并行處理

大數(shù)據(jù)分析能夠解決處理大量無關(guān)且不能存放在一個(gè)單一的服務(wù)器或數(shù)據(jù)庫的數(shù)據(jù)集所帶來的普遍的挑戰(zhàn)問題。而這個(gè)問題可以通過使用分布式并行處理分布在多個(gè)服務(wù)器的大型數(shù)據(jù)集得以解決，每臺服務(wù)器處理并行數(shù)據(jù)的一部分。大數(shù)據(jù)分析可以與結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)工作，因?yàn)樗⒉恍枰粋€(gè)特定的結(jié)構(gòu)。這種做法的一個(gè)例子將使用Hadoop的MapReduce，其也可以看作是大數(shù)據(jù)對今天的深遠(yuǎn)影響。

盡管目前有方法來處理大量的數(shù)據(jù)，大數(shù)據(jù)處理縮小以便能夠在指定的時(shí)間內(nèi)完成。現(xiàn)在，時(shí)限這一概念比以往任何時(shí)候都越來越都多的與“實(shí)時(shí)”相關(guān)。

盡管RTBDA仍然是一個(gè)相對較新的概念，但其解決了實(shí)時(shí)主動(dòng)或被動(dòng)的采取措施的需求。而這是基于互聯(lián)網(wǎng)內(nèi)容和服務(wù)提供商們了解到了正在發(fā)生的事情，檢查情況并實(shí)時(shí)采取行動(dòng)。

理解“實(shí)時(shí)”電信

在實(shí)時(shí)大數(shù)據(jù)分析：新興架構(gòu)大會(huì)上，邁克巴洛問道，“所謂的實(shí)時(shí)到底有多'實(shí)時(shí)'?”“這取決于你的目標(biāo)，問題的答案會(huì)有動(dòng)態(tài)的變化。在某些情況下，秒或毫秒就足夠了，而在另一些情況下，實(shí)時(shí)需要更快。

這個(gè)問題是從電信方面很有趣。它揭示了當(dāng)前的電信運(yùn)營商們?nèi)绻胍晒Φ慕鉀QOTT公司所帶來的流量挑戰(zhàn)所必須面臨的一個(gè)潛在的弱點(diǎn)。這樣的話，目前在電信行業(yè)所能夠接受的“實(shí)時(shí)”的標(biāo)準(zhǔn)就顯得不再足夠了。

此前，電信網(wǎng)絡(luò)使用面向連接的技術(shù)。程序只能進(jìn)行集中在一個(gè)高度結(jié)構(gòu)化的進(jìn)程，前一分鐘的網(wǎng)絡(luò)與后一分鐘并沒有多大的修改，甚至?xí)r間跨度一小時(shí)也不會(huì)有太大改變。在這些情況下，在一致的時(shí)間間隔從網(wǎng)絡(luò)上收集信息就知道發(fā)生了什么。該協(xié)議的管理信息豐富，能夠從一個(gè)協(xié)議聚集大量的洞察力。在這種情況下，“實(shí)時(shí)”可以在幾秒鐘之內(nèi)甚至幾分鐘內(nèi)定義，這就是為什么他們通過每5到15分鐘收集呼叫詳細(xì)記錄(CDR)就能充分獲得完全的洞察力的原因了。

同樣的情形在今天已經(jīng)不再可能。向LTE的過渡使電信運(yùn)營商完成過渡到基于以太網(wǎng)和IP的數(shù)據(jù)包網(wǎng)絡(luò)，其功能與面向連接的技術(shù)和協(xié)議是完全不同的。

IP網(wǎng)絡(luò)的一個(gè)基本原則是：網(wǎng)絡(luò)是自給自足的。網(wǎng)絡(luò)提供了流量傳輸?shù)耐ǖ?，并依?jù)流量擁堵和其他情況進(jìn)行網(wǎng)絡(luò)路徑重定向。這個(gè)特點(diǎn)使網(wǎng)絡(luò)能夠迅速就相關(guān)的改變做出回應(yīng)。缺點(diǎn)是無法確切地預(yù)測流量。這種情況又因以太網(wǎng)和IP協(xié)議變得復(fù)雜，缺乏面向連接的協(xié)議所能提供的同等水平的管理信息。

分組傳輸網(wǎng)絡(luò)(Packet networks )本質(zhì)上也是動(dòng)態(tài)的，因?yàn)槠湓O(shè)計(jì)初衷是為多個(gè)用戶共享相同的基礎(chǔ)設(shè)施提供服務(wù)的。在較長的一段時(shí)間，網(wǎng)絡(luò)的消耗看起來很低，但在現(xiàn)實(shí)中流量傳輸需求很大，可能消耗掉所有可用的帶寬。在這種情況下，對IP網(wǎng)絡(luò)應(yīng)該做出反饋，確保流量是在穩(wěn)定的網(wǎng)絡(luò)上傳輸。最終，在網(wǎng)絡(luò)中可能從一個(gè)IP包或以太網(wǎng)幀到下一個(gè)發(fā)生變化。

電信網(wǎng)絡(luò)管理和數(shù)據(jù)分析的中心問題是他們都依靠事件詳細(xì)記錄(EDRs)，CDRs和IP詳細(xì)記錄(IPDRs)來深入了解實(shí)時(shí)發(fā)生的狀況。

在過去，“實(shí)時(shí)”這一定義每隔幾分鐘就已經(jīng)足夠了。當(dāng)我們考慮到以太網(wǎng)幀在10 Gbps網(wǎng)絡(luò)可以以每幀短短67納秒的時(shí)間在之間以太網(wǎng)幀傳輸，我們就開始理解在一個(gè)分組傳輸網(wǎng)絡(luò)的“實(shí)時(shí)”指的是什么了。在現(xiàn)如今這個(gè)快節(jié)奏的環(huán)境“實(shí)時(shí)”的概念已經(jīng)不僅不是分鐘，也不是秒來。今天，其是以納秒為時(shí)間間隔了。

實(shí)時(shí)評估

使用CDRs，EDRs和IPDRs進(jìn)行大數(shù)據(jù)分析是一個(gè)好主意，這取決于企業(yè)正在努力完成的任務(wù)。大數(shù)據(jù)分析可以以兩種方式制定決策：

實(shí)時(shí)決策

根據(jù)趨勢及預(yù)測分析加強(qiáng)規(guī)劃，以及服務(wù)和網(wǎng)絡(luò)的優(yōu)化

利用明細(xì)記錄、以及其他結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)源進(jìn)行優(yōu)化和規(guī)劃是必要的。這些記錄包括豐富的信息，幫助預(yù)測有用的趨勢。除非輔以分組網(wǎng)絡(luò)的實(shí)時(shí)信息，提供關(guān)于發(fā)生了什么的精確細(xì)節(jié)，否則這些信息將無法提供一個(gè)完整的視圖。

不幸的是，詳細(xì)的記錄不能用于實(shí)時(shí)決策，因?yàn)槠渲皇敲?至15分鐘的時(shí)間間隔進(jìn)行收集。這個(gè)時(shí)間間隔與我們對什么是真正分組網(wǎng)絡(luò)實(shí)時(shí)的理解不兼容。其需要不斷收集，存儲(chǔ)和分析真正的實(shí)時(shí)網(wǎng)絡(luò)信息，進(jìn)行決策。要理解網(wǎng)絡(luò)正在發(fā)生什么，必須對所有相關(guān)的以太網(wǎng)幀與IP數(shù)據(jù)包進(jìn)行實(shí)時(shí)審查。

通過以這種方式捕獲和存儲(chǔ)網(wǎng)絡(luò)信息，我們不僅具備了能夠分析使用實(shí)時(shí)信息的能力，同時(shí)也可以為我們提供一個(gè)了解在信息網(wǎng)絡(luò)發(fā)生了什么事件的基礎(chǔ)的詳細(xì)可靠的方式，以補(bǔ)充其他大數(shù)據(jù)的活動(dòng)的洞察。

RTBDA在電信行業(yè)的應(yīng)用

實(shí)時(shí)數(shù)據(jù)采集層可以為決策制定提供可操作的、層出不窮的材料。無論是電信管理論壇和IP網(wǎng)絡(luò)監(jiān)控的服務(wù)質(zhì)量智能支持(IPNQSIS)項(xiàng)目，以及歐洲Celtic-Plus計(jì)劃的一部分，都曾研究過這個(gè)需求，作為提升各自客戶體驗(yàn)管理的努力的一部分。這兩個(gè)項(xiàng)目的結(jié)論是，探頭和設(shè)備對于了解在網(wǎng)絡(luò)中正在發(fā)生的事情的可靠，實(shí)時(shí)洞察是必要的。

典型地，探頭數(shù)據(jù)采集器將數(shù)據(jù)傳送到其他管理系統(tǒng)，而設(shè)備使用相同的技術(shù)，而且能夠分析數(shù)據(jù)，并可以在本地存儲(chǔ)信息。通常情況下，設(shè)備集中于一個(gè)特定的任務(wù)，比如性能監(jiān)控，測試和測量，或安全性，并且往往被視為滿足非常具體的要求。在另一方面，探頭和設(shè)備可以作為大數(shù)據(jù)分析的實(shí)時(shí)數(shù)據(jù)源發(fā)揮更多的戰(zhàn)術(shù)作用，并幫助實(shí)現(xiàn)RTBDA戰(zhàn)略。下文中提供了一個(gè)這樣的基礎(chǔ)設(shè)施如何實(shí)現(xiàn)的三個(gè)步驟的視圖。

實(shí)現(xiàn)部署

最初的步驟需要數(shù)據(jù)采集設(shè)備的部署。這里的一個(gè)關(guān)鍵因素是以太網(wǎng)幀和IP數(shù)據(jù)包必須被實(shí)時(shí)捕獲，不管在什么情況下，以線速度且零數(shù)據(jù)包丟失。這種可見性證實(shí)了源源不斷的可靠信息的收集。

每幀必須被賦予獨(dú)特的時(shí)間間隔，以保證精確的時(shí)間表可以被建立，不僅涵蓋本地的設(shè)備，同時(shí)還能跨多個(gè)設(shè)備。這些時(shí)間間隔精度必須是以納秒為計(jì)量單位。例如，在10 Gbps的網(wǎng)絡(luò)以太網(wǎng)幀只有67納秒的時(shí)間間隔，時(shí)間間隔分辨率必須小于67納秒。否則，兩個(gè)以太網(wǎng)幀都會(huì)收到相同的時(shí)間間隔，使得其很難區(qū)分。在一個(gè)100 Gbps的網(wǎng)絡(luò)，這段時(shí)間間隔將減少到6.7納秒。

結(jié)合零數(shù)據(jù)包丟失捕捉納秒級精度的實(shí)時(shí)數(shù)據(jù)，確保了我們能夠掌握一致的，準(zhǔn)確的數(shù)據(jù)分析信息流。

存儲(chǔ)

其次，收集的信息應(yīng)該實(shí)時(shí)被存儲(chǔ)。幾個(gè)設(shè)備提供捕捉的數(shù)據(jù)存儲(chǔ)到磁盤，允許實(shí)時(shí)的數(shù)據(jù)可以直接存儲(chǔ)到本地硬盤。另外，這些數(shù)據(jù)可以被轉(zhuǎn)移到一個(gè)存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN)或其他位置。捕獲的數(shù)據(jù)可以被用來在網(wǎng)絡(luò)上創(chuàng)建一個(gè)歷史年表，以精確的細(xì)節(jié)記錄發(fā)生了什么。其可能用來重現(xiàn)到底發(fā)生了什么事，當(dāng)進(jìn)行重現(xiàn)時(shí)，使用這些數(shù)據(jù)。

這段細(xì)節(jié)記錄歷史是數(shù)據(jù)分析的一個(gè)豐富的信息源。這種類型的數(shù)據(jù)可以為數(shù)據(jù)信息的使用和行為模式提供洞察。如果設(shè)備具有深度數(shù)據(jù)包檢測(DPI)的功能，那么，使用服務(wù)，包括互聯(lián)網(wǎng)服務(wù)，可以監(jiān)視和分析時(shí)間，地點(diǎn)和設(shè)備類型使用方面的趨勢。

這種信息本身對于網(wǎng)絡(luò)和服務(wù)的優(yōu)化是一種寶貴的資源?？梢該?jù)此來規(guī)劃新的，有針對性的服務(wù)，以匹配用戶的喜好。此外，這些信息可以為互聯(lián)網(wǎng)內(nèi)容服務(wù)提供商提供洞察，讓運(yùn)營商能夠向潛在客戶提供令人信服的服務(wù)能力。

實(shí)時(shí)評估

最后，實(shí)時(shí)的數(shù)據(jù)存儲(chǔ)有助于實(shí)現(xiàn)實(shí)時(shí)決策。捕獲到磁盤的歷史信息可幫助開發(fā)預(yù)期行為的配置文件。當(dāng)數(shù)據(jù)與網(wǎng)絡(luò)活動(dòng)的實(shí)時(shí)信息并置時(shí)，能夠檢測出意想不到的事件或異常。這些問題可能是一個(gè)安全威脅，也有可能是性能下降或有機(jī)會(huì)為客戶提供一個(gè)數(shù)據(jù)擴(kuò)展包或互補(bǔ)性的服務(wù)。

從RTBDA的角度來看，這種能力與OTT內(nèi)容及服務(wù)提供商執(zhí)行的能力是非常接近的，基于對對目前正在發(fā)生的事情，并與過去的事情比較進(jìn)行理解做出實(shí)時(shí)的反應(yīng)。

RTBDA戰(zhàn)略基礎(chǔ)

遵循這三個(gè)步驟來實(shí)施，通過探頭和設(shè)備提供的實(shí)時(shí)信息可以用來實(shí)現(xiàn)RTBDA電信網(wǎng)絡(luò)以及在大數(shù)據(jù)分析戰(zhàn)略規(guī)劃中用其他信息來源以補(bǔ)充。

這一技術(shù)和產(chǎn)品用來實(shí)現(xiàn)戰(zhàn)略部署不僅僅是可用的，而且已經(jīng)被廣泛使用了，只是不以這方面的目的。更有趣的是，當(dāng)今絕大多數(shù)企業(yè)，金融，政府和電信網(wǎng)絡(luò)所使用的設(shè)備都是基于現(xiàn)成的服務(wù)器技術(shù)，其是與未來的運(yùn)營計(jì)劃相兼容的。

軟件定義的網(wǎng)絡(luò)(SDN)和網(wǎng)絡(luò)虛擬化功能(NFV)策略的基石都是基于現(xiàn)成的服務(wù)器硬件。

RTBDA在未來的電信業(yè)的展望

現(xiàn)在是時(shí)候需要現(xiàn)代電信網(wǎng)絡(luò)重新考慮“實(shí)時(shí)”這一概念的意義，以及他們所使用的大數(shù)據(jù)分析的信息源了。電信運(yùn)營商必須開始評估在網(wǎng)絡(luò)中使用探頭和設(shè)備技術(shù)等更多的戰(zhàn)術(shù)方法來提供RTBDA了。這樣，不僅能夠?yàn)橐?guī)劃決策提供更準(zhǔn)確的信息，同時(shí)也可以創(chuàng)造新的機(jī)會(huì)，提供更好的服務(wù)，不僅為最終用戶，也為OTT服務(wù)提供商自身。這種能力最終可以幫助電信網(wǎng)絡(luò)的OTT解決流量的貨幣化問題。