告別大數(shù)據(jù),掌握“廣數(shù)據(jù)”才是關(guān)鍵_數(shù)據(jù)分析師培訓(xùn)

　大數(shù)據(jù)的概念確實(shí)有點(diǎn)歧義。當(dāng)然，來自網(wǎng)絡(luò)、電話、和其他數(shù)據(jù)源的信息確實(shí)數(shù)據(jù)量很大，但數(shù)據(jù)的主要價(jià)值并不在規(guī)模中。要從大數(shù)據(jù)中獲取真正的商業(yè)價(jià)值，用戶和BI供應(yīng)商等還需要關(guān)注對廣泛來源的數(shù)據(jù)的集成和分析，簡言之，就是廣數(shù)據(jù)。

　　未來商業(yè)的成功，依賴于大數(shù)據(jù)和企業(yè)主流數(shù)據(jù)系統(tǒng)中的數(shù)據(jù)能否有機(jī)地結(jié)合。很多供應(yīng)商開發(fā)了很多技術(shù)來實(shí)現(xiàn)，比如在NoSQL數(shù)據(jù)庫和Hadoop資源池上實(shí)現(xiàn)SQL查詢。這種技術(shù)趨勢很利于行業(yè)發(fā)展，因?yàn)樾录夹g(shù)和老技術(shù)終究要結(jié)合起來。

　　對于管理大量非結(jié)構(gòu)化數(shù)據(jù)來說，Hadoop是個(gè)好東西，但要實(shí)現(xiàn)精益分析，尤其是針對既有結(jié)構(gòu)化數(shù)據(jù)、又有非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)時(shí)，Hadoop就顯得力不從心了。另一方面，傳統(tǒng)關(guān)系型數(shù)據(jù)庫在利用幾乎同一調(diào)用方式訪問異構(gòu)數(shù)據(jù)源方面，有著悠久的歷史。而且從事數(shù)據(jù)分析的技術(shù)人員更熟悉的也是SQL語言。

　　另外，大多數(shù)用戶想要的都是技術(shù)上的穩(wěn)步革新，而不是徹底的變革。這意味著企業(yè)在采用新技術(shù)的同時(shí)，要最大限度地使其能夠和現(xiàn)有IT生態(tài)系統(tǒng)融合，保護(hù)歷史資產(chǎn)。因此，Hadoop集群、NoSQL數(shù)據(jù)庫中的信息需要和傳統(tǒng)的數(shù)據(jù)庫和數(shù)據(jù)倉庫的數(shù)據(jù)有效集成，這樣才能更好地構(gòu)建客戶、市場趨勢、企業(yè)運(yùn)營視圖。比如社交媒體的客戶情感數(shù)據(jù)固然有價(jià)值，但如何不能和其他客戶數(shù)據(jù)、市場數(shù)據(jù)相聯(lián)，反應(yīng)的情況也是片面的。

　　物聯(lián)網(wǎng)數(shù)據(jù)不能孤立

　　物聯(lián)網(wǎng)(IoT)也是大數(shù)據(jù)的重要數(shù)據(jù)源之一。安裝在產(chǎn)品和機(jī)器設(shè)備上的傳感器可以捕捉數(shù)據(jù)，并通過互聯(lián)網(wǎng)將數(shù)據(jù)發(fā)送回運(yùn)營系統(tǒng)。物聯(lián)網(wǎng)大多應(yīng)用于大型制造業(yè)，比如石油管道的遠(yuǎn)程傳感器監(jiān)控，卡車、貨車等車輛的維護(hù)相關(guān)信息收集。

　　物聯(lián)網(wǎng)的作用很大。傳感器發(fā)回的大量信息可以幫助用戶更好地監(jiān)控質(zhì)量問題、了解地域差異等等。物聯(lián)網(wǎng)數(shù)據(jù)增長迅猛，隨著時(shí)間的發(fā)展，很可能會(huì)差多Web數(shù)據(jù)。但同樣，如果只是狹義地關(guān)注物聯(lián)網(wǎng)數(shù)據(jù)，沒有把它和眾多其他數(shù)據(jù)源的數(shù)據(jù)集成，企業(yè)會(huì)錯(cuò)過很多有價(jià)值的信息。

　　數(shù)據(jù)倉庫的潛力還沒有完全發(fā)揮出來。一個(gè)主要的原因就是數(shù)據(jù)倉庫很難利用實(shí)時(shí)數(shù)據(jù)。另一方面看，數(shù)據(jù)倉庫處理的多是歷史數(shù)據(jù)等變化緩慢的數(shù)據(jù)，處理這些數(shù)據(jù)根本不需要像處理實(shí)時(shí)數(shù)據(jù)一樣。因此，好的BI和分析平臺(tái)應(yīng)該是既能處理歷史數(shù)據(jù)，又能處理實(shí)時(shí)數(shù)據(jù)。將數(shù)據(jù)倉庫和大數(shù)據(jù)技術(shù)結(jié)合起來，可以考慮內(nèi)存處理。

　　下一代大數(shù)據(jù)技術(shù)應(yīng)該解決的難題

　　更廣義來看，大數(shù)據(jù)還應(yīng)包括數(shù)據(jù)的流動(dòng)，即數(shù)據(jù)從數(shù)據(jù)源產(chǎn)生到交到用戶手里的過程。很多專家責(zé)難企業(yè)數(shù)據(jù)倉庫沒有“單一真相”，同樣的數(shù)據(jù)產(chǎn)生出五花八門的分析結(jié)果，以及難以實(shí)現(xiàn)有效的數(shù)據(jù)治理。

　　現(xiàn)在，移動(dòng)設(shè)備和自服務(wù)BI工具極大地改變了信息的傳播范圍。當(dāng)數(shù)據(jù)進(jìn)入移動(dòng)設(shè)備，你很難監(jiān)管它的傳播。都有誰看了該信息?信息傳播的軌跡是怎樣的?有效的BI和大數(shù)據(jù)管理不只是收集和處理信息，也是管理信息的流通和傳播。

　　數(shù)據(jù)規(guī)模確實(shí)是一個(gè)技術(shù)難題，但核心的問題在于廣數(shù)據(jù)。如何將多種數(shù)據(jù)源的數(shù)據(jù)集成起來，如何處理，再如何讓廣大的用戶用于業(yè)務(wù)決策和分析，這才是技術(shù)應(yīng)該最主要關(guān)注的問題。要做到支持廣泛的數(shù)據(jù)環(huán)境，供應(yīng)商需要關(guān)注這些問題：

　　提供結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的訪問，并能有效集成

　　能夠以不同的方式有效管理不同的數(shù)據(jù)集

　　支持強(qiáng)大的數(shù)據(jù)治理模型

　　下一代BI和大數(shù)據(jù)技術(shù)必須能夠解決數(shù)據(jù)的廣度和復(fù)雜度的問題，而不僅僅是數(shù)據(jù)量。大數(shù)據(jù)不僅僅是數(shù)據(jù)量的大，更包含數(shù)據(jù)的廣泛性。用戶和供應(yīng)商最好能在這一點(diǎn)上達(dá)成共識(shí)。