大數(shù)據(jù)亦需要數(shù)據(jù)虛擬化

為了實(shí)現(xiàn)大數(shù)據(jù)所勾畫(huà)出的美好愿景，你需要在數(shù)據(jù)層和基礎(chǔ)設(shè)施層等基礎(chǔ)架構(gòu)中對(duì)數(shù)據(jù)進(jìn)行抽象化的工作。在云上的大數(shù)據(jù)擁有跨越大量節(jié)點(diǎn)、集群和層的眾多潛在 功能服務(wù)層，而這些節(jié)點(diǎn)、集群和層很容易變得不堪重負(fù)。為了應(yīng)對(duì)這些問(wèn)題。首先，你應(yīng)該規(guī)劃一個(gè)全面的云數(shù)據(jù)虛擬化基礎(chǔ)設(shè)施。虛擬化云分析法是新時(shí)代中的 大數(shù)據(jù)典范。作為一種集成方法，它能夠確保大數(shù)據(jù)的統(tǒng)一訪問(wèn)、建模、部署、優(yōu)化和管理成為一種異構(gòu)資源。

在 云上的大數(shù)據(jù)擁有跨越大量節(jié)點(diǎn)、集群和層的眾多潛在功能服務(wù)層，而這些節(jié)點(diǎn)、集群和層很容易變得不堪重負(fù)。為了應(yīng)對(duì)這些問(wèn)題。首先，你應(yīng)該規(guī)劃一個(gè)全面的 云數(shù)據(jù)虛擬化基礎(chǔ)設(shè)施。虛擬化云分析法是新時(shí)代中的大數(shù)據(jù)典范。作為一種集成方法，它能夠確保大數(shù)據(jù)的統(tǒng)一訪問(wèn)、建模、部署、優(yōu)化和管理成為一種異構(gòu)資 源。

與任何虛擬化一樣，數(shù)據(jù)虛擬化是一種允許用戶(hù)訪問(wèn)、管理和優(yōu)化異構(gòu)基礎(chǔ)架構(gòu)的方法，就好像它們是一種單一、且在邏輯上是統(tǒng)一的資源一樣。這使得用戶(hù)能夠從一些服務(wù)、功能或其他資源的內(nèi)部部署中對(duì)外部界面進(jìn)行抽象化。

與 支持邏輯上統(tǒng)一的訪問(wèn)、查詢(xún)、報(bào)告、預(yù)測(cè)分析，以及針對(duì)關(guān)系型、Hadoop、NoSQL等不同后端數(shù)據(jù)庫(kù)應(yīng)用的任何“SQL-虛擬化”解決方法相同，數(shù) 據(jù)虛擬化的核心是抽象層。當(dāng)然，數(shù)據(jù)虛擬化可能會(huì)轉(zhuǎn)而依靠其他的基礎(chǔ)設(shè)施虛擬化層，例如存儲(chǔ)與服務(wù)器平臺(tái)。在某些情況下，數(shù)據(jù)虛擬化可能會(huì)在地理上和多云 環(huán)境中進(jìn)行擴(kuò)張。

在我們討論的眾多層中，虛擬化無(wú)疑是這些枯燥數(shù)據(jù)話(huà)題的一個(gè)縮影。但是如果你希望自己的大數(shù)據(jù)云平臺(tái)能夠解決以下業(yè)務(wù)需求，那么它們無(wú)疑是最基礎(chǔ)的。這些具體的業(yè)務(wù)需求是：

·基于彈性、靈活拓?fù)浣Y(jié)構(gòu)的先進(jìn)分析型資源

·汲取源自任何來(lái)源、格式和方案的純消費(fèi)性資源

·能夠留存、聚合、處理任何動(dòng)靜結(jié)合信息的“延遲-靈敏”資源

·在價(jià)值鏈中擴(kuò)展，在私有云[注]和公有云[注]中擴(kuò)張的聯(lián)合資源

·能夠讓你通過(guò)現(xiàn)有工具和應(yīng)用，調(diào)整、擴(kuò)展和升級(jí)后端數(shù)據(jù)平臺(tái)的無(wú)縫互操作資源

是的，這是一項(xiàng)艱巨的任務(wù)。毫無(wú)疑問(wèn)，數(shù)據(jù)虛擬化和虛擬的基礎(chǔ)架構(gòu)實(shí)踐起來(lái)比說(shuō)起來(lái)困難的多。此外，部署、管理和優(yōu)化的工作也需要花費(fèi)大量的資金。

基 于云的大數(shù)據(jù)需要越來(lái)越復(fù)雜的虛擬化基礎(chǔ)設(shè)施。對(duì)于大部分大數(shù)據(jù)專(zhuān)業(yè)人員而言，解決這一難題就如同天文學(xué)家試圖繪制出宇宙中的暗物質(zhì)一樣困難。他們知道這 項(xiàng)工作既重要，但又十分的乏味和煩瑣。實(shí)際上，大數(shù)據(jù)專(zhuān)業(yè)人員更喜歡從事Hadoop和NoSQL的研究，因?yàn)樗鼈冋谛碌募夹g(shù)領(lǐng)域中閃爍著最耀眼的光 芒。

隨著大數(shù) 據(jù)應(yīng)用范圍的不斷拓展，用戶(hù)未來(lái)幾乎必定要沿著虛擬化這條路前行。混合大數(shù)據(jù)云難以處理的異質(zhì)性將推動(dòng)用戶(hù)選擇這一方向。在私有云中，大數(shù)據(jù)平臺(tái)融合需要 一個(gè)虛擬化架構(gòu)，以將新的方案與之前的投資相關(guān)聯(lián)起來(lái)。然而，融合將會(huì)阻止用戶(hù)持續(xù)的平臺(tái)現(xiàn)代化與遷移嘗試，妨礙用戶(hù)將創(chuàng)新和適合的平臺(tái)整合到云中，阻礙 廠商的“產(chǎn)品-改良”循環(huán)。除非將所有的大數(shù)據(jù)方案都放到“通用的”公有云服務(wù)上，否則用戶(hù)在多種組合方案中需要虛擬化公有云、私有云和混合云[注]架構(gòu) 的訪問(wèn)。

當(dāng) 然，能沿著“數(shù)據(jù)-虛擬化”路線走多遠(yuǎn)，將取決于用戶(hù)業(yè)務(wù)需求和大數(shù)據(jù)環(huán)境的復(fù)雜性。此外，還取決于用戶(hù)對(duì)風(fēng)險(xiǎn)、復(fù)雜性和困難的承受程度。在未來(lái)，隨著分 析模型、規(guī)則和大數(shù)據(jù)云上匯聚的信息日益復(fù)雜，平臺(tái)將成為虛擬化訪問(wèn)、執(zhí)行和管理的核心。在這一新領(lǐng)域內(nèi)，MapReduce將成為關(guān)鍵的(但并不是唯一 的)開(kāi)發(fā)框架。此外，MapReduce還將成為針對(duì)內(nèi)聯(lián)分析和交易計(jì)算的虛擬化架構(gòu)的一部分。不過(guò)，目前這一虛擬化架構(gòu)雖然涵蓋范圍更廣，但是大部分仍 沒(méi)有被明確定義。

迄今為止，還沒(méi)有人能夠?qū)@些將云與大數(shù)據(jù)世界拼接在一起的層、界面和抽象化展開(kāi)進(jìn)一步概述，而這也是一項(xiàng)擺在我們面前的艱巨任務(wù)。