大數(shù)據(jù)如何使得數(shù)據(jù)庫變得更好

當(dāng)在提及“數(shù)據(jù)庫”時(shí)，大多數(shù)人第一時(shí)間想到的肯定都是已經(jīng)主宰該領(lǐng)域超過30年的關(guān)系數(shù)據(jù)庫管理系統(tǒng)(RDBMS)。然而，這種狀況可能很快就會(huì)改變。

一系列全新的競(jìng)爭(zhēng)對(duì)手，現(xiàn)在正在爭(zhēng)奪這一關(guān)鍵的企業(yè)市場(chǎng)，盡管他們所采用的是不同的方法，但卻都有一個(gè)共同點(diǎn)：專注于大數(shù)據(jù)領(lǐng)域。

推動(dòng)這種新的替代品獲得大規(guī)模擴(kuò)散的大部分因素是源于大數(shù)據(jù)的“3V”基本屬性，即：海量(volume)、高速(velocity)和多樣(variety)。

從本質(zhì)上講，今天的數(shù)據(jù)傳輸速度比以往任何時(shí)候都快;而且其數(shù)據(jù)量也比以往任何時(shí)候都更大;其種類也更加多樣化。換句話說，這是一個(gè)全新的數(shù)據(jù)化的世界，而傳統(tǒng)的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)并不是真正為它設(shè)計(jì)的。

“基本上，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)不能應(yīng)對(duì)規(guī)?；暮Ａ?、或快速、或多樣的數(shù)據(jù)。”一家數(shù)據(jù)科學(xué)咨詢分析機(jī)構(gòu)KDnuggets公司的總裁Gregory Piatetsky-Shapiro表示說。

這便是哈特·漢克斯最近的發(fā)現(xiàn)：截至到2013年左右，市場(chǎng)營(yíng)銷服務(wù)機(jī)構(gòu)都在使用不同的數(shù)據(jù)庫的組合，包括Microsoft SQL Server和甲骨文公司的Real Application Clusters (RAC)。

“我們注意到，隨著數(shù)據(jù)隨時(shí)間的增長(zhǎng)，我們的系統(tǒng)處理信息的速度不夠快。”該公司技術(shù)和開發(fā)負(fù)責(zé)人Sean Iannuzzi表示說?！熬退闶悄髽I(yè)能夠不斷地購買新的服務(wù)器，也只是剛剛能夠趕上數(shù)據(jù)增長(zhǎng)的節(jié)奏，而我們希望確保我們能夠具備向外擴(kuò)展的平臺(tái)?！?/span>

減少干擾是一個(gè)重要的目標(biāo)，Iannuzzi說，因此“我們不能只是切換到Hadoop?！?/span>

相反，其選擇了Splice Machine公司的產(chǎn)品，這實(shí)質(zhì)上是把完整的SQL數(shù)據(jù)庫與流行的Hadoop大數(shù)據(jù)平臺(tái)，使現(xiàn)有的應(yīng)用程序來與之連接，他說。

哈特·漢克斯現(xiàn)在處在實(shí)施部署的初期階段，但已經(jīng)看到了效益，Iannuzzi說，包括提高了容錯(cuò)性、高可用性、冗余性、穩(wěn)定性和“性能的全面提升。”

有一種完美的風(fēng)暴推動(dòng)了新的數(shù)據(jù)庫技術(shù)的出現(xiàn)，IDC公司研究副總裁Carl Olofson表示說。

首先，“與過去相比，我們當(dāng)前正在使用的設(shè)備能夠快速、靈活地處理大型數(shù)據(jù)集。” Olofson指出。

在過去的日子里，這樣的數(shù)據(jù)集“需要被放在旋轉(zhuǎn)的磁盤上”，而且數(shù)據(jù)必須以特定的方式來結(jié)構(gòu)化，他解釋說。

現(xiàn)在有64位尋址能力，可以建立更大的存儲(chǔ)空間，以及更快的網(wǎng)絡(luò)，并能夠串多臺(tái)計(jì)算機(jī)一起，作為單個(gè)大型數(shù)據(jù)庫。

“這些東西開辟了之前不可用的可能性，” Olofson說。

同時(shí)，工作負(fù)載也發(fā)生了變化。例如，10年前的網(wǎng)站在很大程度上都是靜態(tài)的，而在今天我們都是現(xiàn)場(chǎng)的Web服務(wù)環(huán)境和互動(dòng)的購物體驗(yàn)。這反過來，需要一個(gè)新水平的可擴(kuò)展性，他說。

企業(yè)也在利用新的方式使用數(shù)據(jù)。雖然在傳統(tǒng)上，我們大部分的精力都放在了處理我們的交易——例如，記錄我們銷售了多少，并將這些數(shù)據(jù)存儲(chǔ)起來，以便進(jìn)行分析——今天我們做得更多。

應(yīng)用程序狀態(tài)管理就是這方面的一個(gè)例子。

假設(shè)您正在玩一款網(wǎng)絡(luò)游戲。技術(shù)必須記錄您與系統(tǒng)的每一次操作，并將其連接在一起，以呈現(xiàn)出連續(xù)的體驗(yàn)，即使您換了設(shè)備或者是各種操作是通過不同的服務(wù)器進(jìn)行處理的，Olofson解釋說。

這些數(shù)據(jù)必須持久化，這樣，企業(yè)可以分析這樣的問題，例如：“為什么從來沒有人穿過水晶廳?！痹诰W(wǎng)絡(luò)購物方面，類似需要分析的問題可能是：為什么越來越多的用戶在點(diǎn)擊了顏色選擇之后，卻并沒有購買某品牌的鞋子。

“以前，我們并沒有試圖解決這些問題，或者說——就算我們?cè)噲D去解決了，也只是試圖將其擠壓在一個(gè)不太合適的盒子里?！監(jiān)lofson說。

在當(dāng)今新的眾多競(jìng)爭(zhēng)者之中，Hadoop無疑是一款重量級(jí)的。雖然其本身并不是一個(gè)數(shù)據(jù)庫，但它的成長(zhǎng)在企業(yè)解決大數(shù)據(jù)方面扮演了關(guān)鍵性的填補(bǔ)角色作用。從本質(zhì)上來說，Hadoop是一款用于運(yùn)行高度并行化的應(yīng)用程序的數(shù)據(jù)中心平臺(tái)，具有很強(qiáng)的可擴(kuò)展性。

通過允許企業(yè)以分布的方式“向外”擴(kuò)展，而不是通過采用額外昂貴的服務(wù)器“向上”擴(kuò)展，“使得我們可以很便宜地把一個(gè)大型的數(shù)據(jù)集合整合起來，然后分析該數(shù)據(jù)集合有什么?！監(jiān)lofson說。

在其他新的RDBMS的替代品是NoSQL系列產(chǎn)品，其中包括MongoDB——目前是第四大最為流行的數(shù)據(jù)庫管理系統(tǒng)，根據(jù)DB-Engines和MarkLogic的數(shù)據(jù)庫排名顯示。

“關(guān)系數(shù)據(jù)庫管理系統(tǒng)成為一款偉大的技術(shù)已經(jīng)有30年的歷史了，但它是基于不同的時(shí)代的不同市場(chǎng)需求所構(gòu)建的不同的技術(shù)?！?nbsp;MarkLogic的產(chǎn)品執(zhí)行副總裁喬·帕卡說。

他說，大數(shù)據(jù)是不均勻的，但對(duì)于許多傳統(tǒng)的技術(shù)，這仍然是一項(xiàng)基本要求。

“想象一下，在您筆記本電腦上唯一的一款程序是Excel會(huì)是怎樣?”帕卡說?！霸僭囍胂笠幌?，您想要保持與網(wǎng)絡(luò)上的朋友們的聯(lián)系，或者您正在寫一份合約，而Excel的那些行和列顯然不適合滿足這些需求?！?/span>

將數(shù)據(jù)集組合起來可能是特別棘手的工作。

“采用關(guān)系數(shù)據(jù)庫管理系統(tǒng)的話，在您把所有這些數(shù)據(jù)集整合在一起之前，您必須決定如何對(duì)所有列實(shí)施排隊(duì)。”他補(bǔ)充說?！岸覀儎t可以采取任何形式或結(jié)構(gòu)，并立即開始使用它?！?/span>

NoSQL數(shù)據(jù)庫不使用一款關(guān)系數(shù)據(jù)模型，通常沒有SQL接口。而許多NoSQL存儲(chǔ)為了速度和其他因素而在一致性方面進(jìn)行了妥協(xié)。而MarkLogic自身的產(chǎn)品是專為滿足企業(yè)的一致性選擇而量身定做的。

根據(jù)市場(chǎng)研究媒體Marketresearchmedia.com網(wǎng)站的介紹，在NoSQL市場(chǎng)已經(jīng)呈現(xiàn)了可觀的增長(zhǎng)，但并非每個(gè)人都認(rèn)為這是正確的方法——至少，不是在所有的情況下。

NoSQL系統(tǒng)“通過其橫向擴(kuò)展架構(gòu)，解決了許多問題，但他們拋棄了SQL。” Splice Machine公司的CEO Monte Zweben說。這反過來，構(gòu)成了現(xiàn)有代碼中的問題。

Splice Machine公司的產(chǎn)品是稱為NewSQL的，不同類別的替代品的一個(gè)例子——另一類預(yù)期在未來幾年將獲得強(qiáng)勁增長(zhǎng)的產(chǎn)品。

“我們的理念是在保有SQL的同時(shí)，添加擴(kuò)展架構(gòu)?！盳weben說?！斑@是創(chuàng)造一些新的東西的時(shí)候了，但我們正努力使用戶不必重寫編寫代碼。”

大數(shù)據(jù)創(chuàng)業(yè)企業(yè)Deep Information Sciences公司也選擇了堅(jiān)持使用SQL，但他們則是以另一種方法。

該公司的DeepSQL數(shù)據(jù)庫使用與MySQL相同的應(yīng)用程序編程接口(API)和關(guān)系模型，這意味著為了使用它無需進(jìn)行應(yīng)用程序的改變。但它以不同的方式處理數(shù)據(jù)，使用機(jī)器學(xué)習(xí)。

DeepSQL可以使用任何工作負(fù)載組合自動(dòng)適應(yīng)物理，虛擬或云主機(jī)，該公司表示，從而省去了手動(dòng)數(shù)據(jù)庫優(yōu)化的需要。

在這些都大大提高了性能以及擴(kuò)展到 “千億行”的能力，該公司的首席戰(zhàn)略官Chad Jones表示。

另一種完全不同的方式來自Algebraix Data公司，該公司表示說，他們已經(jīng)為數(shù)據(jù)開發(fā)了第一款真正的數(shù)學(xué)基礎(chǔ)。

而計(jì)算機(jī)硬件已經(jīng)在其建成之前進(jìn)行了數(shù)學(xué)模型，而不是在軟件的情況下，Algebraix公司首席執(zhí)行官Charles Silver表示。

“軟件，尤其是數(shù)據(jù)，從未建立在數(shù)學(xué)的基礎(chǔ)上?！彼f?！败浖诤艽蟪潭壬鲜钦Z言學(xué)的問題?！?/span>

經(jīng)過五年的研發(fā)，Algebraix公司創(chuàng)造了其所謂的“代數(shù)數(shù)據(jù)(algebra of data")”，這是一種利用數(shù)學(xué)集合論實(shí)現(xiàn)的“通用數(shù)據(jù)語言”。

“大數(shù)據(jù)的小秘密是，數(shù)據(jù)仍然在不與其他數(shù)據(jù)網(wǎng)格連接的小筒倉中?！?nbsp;Silver解釋說?！拔覀円呀?jīng)證明，其可以用數(shù)學(xué)方法來表示，因此所有都是集成的。”

在這個(gè)基礎(chǔ)上配備內(nèi)置平臺(tái)，Algebraix公司現(xiàn)在能夠?yàn)槠髽I(yè)用戶提供業(yè)務(wù)分析作為一種服務(wù)。改進(jìn)的性能，容量和速度都是Algebraix公司所為企業(yè)用戶承諾的預(yù)期獲益。

時(shí)間最終會(huì)證明哪些新的競(jìng)爭(zhēng)者將獲得成功。而在此期間，市場(chǎng)長(zhǎng)期的領(lǐng)軍，如甲骨文并不會(huì)完全停滯不前。

“軟件是一個(gè)非常有時(shí)尚意識(shí)的行業(yè)?！?nbsp;甲骨文數(shù)據(jù)庫服務(wù)器技術(shù)的執(zhí)行副總裁安德魯·門德爾松表示說。 “事務(wù)往往從流行變?yōu)椴皇軞g迎，然后又再次回到流行?！?/span>

他說，現(xiàn)在很多創(chuàng)業(yè)公司都僅僅是“把同一款舊東西炒冷飯之后加上一點(diǎn)點(diǎn)的拋光或打磨處理。這就類似于新的一代的畢業(yè)生重塑了事務(wù)?！?/span>

SQL是“唯一一款能夠讓業(yè)務(wù)分析師提問并得到答案的語言——他們不需要成為程序員?！遍T德爾松說?！按笫袌?chǎng)將始終是關(guān)系數(shù)據(jù)庫?！?/span>

至于新的數(shù)據(jù)類型，關(guān)系型數(shù)據(jù)庫產(chǎn)品發(fā)展為早在上世紀(jì)90年代就支持的非結(jié)構(gòu)化數(shù)據(jù)，他說。在2013年，甲骨文的同名數(shù)據(jù)庫在12c版本中增加了JSON(JavaScript對(duì)象表示法)支持。

門德爾松說，與其說是需要一款不同類型的數(shù)據(jù)庫，更是一種商業(yè)模式的轉(zhuǎn)變，而這正推動(dòng)著整個(gè)行業(yè)的變革。

“云計(jì)算將是未來的發(fā)展方向，其將為現(xiàn)在的那些小企業(yè)帶來破壞性的變革?！彼f。“大企業(yè)都已經(jīng)在云服務(wù)領(lǐng)域站穩(wěn)腳跟了，所以在這一領(lǐng)域幾乎已經(jīng)沒有容納這些小型競(jìng)爭(zhēng)者的地方了?”

“小企業(yè)們要通過采用亞馬遜的云，并與亞馬遜競(jìng)爭(zhēng)嗎?”他補(bǔ)充道?！斑@將是相當(dāng)困難的?！?/span>

甲骨文擁有“最廣泛的云服務(wù)?！遍T德爾松說?！拔覀儗?duì)自己當(dāng)前的市場(chǎng)地位感覺很好?！?/span>

Gartner的一名研究主管瑞克·格林沃爾德也傾向于類似的觀點(diǎn)。

“較新的替代方案并不像傳統(tǒng)的RDBMS那樣功能齊全和強(qiáng)大?！备窳治譅柕抡f。 “某些案例可以用新的競(jìng)爭(zhēng)者的產(chǎn)品來解決，但并不是全部，當(dāng)然也不是只有一款技術(shù)”。

展望未來，格林沃爾德預(yù)計(jì)，傳統(tǒng)的RDBMS供應(yīng)商將感受到價(jià)格壓力越來越大，并為他們的產(chǎn)品增加新的功能?！坝行┕?yīng)商會(huì)甚至為其整個(gè)數(shù)據(jù)管理系統(tǒng)帶來新的競(jìng)爭(zhēng)者?！彼f。

至于新的市場(chǎng)進(jìn)入者，他預(yù)測(cè)，只有少數(shù)會(huì)幸存下來，“許多企業(yè)要么被收購或是耗盡其資金。”

今天的新技術(shù)并不代表數(shù)據(jù)分析傳統(tǒng)的RDBMS的結(jié)束，“傳統(tǒng)的RDBMS本身正在迅速發(fā)展?！?nbsp;IDC的Olofson對(duì)此也表示同意?！癛DBMS需要明確定義的數(shù)據(jù) - 總有需要有這樣的角色?！?/span>

但是，他表示說，新的競(jìng)爭(zhēng)者也會(huì)扮演一些角色，特別是在物聯(lián)網(wǎng)和新興技術(shù)領(lǐng)域，如非易失性雙列直插式內(nèi)存模塊(Non-Volatile Dual In-line Memory Module，NVDIMM)正占據(jù)上風(fēng)。

將會(huì)有無數(shù)的問題需要多種解決方案，Olofson補(bǔ)充說?！按罅坑腥さ臇|西等待著人們?nèi)グl(fā)掘?！?/span>