大數(shù)據(jù)如何使得數(shù)據(jù)庫變得更好

當(dāng)在提及“數(shù)據(jù)庫”時，大多數(shù)人第一時間想到的肯定都是已經(jīng)主宰該領(lǐng)域超過30年的關(guān)系數(shù)據(jù)庫管理系統(tǒng)(RDBMS)。然而，這種狀況可能很快就會改變。

一系列全新的競爭對手，現(xiàn)在正在爭奪這一關(guān)鍵的企業(yè)市場，盡管他們所采用的是不同的方法，但卻都有一個共同點：專注于大數(shù)據(jù)領(lǐng)域。

推動這種新的替代品獲得大規(guī)模擴散的大部分因素是源于大數(shù)據(jù)的“3V”基本屬性，即：海量(volume)、高速(velocity)和多樣(variety)。

從本質(zhì)上講，今天的數(shù)據(jù)傳輸速度比以往任何時候都快;而且其數(shù)據(jù)量也比以往任何時候都更大;其種類也更加多樣化。換句話說，這是一個全新的數(shù)據(jù)化的世界，而傳統(tǒng)的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)并不是真正為它設(shè)計的。

“基本上，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)不能應(yīng)對規(guī)?；暮Ａ俊⒒蚩焖?、或多樣的數(shù)據(jù)?！币患覕?shù)據(jù)科學(xué)咨詢分析機構(gòu)KDnuggets公司的總裁Gregory Piatetsky-Shapiro表示說。

這便是哈特·漢克斯最近的發(fā)現(xiàn)：截至到2013年左右，市場營銷服務(wù)機構(gòu)都在使用不同的數(shù)據(jù)庫的組合，包括Microsoft SQL Server和甲骨文公司的Real Application Clusters (RAC)。

“我們注意到，隨著數(shù)據(jù)隨時間的增長，我們的系統(tǒng)處理信息的速度不夠快?！痹摴炯夹g(shù)和開發(fā)負(fù)責(zé)人Sean Iannuzzi表示說?！熬退闶悄髽I(yè)能夠不斷地購買新的服務(wù)器，也只是剛剛能夠趕上數(shù)據(jù)增長的節(jié)奏，而我們希望確保我們能夠具備向外擴展的平臺?！?/span>

減少干擾是一個重要的目標(biāo)，Iannuzzi說，因此“我們不能只是切換到Hadoop?！?/span>

相反，其選擇了Splice Machine公司的產(chǎn)品，這實質(zhì)上是把完整的SQL數(shù)據(jù)庫與流行的Hadoop大數(shù)據(jù)平臺，使現(xiàn)有的應(yīng)用程序來與之連接，他說。

哈特·漢克斯現(xiàn)在處在實施部署的初期階段，但已經(jīng)看到了效益，Iannuzzi說，包括提高了容錯性、高可用性、冗余性、穩(wěn)定性和“性能的全面提升?！?/span>

有一種完美的風(fēng)暴推動了新的數(shù)據(jù)庫技術(shù)的出現(xiàn)，IDC公司研究副總裁Carl Olofson表示說。

首先，“與過去相比，我們當(dāng)前正在使用的設(shè)備能夠快速、靈活地處理大型數(shù)據(jù)集?！?nbsp;Olofson指出。

在過去的日子里，這樣的數(shù)據(jù)集“需要被放在旋轉(zhuǎn)的磁盤上”，而且數(shù)據(jù)必須以特定的方式來結(jié)構(gòu)化，他解釋說。

現(xiàn)在有64位尋址能力，可以建立更大的存儲空間，以及更快的網(wǎng)絡(luò)，并能夠串多臺計算機一起，作為單個大型數(shù)據(jù)庫。

“這些東西開辟了之前不可用的可能性，” Olofson說。

同時，工作負(fù)載也發(fā)生了變化。例如，10年前的網(wǎng)站在很大程度上都是靜態(tài)的，而在今天我們都是現(xiàn)場的Web服務(wù)環(huán)境和互動的購物體驗。這反過來，需要一個新水平的可擴展性，他說。

企業(yè)也在利用新的方式使用數(shù)據(jù)。雖然在傳統(tǒng)上，我們大部分的精力都放在了處理我們的交易——例如，記錄我們銷售了多少，并將這些數(shù)據(jù)存儲起來，以便進行分析——今天我們做得更多。

應(yīng)用程序狀態(tài)管理就是這方面的一個例子。

假設(shè)您正在玩一款網(wǎng)絡(luò)游戲。技術(shù)必須記錄您與系統(tǒng)的每一次操作，并將其連接在一起，以呈現(xiàn)出連續(xù)的體驗，即使您換了設(shè)備或者是各種操作是通過不同的服務(wù)器進行處理的，Olofson解釋說。

這些數(shù)據(jù)必須持久化，這樣，企業(yè)可以分析這樣的問題，例如：“為什么從來沒有人穿過水晶廳?！痹诰W(wǎng)絡(luò)購物方面，類似需要分析的問題可能是：為什么越來越多的用戶在點擊了顏色選擇之后，卻并沒有購買某品牌的鞋子。

“以前，我們并沒有試圖解決這些問題，或者說——就算我們試圖去解決了，也只是試圖將其擠壓在一個不太合適的盒子里?！監(jiān)lofson說。

在當(dāng)今新的眾多競爭者之中，Hadoop無疑是一款重量級的。雖然其本身并不是一個數(shù)據(jù)庫，但它的成長在企業(yè)解決大數(shù)據(jù)方面扮演了關(guān)鍵性的填補角色作用。從本質(zhì)上來說，Hadoop是一款用于運行高度并行化的應(yīng)用程序的數(shù)據(jù)中心平臺，具有很強的可擴展性。

通過允許企業(yè)以分布的方式“向外”擴展，而不是通過采用額外昂貴的服務(wù)器“向上”擴展，“使得我們可以很便宜地把一個大型的數(shù)據(jù)集合整合起來，然后分析該數(shù)據(jù)集合有什么。”O(jiān)lofson說。

在其他新的RDBMS的替代品是NoSQL系列產(chǎn)品，其中包括MongoDB——目前是第四大最為流行的數(shù)據(jù)庫管理系統(tǒng)，根據(jù)DB-Engines和MarkLogic的數(shù)據(jù)庫排名顯示。

“關(guān)系數(shù)據(jù)庫管理系統(tǒng)成為一款偉大的技術(shù)已經(jīng)有30年的歷史了，但它是基于不同的時代的不同市場需求所構(gòu)建的不同的技術(shù)?！?nbsp;MarkLogic的產(chǎn)品執(zhí)行副總裁喬·帕卡說。

他說，大數(shù)據(jù)是不均勻的，但對于許多傳統(tǒng)的技術(shù)，這仍然是一項基本要求。

“想象一下，在您筆記本電腦上唯一的一款程序是Excel會是怎樣?”帕卡說?！霸僭囍胂笠幌?，您想要保持與網(wǎng)絡(luò)上的朋友們的聯(lián)系，或者您正在寫一份合約，而Excel的那些行和列顯然不適合滿足這些需求。”

將數(shù)據(jù)集組合起來可能是特別棘手的工作。

“采用關(guān)系數(shù)據(jù)庫管理系統(tǒng)的話，在您把所有這些數(shù)據(jù)集整合在一起之前，您必須決定如何對所有列實施排隊?！彼a充說?！岸覀儎t可以采取任何形式或結(jié)構(gòu)，并立即開始使用它。”

NoSQL數(shù)據(jù)庫不使用一款關(guān)系數(shù)據(jù)模型，通常沒有SQL接口。而許多NoSQL存儲為了速度和其他因素而在一致性方面進行了妥協(xié)。而MarkLogic自身的產(chǎn)品是專為滿足企業(yè)的一致性選擇而量身定做的。

根據(jù)市場研究媒體Marketresearchmedia.com網(wǎng)站的介紹，在NoSQL市場已經(jīng)呈現(xiàn)了可觀的增長，但并非每個人都認(rèn)為這是正確的方法——至少，不是在所有的情況下。

NoSQL系統(tǒng)“通過其橫向擴展架構(gòu)，解決了許多問題，但他們拋棄了SQL?！?nbsp;Splice Machine公司的CEO Monte Zweben說。這反過來，構(gòu)成了現(xiàn)有代碼中的問題。

Splice Machine公司的產(chǎn)品是稱為NewSQL的，不同類別的替代品的一個例子——另一類預(yù)期在未來幾年將獲得強勁增長的產(chǎn)品。

“我們的理念是在保有SQL的同時，添加擴展架構(gòu)?！盳weben說。“這是創(chuàng)造一些新的東西的時候了，但我們正努力使用戶不必重寫編寫代碼?！?/span>

大數(shù)據(jù)創(chuàng)業(yè)企業(yè)Deep Information Sciences公司也選擇了堅持使用SQL，但他們則是以另一種方法。

該公司的DeepSQL數(shù)據(jù)庫使用與MySQL相同的應(yīng)用程序編程接口(API)和關(guān)系模型，這意味著為了使用它無需進行應(yīng)用程序的改變。但它以不同的方式處理數(shù)據(jù)，使用機器學(xué)習(xí)。

DeepSQL可以使用任何工作負(fù)載組合自動適應(yīng)物理，虛擬或云主機，該公司表示，從而省去了手動數(shù)據(jù)庫優(yōu)化的需要。

在這些都大大提高了性能以及擴展到 “千億行”的能力，該公司的首席戰(zhàn)略官Chad Jones表示。

另一種完全不同的方式來自Algebraix Data公司，該公司表示說，他們已經(jīng)為數(shù)據(jù)開發(fā)了第一款真正的數(shù)學(xué)基礎(chǔ)。

而計算機硬件已經(jīng)在其建成之前進行了數(shù)學(xué)模型，而不是在軟件的情況下，Algebraix公司首席執(zhí)行官Charles Silver表示。

“軟件，尤其是數(shù)據(jù)，從未建立在數(shù)學(xué)的基礎(chǔ)上?！彼f?！败浖诤艽蟪潭壬鲜钦Z言學(xué)的問題?！?/span>

經(jīng)過五年的研發(fā)，Algebraix公司創(chuàng)造了其所謂的“代數(shù)數(shù)據(jù)(algebra of data")”，這是一種利用數(shù)學(xué)集合論實現(xiàn)的“通用數(shù)據(jù)語言”。

“大數(shù)據(jù)的小秘密是，數(shù)據(jù)仍然在不與其他數(shù)據(jù)網(wǎng)格連接的小筒倉中?！?nbsp;Silver解釋說?！拔覀円呀?jīng)證明，其可以用數(shù)學(xué)方法來表示，因此所有都是集成的?！?/span>

在這個基礎(chǔ)上配備內(nèi)置平臺，Algebraix公司現(xiàn)在能夠為企業(yè)用戶提供業(yè)務(wù)分析作為一種服務(wù)。改進的性能，容量和速度都是Algebraix公司所為企業(yè)用戶承諾的預(yù)期獲益。

時間最終會證明哪些新的競爭者將獲得成功。而在此期間，市場長期的領(lǐng)軍，如甲骨文并不會完全停滯不前。

“軟件是一個非常有時尚意識的行業(yè)?！?nbsp;甲骨文數(shù)據(jù)庫服務(wù)器技術(shù)的執(zhí)行副總裁安德魯·門德爾松表示說。 “事務(wù)往往從流行變?yōu)椴皇軞g迎，然后又再次回到流行?！?/span>

他說，現(xiàn)在很多創(chuàng)業(yè)公司都僅僅是“把同一款舊東西炒冷飯之后加上一點點的拋光或打磨處理。這就類似于新的一代的畢業(yè)生重塑了事務(wù)?！?/span>

SQL是“唯一一款能夠讓業(yè)務(wù)分析師提問并得到答案的語言——他們不需要成為程序員?！遍T德爾松說?！按笫袌鰧⑹冀K是關(guān)系數(shù)據(jù)庫?！?/span>

至于新的數(shù)據(jù)類型，關(guān)系型數(shù)據(jù)庫產(chǎn)品發(fā)展為早在上世紀(jì)90年代就支持的非結(jié)構(gòu)化數(shù)據(jù)，他說。在2013年，甲骨文的同名數(shù)據(jù)庫在12c版本中增加了JSON(JavaScript對象表示法)支持。

門德爾松說，與其說是需要一款不同類型的數(shù)據(jù)庫，更是一種商業(yè)模式的轉(zhuǎn)變，而這正推動著整個行業(yè)的變革。

“云計算將是未來的發(fā)展方向，其將為現(xiàn)在的那些小企業(yè)帶來破壞性的變革。”他說。“大企業(yè)都已經(jīng)在云服務(wù)領(lǐng)域站穩(wěn)腳跟了，所以在這一領(lǐng)域幾乎已經(jīng)沒有容納這些小型競爭者的地方了?”

“小企業(yè)們要通過采用亞馬遜的云，并與亞馬遜競爭嗎?”他補充道?！斑@將是相當(dāng)困難的。”

甲骨文擁有“最廣泛的云服務(wù)。”門德爾松說?！拔覀儗ψ约寒?dāng)前的市場地位感覺很好。”

Gartner的一名研究主管瑞克·格林沃爾德也傾向于類似的觀點。

“較新的替代方案并不像傳統(tǒng)的RDBMS那樣功能齊全和強大?！备窳治譅柕抡f。 “某些案例可以用新的競爭者的產(chǎn)品來解決，但并不是全部，當(dāng)然也不是只有一款技術(shù)”。

展望未來，格林沃爾德預(yù)計，傳統(tǒng)的RDBMS供應(yīng)商將感受到價格壓力越來越大，并為他們的產(chǎn)品增加新的功能?！坝行┕?yīng)商會甚至為其整個數(shù)據(jù)管理系統(tǒng)帶來新的競爭者。”他說。

至于新的市場進入者，他預(yù)測，只有少數(shù)會幸存下來，“許多企業(yè)要么被收購或是耗盡其資金。”

今天的新技術(shù)并不代表數(shù)據(jù)分析傳統(tǒng)的RDBMS的結(jié)束，“傳統(tǒng)的RDBMS本身正在迅速發(fā)展?！?nbsp;IDC的Olofson對此也表示同意?！癛DBMS需要明確定義的數(shù)據(jù) - 總有需要有這樣的角色。”

但是，他表示說，新的競爭者也會扮演一些角色，特別是在物聯(lián)網(wǎng)和新興技術(shù)領(lǐng)域，如非易失性雙列直插式內(nèi)存模塊(Non-Volatile Dual In-line Memory Module，NVDIMM)正占據(jù)上風(fēng)。

將會有無數(shù)的問題需要多種解決方案，Olofson補充說?！按罅坑腥さ臇|西等待著人們?nèi)グl(fā)掘。”