數(shù)據(jù)庫(kù)技術(shù)大牛Michael Stonebraker談新時(shí)代應(yīng)用底層

Michael Stonebraker，數(shù)據(jù)庫(kù)領(lǐng)域的布道者，著名的數(shù)據(jù)庫(kù)科學(xué)家，美國(guó)工程院院士，馮諾依曼獎(jiǎng)的獲得者，第一屆SIGMOD Edgar F. Codd創(chuàng)新獎(jiǎng)的得主，曾擔(dān)任Informix CTO。他在1992年提出對(duì)象關(guān)系數(shù)據(jù)庫(kù)模型，在加州伯克利分校任計(jì)算機(jī)教授達(dá)25年，更是眾多數(shù)據(jù)庫(kù)公司的創(chuàng)始人之一，其中包括Ingres、Illustra、Cohera、StreamBase Systems和Vertica等，目前是麻省理工學(xué)院教授，所參與的項(xiàng)目包括：Aurora，C-Store，H-Store，Morpheus，以及SciDB系統(tǒng)等。

Stonebraker是SQL Server/Sysbase奠基人，87年左右，Sybase聯(lián)合了微軟，共同開(kāi)發(fā)SQL Server。原始代碼的來(lái)源與Ingres有些淵源。后來(lái)1994年，兩家公司合作終止。此時(shí)，兩家公司都擁有一套完全相同的SQLServer代碼。也可以認(rèn)為，Stonebraker教授是目前主流數(shù)據(jù)庫(kù)的奠基人。

2014年12月12-14日北京召開(kāi)的2014中國(guó)大數(shù)據(jù)技術(shù)大會(huì)（暨第二屆CCF大數(shù)據(jù)學(xué)術(shù)會(huì)議）正在邀請(qǐng)數(shù)據(jù)庫(kù)領(lǐng)域的布道者M(jìn)ichael Stonebraker，希望能有機(jī)會(huì)帶大家領(lǐng)略大數(shù)據(jù)時(shí)代數(shù)據(jù)庫(kù)領(lǐng)域的最前沿思想。

數(shù)據(jù)庫(kù)領(lǐng)域的布道者M(jìn)ichael Stonebraker 

2012年，他發(fā)現(xiàn)一個(gè)有趣的現(xiàn)象：相當(dāng)一部分計(jì)算機(jī)學(xué)團(tuán)體已重新制定了其研究課題，并加盟到了“大數(shù)據(jù)”大旗麾下，發(fā)覺(jué)大數(shù)據(jù)已然成為最時(shí)髦的術(shù)語(yǔ)。他結(jié)合自己在數(shù)據(jù)庫(kù)（根據(jù)定義，數(shù)據(jù)庫(kù)就是處理大數(shù)據(jù)的）領(lǐng)域侵淫多年，特撰寫(xiě)了四篇博文來(lái)解釋他對(duì)“大數(shù)據(jù)”的理解。

他對(duì)大數(shù)據(jù)有如下四種含義：

大數(shù)據(jù)量、“小分析學(xué)”。此處的目標(biāo)是對(duì)極大量的數(shù)據(jù)集使用SQL。對(duì)大數(shù)據(jù)集，沒(méi)有人會(huì)用“Select *”來(lái)查詢(xún)因?yàn)槠浞祷靥庸?jié)（terabyte）的數(shù)據(jù)使接收者無(wú)法應(yīng)付。替代方案，則是對(duì)海量數(shù)據(jù)把注意力放在SQL的分析功能上，如count、sum、max、min、avg等，可輔之以group_by。我將此稱(chēng)作“小分析學(xué)”，以便把這個(gè)用例（use case）區(qū)別于下面的場(chǎng)合。

對(duì)大量數(shù)據(jù)使用大分析學(xué)?！按蠓治鰧W(xué)”在此的含義是：對(duì)海量數(shù)據(jù)施用數(shù)據(jù)聚類(lèi)（clustering）、回歸分析、機(jī)器學(xué)習(xí)、以及其他更為復(fù)雜的分析手段。目前，用戶(hù)傾向于采用統(tǒng)計(jì)學(xué)軟件包如R、SPSS、SAS等來(lái)實(shí)現(xiàn)。其他方案是使用線性代數(shù)軟件包，例如：ScalaPack或Arpack。最后，也有大量自行開(kāi)發(fā)的代碼在使用中。

大速度。其含義是：對(duì)電子交易、實(shí)時(shí)網(wǎng)頁(yè)廣告投放、實(shí)時(shí)客戶(hù)針對(duì)營(yíng)銷(xiāo)、移動(dòng)社交網(wǎng)絡(luò)等應(yīng)用，能夠吸收并處理“滅火水龍帶”式的數(shù)據(jù)涌入。此用例在大型網(wǎng)站公司和華爾街盛行，二者都傾向于自行開(kāi)發(fā)。

大多樣性。許多企業(yè)面臨整合日益擴(kuò)大的多種數(shù)據(jù)源，而數(shù)據(jù)格式千差萬(wàn)別，例如：電子表格、網(wǎng)頁(yè)、XML、傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)等。許多企業(yè)認(rèn)為這是最頭疼的問(wèn)題。從歷史上來(lái)說(shuō)，萃取、轉(zhuǎn)置、加載（ETL）供應(yīng)商在此市場(chǎng)上對(duì)有限的數(shù)據(jù)源曾提供服務(wù)。

他第一篇博文中專(zhuān)門(mén)討論了大量數(shù)據(jù)的小分析學(xué)，爾后的三篇博文將運(yùn)用實(shí)例論及其他三點(diǎn)，感興趣的可以到Stonebraker的博客查看。（原文鏈接： 一、 二、 三、 四） 

去年底，Stonebraker還參加了一期 Structure Show，談?wù)撟约簩?duì)數(shù)據(jù)庫(kù)市場(chǎng)的觀點(diǎn)，包括NoSQL和Oracle的未來(lái)，當(dāng)然還有Facebook的MySQL問(wèn)題。若使用或研究數(shù)據(jù)庫(kù)技術(shù)的人想聽(tīng)整個(gè)訪談，請(qǐng)點(diǎn)擊 這里。以下是一些精華摘要： 

1. 單一模式不能包打天下：“任何我可以想到的垂直市場(chǎng)，相比傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)，總會(huì)有一些更合適的解決方案。”Stonebraker 如是說(shuō)。事實(shí)上，這是他一貫的主張。但今時(shí)今日這一主張看起來(lái)更有說(shuō)服力了。現(xiàn)在有用于數(shù)據(jù)分析的列存儲(chǔ)架構(gòu)，用于交易的內(nèi)存架構(gòu)，當(dāng)然也有用于簡(jiǎn)單的鍵值操作及新數(shù)據(jù)類(lèi)型的NoSQL架構(gòu)。甚至圖形數(shù)據(jù)庫(kù)都開(kāi)始步入商用。 

2. 數(shù)據(jù)庫(kù)領(lǐng)域可以有很多贏家：“將有3到5個(gè)，甚至6個(gè)非常不同的數(shù)據(jù)庫(kù)系統(tǒng)架構(gòu)成為贏家，而在每一類(lèi)下都會(huì)有2到3個(gè)成功的供應(yīng)商?！盨tonebraker預(yù)測(cè)：“我的核心觀點(diǎn)是，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)將慢慢收縮，這一切轉(zhuǎn)變也許需要十年。” 

3. NoSQL會(huì)被廣泛接受：“我的預(yù)測(cè)是NoSQL將意味著不止SQL?！盨tonebraker說(shuō)，“Cassandra和MongoDB已經(jīng)宣布了類(lèi)似這樣的東西，如果你放下你的偏見(jiàn)，那么這種高級(jí)語(yǔ)言基本上就是SQL?！比藗円呀?jīng)不那么看好單純的底層語(yǔ)言的價(jià)值。Stonebraker認(rèn)為NoSQL系統(tǒng)將來(lái)也要擁抱ACID。而這一切可能正在發(fā)生。 

4. Oracle將感受到來(lái)自SAP的壓力：“我覺(jué)得另一個(gè)非常有趣的事是SAP在數(shù)據(jù)庫(kù)領(lǐng)域還沒(méi)有得到很多關(guān)注，現(xiàn)在SAP的客戶(hù)同時(shí)也是Oracle最大的客戶(hù)。”Stonebraker說(shuō)：“在這些巨頭中，Oracle和SAP會(huì)好好地干上一架?！?

現(xiàn)在說(shuō)這個(gè)可能有點(diǎn)早了，我們也不知道SAP的客戶(hù)將如何回應(yīng)切換數(shù)據(jù)庫(kù)的游說(shuō)。不過(guò)Stonebraker補(bǔ)充說(shuō)：“我的預(yù)期是，SAP會(huì)給客戶(hù)一個(gè)信服的理由，讓他們從Oracle遷移到HANA?！?

5. Facebook會(huì)繼續(xù)尋找MySQL的替代品，不過(guò)可能勞而無(wú)功：“Facebook面對(duì)的是這個(gè)星球上最難的數(shù)據(jù)管理問(wèn)題之一。”Stonebraker說(shuō)?！八麄兓藬?shù)年的時(shí)間嘗試從MySQL遷移到別的系統(tǒng)，但是到目前為止還沒(méi)有發(fā)現(xiàn)可以匹配他們規(guī)模的替代品?！?nbsp; 

相比幾年前的觀點(diǎn)，Stonebraker現(xiàn)在的主張已經(jīng)有所緩和?？赡苓@是因?yàn)镕acebook分享了他們?cè)贛ySQL上做的一些努力，包括為了維持MySQL系統(tǒng)的運(yùn)行所作的精妙的配置。然而這一緩和，與其說(shuō)是對(duì)MySQL的支持，不如說(shuō)是對(duì)Facebook的數(shù)據(jù)庫(kù)改造的認(rèn)同。 

最后，Stonebraker的總結(jié)一如既往的幽默：“傳統(tǒng)的數(shù)據(jù)庫(kù)銷(xiāo)售商提供的產(chǎn)品，它們的代碼基礎(chǔ)和25年前一樣，現(xiàn)在正讓它們退休的時(shí)候了。(文章來(lái)自：CDA數(shù)據(jù)分析師)