99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話:13121318867

登錄
首頁精彩閱讀【每周一期-數據蔣堂】SQL用作大數據計算語法好嗎
【每周一期-數據蔣堂】SQL用作大數據計算語法好嗎
2017-09-23
收藏

【每周一期-數據蔣堂】SQL用作大數據計算語法好嗎

當前的大數據平臺在處理結構化數據時大都仍然以提供SQL語法為主流。兼容SQL的好處是很明顯的,SQL的應用非常廣泛,會SQL的程序員很多,如果繼續(xù)采用SQL則可以避免許多學習成本。支持SQL的前端軟件也很多,使用SQL的大數據平臺很容易融入這個現成的生態(tài)圈中。大數據平臺打算替代的傳統數據庫也是SQL語法的,這樣兼容性會很好,移植成本相對較低。

但繼續(xù)使用SQL也有缺點,最大的問題就是難以獲得大數據計算最需要的高性能。

我們在前面的文章中提到過,SQL中缺乏一些必要的數據類型和運算定義,這使得某些高性能算法無法描述,只能寄希望于計算引擎在工程上的優(yōu)化。傳統商業(yè)數據庫經過幾十年的發(fā)展,優(yōu)化經驗已經相當豐富,但即使這樣仍有許多場景難以被優(yōu)化,理論層面的問題確實很難在工程層面解決。而新興的大數據平臺在優(yōu)化方面的經驗還遠遠不如傳統數據庫,算法上不占優(yōu),就只能靠集群更多的機器獲得性能提升。另外,SQL還是一種描述性語言,不擅長指定執(zhí)行路徑,而想獲得高性能常常需要專門優(yōu)化的執(zhí)行路徑,這又需要增加許多特殊的修飾符來人為干預,那還不如直接用過程性語法更為直接,這也會妨礙用SQL寫出高性能的代碼。

SQL發(fā)明之初的計算機硬件能力還比較差,要保證實用性,SQL的設計必須適應當時的硬件條件,這就導致了SQL很難充分利用當代計算機的硬件能力,具體來說就是大內存、多線程和集群。SQL中的JOIN是按鍵值對應的,而大內存情況下其實可以直接用地址對應,不需要計算HASH值和比對,性能可以提高很多;SQL的數據表無序,單表計算時還容易做到分段并行,多表關聯運算時一般就只能事先做好固定分段,很難做到同步動態(tài)分段,這就無法根據機器的負載臨時決定并行的線程數量;對于集群運算也是這樣,SQL在理論上不區(qū)分維表和事實表,JOIN運算簡單地定義為笛卡爾積后過濾,要實現大表JOIN就會不可避免地產生占用大量網絡資源的HASH Shuffle動作,在集群節(jié)點數太多時,網絡傳輸造成的延遲會超過節(jié)點多帶來的好處。

如果我們設計新的代數體系和運算模型,就可能克服SQL的這些缺點,一方面更好地描述高性能算法,另一方面能充分利用當前的硬件資源,從而獲得更高的性能。

不過,這樣一來,對外的接口也就不再是SQL語法了,不能再兼容以往的代碼了。

順便提一句,新的運算模型并不是指當前業(yè)內的NoSQL,NoSQL并不是為高性能計算設計的,事實上它以犧牲計算能力為代價而換取了可橫向擴展的能力,對于復雜大數據計算的需求而言是個倒退。

有沒可能讓高性能和兼容性共存呢?比如采用新的內核模型,然后基于它去解釋SQL語法,或者能將SQL代碼自動移植到新體系下。

理論上是可能的,解釋或移植SQL是有不少工作量,但并不是非常困難。不過,這樣做只能獲得語法的兼容性,并不能得到高性能。高效的代碼要針對運算模型的特征去編寫,而SQL語法中并沒有體現這些信息,一定要把SQL移植過來,仍然會面臨前述的工程層面優(yōu)化問題,沒辦法做得最優(yōu)效果。事實上,兩種均采用SQL的數據庫,要讓其特有的語法能夠互相解釋和移植,在不影響性能的前提下都是很難做到的。新興的大數據廠商都愿意提供這種可移植的技術以降低老數據庫的移植成本,但并沒有多少成功者。

那么,結論是什么呢?

對于中短期目標的產品,那么繼續(xù)采用SQL是合理的,這將有利于產品的快速應用,性能主要依靠硬件能力或更大規(guī)模的集群來提升。而面向長期目標的產品,那就有必要采用取代關系代數體系的運算型,為獲得高性能,不能也不必再提供兼容SQL的方案了,需要忍受漫長的健全生態(tài)圈過程。


數據分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數據分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調用 initGeetest 進行初始化 // 參數1:配置參數 // 參數2:回調,回調的第一個參數驗證碼對象,之后可以使用它調用相應的接口 initGeetest({ // 以下 4 個配置參數為必須,不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產品形式,包括:float,popup width: "280px", https: true // 更多配置參數說明請參見:http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'!'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'!'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }