99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀關(guān)于大數(shù)據(jù)的處理的一些經(jīng)驗
關(guān)于大數(shù)據(jù)的處理的一些經(jīng)驗
2017-12-31
收藏

1.數(shù)據(jù)庫的技術(shù)上，目前我們公司在研究hadoop分層數(shù)據(jù)庫，具體了解不多；外面流行的NoSql非關(guān)系型數(shù)據(jù)庫，像亞馬遜、谷歌還有一些日本企業(yè)都有自己的NoSql數(shù)據(jù)庫；

2.傳統(tǒng)關(guān)系型數(shù)據(jù)庫的優(yōu)化，數(shù)據(jù)庫層的優(yōu)化和上層使用的優(yōu)化。

數(shù)據(jù)庫層：需要DBA進行優(yōu)化，減少碎片，進行分區(qū)等；

使用層的優(yōu)化，即優(yōu)化SQL

從外界因素來看影響SQL有：CPU、RAM、Network、Disk

CPU：SQL的大量order by，大量group by，case when等都會很費CPU，需要CPU進行計算。是否可以使用匯總來減少此問題

RAM：查找的數(shù)據(jù)量過大，導致內(nèi)存資源占用過多。

如無where的SQL，select *的SQL，全表掃描等；

頻繁的update、insert都會影響內(nèi)存，每次對SQL的解析都需要一定的時間和空間。采用綁定變量。

Network：過多的DB連接，頻繁的DB開關(guān)，跨庫的關(guān)聯(lián)，大量數(shù)據(jù)的導出，復雜的SQL等。

Disk：

大數(shù)據(jù)量的表，建立索引，保證索引的有效性；

減少大表的insert和delete，會造成磁盤碎片，導致磁盤指針的不連續(xù)性；

大表的insert和delete會造成索引的失效，必要時先去掉索引再操作增刪改；

索引其實是一張表，要保證其精簡

索引的建立，最好用在易排序字段，如number，date等，勿varchar；

varchar字段盡量保持長度的一致性，寧可多給出空間；

減少磁盤的讀取次數(shù)；

對大表禁止順序性的全表掃描，使用索引；

減少disdinct，用unionall代替union；

Not like，<>，全模糊like，is null，is not null，not in都會使索引失效；

索引上不要使用任何函數(shù)，盡量在等號的另一頭使用函數(shù)；

SQL的書寫一致，減少解析時間；

選擇最佳的執(zhí)行計劃，復雜的SQL，不如多個簡單的SQL；

減少嵌套子SQL，使用關(guān)聯(lián)查詢；

避免笛卡爾積連接；

避免使用*，數(shù)據(jù)庫需要對*進行一次匹配，會消耗資源，而且并不一定所有的字段都要進行查詢或者寫入，寫入時表結(jié)構(gòu)變化還會導致出錯，所以避免*；

全表刪除，不要使用delete，使用truncate；

全表分頁的效率較低，建議使用分步是分頁；

3.在數(shù)據(jù)讀取優(yōu)化到一定程度后，代碼上也可以進行很大的優(yōu)化。

避免過多的開裝箱，使用值類型；

對引用類型的集合，多使用泛型；

避免循環(huán)嵌套，和無休止的遞歸；

避免循環(huán)中建立大對象；

對大對象的釋放；

4.邏輯上的優(yōu)化

在需要查詢大量數(shù)據(jù)的時候，可以使用分頁；

分頁影響到一些圖標的產(chǎn)生時，可以借助匯總，先展示匯總信息和圖標，然后在進行詳情的鉆??；

時間空間的相互替換。

5.對常用信息的本地化保存，如QQ第一次加載很慢，但后面登陸會很快。


數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個參數(shù)驗證碼對象，之后可以使用它調(diào)用相應的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }