99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀大數(shù)據(jù)量最近的存儲分表常見算法
大數(shù)據(jù)量最近的存儲分表常見算法
2017-12-26
收藏

大數(shù)據(jù)量最近的存儲分表常見算法

當一個應用的數(shù)據(jù)量大的時候，我們用單表和單庫來存儲會嚴重影響操作速度，如mysql的myisam存儲，我們經(jīng)過測試，200w以下的時候，mysql的訪問速度都很快，但是如果超過200w以上的數(shù)據(jù)，他的訪問速度會急劇下降，影響到我們webapp的訪問速度，而且數(shù)據(jù)量太大的話，如果用單表存儲，就會使得系統(tǒng)相當?shù)牟环€(wěn)定，mysql服務很容易掛掉。所以當數(shù)據(jù)量超過200w的時候，建議系統(tǒng)工程師還是考慮分表.

以下是幾種常見的分表算法。

1.按自然時間來分表/分庫;

如一個應用的數(shù)據(jù)在一年后數(shù)據(jù)量會達到200w左右，那么我們就可以考慮用一年的數(shù)據(jù)來做為一個表或者庫來存儲，例如，表名為app，那么2010年的數(shù)據(jù)就是app_2010，app_2011;如果數(shù)據(jù)量在一個月就達到了200w左右，那么我們就可以用月份來分，app_2010_01，app_2010_02.

2.按數(shù)字類型hash分表/分庫;

如果我們要存儲用戶的信息，我們應用的注冊量很大，我們用單表是不能滿足存儲需求的，那么我們就可以用用戶的編號來進行hash，常見的是用取余操作，如果我們要分30張表來存儲用戶的信息，那么用戶編號為1的用戶1%30=1，那么我們就存在user_01表里，如用戶的編號為500，那么500%30=20，那么我們就將此用戶的信息存儲在user_20的表里.

3.按md5值來分表/分庫;

我們假設要存儲用戶上傳的文件，如果上傳量大的話，也會帶來系統(tǒng)的瓶頸問題，我們做過試驗，在一個文件夾下如果超過200個文件的話，文件的瀏覽效率會降低，當然，這個不屬于我們本文討論的范圍，這塊也要做散列操作.我們可以用文件的用戶名來md5或者用文件的md5校驗值來做，我們就可以用md5的前5位來做hash，這樣最多我們就可以得到5^5=3125個表，每次在存儲文件的時候，就可以用文件名的md5值的前5位來確定這個文件該存那張表.

4.實例:某微博的url加密算法和存儲策略的猜想.

現(xiàn)在好多微博都用這樣的url來訪問，如果他們的域名為www.example.com，那么如果你發(fā)微博的時候，你會發(fā)現(xiàn)你所發(fā)的url都變成了http://t.cn/Mx4ja1，這樣的形式，他們是怎么進行這樣的轉換呢?我猜想就是用到了我們上面講的md5的存儲和查找規(guī)則，用你發(fā)的url來進行md5，得到md5值之后，如我們例子來說，就會用前6位來進行分表.

5.分表所帶來的問題.

分表也會帶來一系列的問題，如分頁的實現(xiàn)，統(tǒng)計的實現(xiàn)，如果我們要做一個所有數(shù)據(jù)的分頁，那么我們得每張表都得遍歷一遍，這樣訪問效率會很低下.之前我嘗試過用mysql的代理來實現(xiàn)，最終用tcsql來實現(xiàn)了.

6.分表算法的選擇.

首先，分表適合于沒有大的列表的應用來使用，要不然，會為這部分做好多額外的工作，如果你的應用數(shù)據(jù)量不是特別大的話，最好別用分表。

7.針對每秒插入數(shù)據(jù)500+的設想
為什么要copy這個呢，因為很多數(shù)據(jù)庫在數(shù)據(jù)上千萬級別后，每秒插入數(shù)據(jù)的數(shù)度不是很快了，所以500/秒的速度夠嗆，解決方案設想：
建立數(shù)據(jù)總表及兩個緩沖表，結構完全相同，將數(shù)據(jù)先插入其中一個緩沖表中，等到一定時間(插入效率降低之前)，轉向插入另一個緩沖表，同時啟動一個后臺進程將第
一個緩沖表的的數(shù)據(jù)轉入總表，轉入總表后刪除第一個緩沖表中的數(shù)據(jù); 再等到一定時間(還是插入效率降低之前)，轉向插入第一個緩沖表，這時啟動一個后臺進程將第
二個緩沖表的的數(shù)據(jù)轉入總表，轉入總表后刪除第二個緩沖表中的數(shù)據(jù); 如此循環(huán)往復...

如果后臺進程處理的時間超過兩個緩沖表的循環(huán)周期的話，甚至可以考慮建立三個乃至四個緩沖表。

這僅僅是解決插入效率，查詢什么的問題也大。


數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師考試動態(tài)
數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調用 initGeetest 進行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調，回調的第一個參數(shù)驗證碼對象，之后可以使用它調用相應的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }