99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀百萬級別數(shù)據(jù)，數(shù)據(jù)庫Mysql，Mongodb，Hbase如何選擇
百萬級別數(shù)據(jù)，數(shù)據(jù)庫Mysql，Mongodb，Hbase如何選擇
2014-12-23
收藏

百萬級別數(shù)據(jù)，數(shù)據(jù)庫Mysql，Mongodb，Hbase如何選擇

情況說明：

現(xiàn)在需要做一個數(shù)據(jù)存儲，500w左右的數(shù)據(jù)，日后每天大約產(chǎn)生5w條左右的數(shù)據(jù)。想把這些數(shù)據(jù)存儲起來，供日后的數(shù)據(jù)分析用？使用上面說的三種數(shù)據(jù)庫中的哪中比較好？是否有必要建立集群？

個人看法是：從長遠(yuǎn)角度看，由于單臺機器的性能瓶頸，后期肯定要做集群，單純的做復(fù)制最終也無法緩解單臺master上讀的負(fù)擔(dān)。因此，使用mysql的話會使用cluser。但是了解到mysql的cluser要用好的化還要做負(fù)載均衡，而mysql的均衡器是第三方的，無法很好的與mysql整合。使用mongodb的自動分片集群能很好的解決這個問題，而且它的讀寫性能也快。Hbase提供了大數(shù)據(jù)存儲的解決方案。

回到我問題，最終是要在大數(shù)據(jù)的基礎(chǔ)上做數(shù)據(jù)分析，雖然mongodb也能與Mapreduce整合，但想必Hbase做這一塊會更有優(yōu)勢。

我們的需求是做一個數(shù)據(jù)倉庫，不是線上數(shù)據(jù)，即是OLAP。數(shù)據(jù)來源是很多的線上數(shù)據(jù)庫（我們用的是mysql），每隔一段時間會同步數(shù)據(jù)過來（大概是幾天的樣子）。這些數(shù)據(jù)將用于日后的數(shù)據(jù)分析。因此，對實時性要求不是很高。

答案：

百萬級的數(shù)據(jù)，無論側(cè)重OLTP還是OLAP，當(dāng)然就是MySql了。

過億級的數(shù)據(jù)，側(cè)重OLTP可以繼續(xù)Mysql，側(cè)重OLAP，就要分場景考慮了。

實時計算場景：強調(diào)實時性，常用于實時性要求較高的地方，可以選擇Storm;

批處理計算場景：強調(diào)批處理，常用于數(shù)據(jù)挖掘、分析，可以選擇Hadoop;

實時查詢場景：強調(diào)查詢實時響應(yīng)，常用于把DB里的數(shù)據(jù)轉(zhuǎn)化索引文件，通過搜索引擎來查詢，可以選擇solr/elasticsearch;

企業(yè)級ODS/EDW/數(shù)據(jù)集市場景：強調(diào)基于關(guān)系性數(shù)據(jù)庫的大數(shù)據(jù)實時分析，常用于業(yè)務(wù)數(shù)據(jù)集成，可以選擇Greenplum；

數(shù)據(jù)庫系統(tǒng)一般分為兩種類型：

  • 一種是面向前臺應(yīng)用的，應(yīng)用比較簡單，但是重吞吐和高并發(fā)的OLTP類型；
  • 一種是重計算的，對大數(shù)據(jù)集進行統(tǒng)計分析的OLAP類型。

傳統(tǒng)數(shù)據(jù)庫側(cè)重交易處理，即OLTP，關(guān)注的是多用戶的同時的雙向操作，在保障即時性的要求下，系統(tǒng)通過內(nèi)存來處理數(shù)據(jù)的分配、讀寫等操作，存在IO瓶頸。

OLTP（On-Line Transaction Processing，聯(lián)機事務(wù)處理）系統(tǒng)也稱為生產(chǎn)系統(tǒng)，它是事件驅(qū)動的、面向應(yīng)用的，比如電子商務(wù)網(wǎng)站的交易系統(tǒng)就是一個典型的OLTP系統(tǒng)。OLTP的基本特點是：

  • 數(shù)據(jù)在系統(tǒng)中產(chǎn)生；
  • 基于交易的處理系統(tǒng)（Transaction-Based）；
  • 每次交易牽涉的數(shù)據(jù)量很??；
  • 對響應(yīng)時間要求非常高；
  • 用戶數(shù)量非常龐大，主要是操作人員；
  • 數(shù)據(jù)庫的各種操作主要基于索引進行。

分析型數(shù)據(jù)庫是以實時多維分析技術(shù)作為基礎(chǔ)，即側(cè)重OLAP，對數(shù)據(jù)進行多角度的模擬和歸納，從而得出數(shù)據(jù)中所包含的信息和知識。

OLAP（On-Line Analytical Processing，聯(lián)機分析處理）是基于數(shù)據(jù)倉庫的信息分析處理過程，是數(shù)據(jù)倉庫的用戶接口部分。OLAP系統(tǒng)是跨部門的、面向主題的，其基本特點是：

  • 本身不產(chǎn)生數(shù)據(jù)，其基礎(chǔ)數(shù)據(jù)來源于生產(chǎn)系統(tǒng)中的操作數(shù)據(jù)（OperationalData）；
  • 基于查詢的分析系統(tǒng)；
  • 復(fù)雜查詢經(jīng)常使用多表聯(lián)結(jié)、全表掃描等，牽涉的數(shù)據(jù)量往往十分龐大；
  • 響應(yīng)時間與具體查詢有很大關(guān)系；
  • 用戶數(shù)量相對較小，其用戶主要是業(yè)務(wù)人員與管理人員；


數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個參數(shù)驗證碼對象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務(wù)器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }