99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀小數(shù)據(jù)：理論和架構(gòu)
小數(shù)據(jù)：理論和架構(gòu)
2016-03-06
收藏

小數(shù)據(jù)：理論和架構(gòu)

大數(shù)據(jù)是當(dāng)下最熱門的IT主題之一。據(jù)麥肯錫的分析，大數(shù)據(jù)能使信息更透明、能讓決策者獲得更精確翔實(shí)的績效信息、能針對客戶群體提供更準(zhǔn)確的定制、能提升組織決策能力、能幫助開發(fā)下一代產(chǎn)品和服務(wù)。新時(shí)代里與互聯(lián)網(wǎng)聯(lián)結(jié)的組織不論大小，都需要這些能力。

然而與此同時(shí)，大數(shù)據(jù)的“大”并非適用于所有組織。Gartner認(rèn)為，大數(shù)據(jù)具有“3V”的特征：多樣性(Variety)，數(shù)據(jù)來自多種不同來源、具有多種不同形態(tài);速度(Velocity)，數(shù)據(jù)形態(tài)和呈現(xiàn)形式的變化快且頻繁;量級(jí)(Volume)，數(shù)據(jù)量非常巨大。然而對于眾多的中小型企業(yè)及非營利組織而言，這三個(gè)特征有兩個(gè)未必適用。很多中小型組織只有為數(shù)不多的幾個(gè)IT系統(tǒng)，數(shù)據(jù)都保存在為數(shù)不多的幾個(gè)關(guān)系型數(shù)據(jù)庫中，數(shù)據(jù)量不超過數(shù)百萬條記錄。只有變化速度快這一特征，對于中小型組織仍然適用。從這個(gè)意義上，這些中小型組織需要的是一個(gè)“小數(shù)據(jù)”解決方案：
　　小數(shù)據(jù)：聚焦中小型組織和新興業(yè)務(wù)，在數(shù)據(jù)量較小、數(shù)據(jù)來源較簡單的情況下，提供非常靈活、非常簡便易用、使用過程中對IT技能要求非常低的數(shù)據(jù)分析和商業(yè)智能，為應(yīng)對多變且未知的外部環(huán)境提供決策支持。
傳統(tǒng)上，很多小數(shù)據(jù)場景的分析和商業(yè)智能需求以“報(bào)表”的形式呈現(xiàn)在IT項(xiàng)目中：在開發(fā)OLTP系統(tǒng)的項(xiàng)目中列出一組報(bào)表需求，由交付OLTP系統(tǒng)的團(tuán)隊(duì)以直接SQL查詢的形式實(shí)現(xiàn)報(bào)表。這種做法貼合了數(shù)據(jù)量小、數(shù)據(jù)來源簡單的特征，但損失了靈活性，報(bào)表的定制和修改需要技術(shù)人員介入，因此又無法滿足對速度的要求。為了贏得靈活性，小數(shù)據(jù)分析也同樣需要首先建模OLAP Cube，然后通過不同維度的切片和鉆取進(jìn)行分析。
什么是Cube?按照維度建模方法，數(shù)據(jù)可以分為“事實(shí)”和“維度”兩類。事實(shí)數(shù)據(jù)代表“發(fā)生了什么事”，維度數(shù)據(jù)則從各個(gè)角度描述這件事。如果以電商為例，事實(shí)數(shù)據(jù)是“銷售記錄”(賣了一個(gè)東西)，常見的維度數(shù)據(jù)可能包括“產(chǎn)品”(賣的是什么)、“門店”(在哪里賣的)、“時(shí)間”(什么時(shí)候賣的)、“售貨員”(誰賣的)、“顧客”(賣給了誰)等等。不難想象，事實(shí)數(shù)據(jù)表將只有一個(gè)主鍵、一個(gè)值、以及一大堆外鍵指向各個(gè)維度表;維度表也可能有外鍵再指向更多的描述性的子維度表(例如“產(chǎn)品”有外鍵指向“類別”)。于是我們就會(huì)得到一個(gè)星型表結(jié)構(gòu)(或叫雪花型表結(jié)構(gòu))。
星型表
星型表星型表結(jié)構(gòu)的優(yōu)勢在于，分析操作會(huì)變得非常簡單：你關(guān)心哪些信息，就直接用JOIN子句把這些維度表關(guān)聯(lián)進(jìn)來;只要在JOIN子句里指定WHERE條件，就可以快速縮減結(jié)果集。在星型表結(jié)構(gòu)里，一個(gè)事實(shí)會(huì)被若干個(gè)維度修飾，因此可以把整個(gè)數(shù)據(jù)集想象成一個(gè)立方體(或超立方體，當(dāng)維度多于三個(gè)時(shí))。例如當(dāng)只考慮“產(chǎn)品”、“城市”、“時(shí)間”這三個(gè)維度時(shí)，“銷售記錄”的數(shù)據(jù)集就可以被建模為一個(gè)立方體。
立方體

　　隨后就可以在這個(gè)立方體上對數(shù)據(jù)進(jìn)行各種分析。例如你可以鎖定“城市”這一維度，從而得到“某城市各種產(chǎn)品歷史銷售報(bào)表”——“鎖定某一維度取值”這一操作也叫“切片”(slice)，因?yàn)樗谶@個(gè)例子中產(chǎn)生的效果就是從三維的立方體中切出一個(gè)二維的數(shù)據(jù)平面。同樣的，我們也可以從“產(chǎn)品”維度切片，從而得到“某產(chǎn)品各市歷史銷售報(bào)表”。當(dāng)維度具有“分級(jí)匯聚”的特性時(shí)，我們還可以進(jìn)行“鉆取”(drill)操作，例如當(dāng)“地區(qū)”維度分為“市”和“省”兩級(jí)時(shí)，我們就可以在“地區(qū)”維度上進(jìn)行鉆?。菏紫葟漠a(chǎn)品維度切片得到“某產(chǎn)品各省歷史銷售報(bào)表”，然后選擇一個(gè)省下鉆得到“某產(chǎn)品在某省內(nèi)各市歷史銷售報(bào)表”。


小數(shù)據(jù)系統(tǒng)設(shè)計(jì)原則1：建模一個(gè)Cube，就可以快速實(shí)現(xiàn)一系列分析操作(及對應(yīng)的報(bào)表)。小數(shù)據(jù)系統(tǒng)應(yīng)該支持簡便且易于修改的Cube建模。
 
　　基于這個(gè)設(shè)計(jì)原則，我們可以大概推知小數(shù)據(jù)系統(tǒng)的架構(gòu)：首先，根據(jù)指定的Cube描述信息，把業(yè)務(wù)數(shù)據(jù)建模成Cube;然后，通過RESTful API對Cube進(jìn)行切片、鉆取和聚合等操作，并取回二維平面表或透視表形式的結(jié)果集;最后，根據(jù)指定的報(bào)表定義信息，把結(jié)果集渲染成報(bào)表。
小<a href='/map/shujujiagou/' style='color:#000;font-size:inherit;'>數(shù)據(jù)架構(gòu)</a>
　    從上圖不難看出，在這個(gè)架構(gòu)中，必須由用戶(不論是開發(fā)者或最終用戶)提供的信息只有三項(xiàng)：
 
　　(1)Cube的描述;(2)數(shù)據(jù)分析操作對應(yīng)的URL;(3)呈現(xiàn)分析結(jié)果的報(bào)表定義。
 
　　并且第三項(xiàng)信息(即報(bào)表定義)與具體業(yè)務(wù)是完全解耦的，因此理應(yīng)可以用分別的開源軟件組合形成輕量級(jí)的小數(shù)據(jù)解決方案。


數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號(hào)：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }