99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀小數(shù)據(jù)：理論和架構(gòu)
小數(shù)據(jù)：理論和架構(gòu)
2016-03-06
收藏

小數(shù)據(jù)：理論和架構(gòu)

大數(shù)據(jù)是當(dāng)下最熱門的IT主題之一。據(jù)麥肯錫的分析，大數(shù)據(jù)能使信息更透明、能讓決策者獲得更精確翔實的績效信息、能針對客戶群體提供更準(zhǔn)確的定制、能提升組織決策能力、能幫助開發(fā)下一代產(chǎn)品和服務(wù)。新時代里與互聯(lián)網(wǎng)聯(lián)結(jié)的組織不論大小，都需要這些能力。

然而與此同時，大數(shù)據(jù)的“大”并非適用于所有組織。Gartner認(rèn)為，大數(shù)據(jù)具有“3V”的特征：多樣性(Variety)，數(shù)據(jù)來自多種不同來源、具有多種不同形態(tài);速度(Velocity)，數(shù)據(jù)形態(tài)和呈現(xiàn)形式的變化快且頻繁;量級(Volume)，數(shù)據(jù)量非常巨大。然而對于眾多的中小型企業(yè)及非營利組織而言，這三個特征有兩個未必適用。很多中小型組織只有為數(shù)不多的幾個IT系統(tǒng)，數(shù)據(jù)都保存在為數(shù)不多的幾個關(guān)系型數(shù)據(jù)庫中，數(shù)據(jù)量不超過數(shù)百萬條記錄。只有變化速度快這一特征，對于中小型組織仍然適用。從這個意義上，這些中小型組織需要的是一個“小數(shù)據(jù)”解決方案：
　　小數(shù)據(jù)：聚焦中小型組織和新興業(yè)務(wù)，在數(shù)據(jù)量較小、數(shù)據(jù)來源較簡單的情況下，提供非常靈活、非常簡便易用、使用過程中對IT技能要求非常低的數(shù)據(jù)分析和商業(yè)智能，為應(yīng)對多變且未知的外部環(huán)境提供決策支持。
傳統(tǒng)上，很多小數(shù)據(jù)場景的分析和商業(yè)智能需求以“報表”的形式呈現(xiàn)在IT項目中：在開發(fā)OLTP系統(tǒng)的項目中列出一組報表需求，由交付OLTP系統(tǒng)的團隊以直接SQL查詢的形式實現(xiàn)報表。這種做法貼合了數(shù)據(jù)量小、數(shù)據(jù)來源簡單的特征，但損失了靈活性，報表的定制和修改需要技術(shù)人員介入，因此又無法滿足對速度的要求。為了贏得靈活性，小數(shù)據(jù)分析也同樣需要首先建模OLAP Cube，然后通過不同維度的切片和鉆取進行分析。
什么是Cube?按照維度建模方法，數(shù)據(jù)可以分為“事實”和“維度”兩類。事實數(shù)據(jù)代表“發(fā)生了什么事”，維度數(shù)據(jù)則從各個角度描述這件事。如果以電商為例，事實數(shù)據(jù)是“銷售記錄”(賣了一個東西)，常見的維度數(shù)據(jù)可能包括“產(chǎn)品”(賣的是什么)、“門店”(在哪里賣的)、“時間”(什么時候賣的)、“售貨員”(誰賣的)、“顧客”(賣給了誰)等等。不難想象，事實數(shù)據(jù)表將只有一個主鍵、一個值、以及一大堆外鍵指向各個維度表;維度表也可能有外鍵再指向更多的描述性的子維度表(例如“產(chǎn)品”有外鍵指向“類別”)。于是我們就會得到一個星型表結(jié)構(gòu)(或叫雪花型表結(jié)構(gòu))。
星型表
星型表星型表結(jié)構(gòu)的優(yōu)勢在于，分析操作會變得非常簡單：你關(guān)心哪些信息，就直接用JOIN子句把這些維度表關(guān)聯(lián)進來;只要在JOIN子句里指定WHERE條件，就可以快速縮減結(jié)果集。在星型表結(jié)構(gòu)里，一個事實會被若干個維度修飾，因此可以把整個數(shù)據(jù)集想象成一個立方體(或超立方體，當(dāng)維度多于三個時)。例如當(dāng)只考慮“產(chǎn)品”、“城市”、“時間”這三個維度時，“銷售記錄”的數(shù)據(jù)集就可以被建模為一個立方體。
立方體

　　隨后就可以在這個立方體上對數(shù)據(jù)進行各種分析。例如你可以鎖定“城市”這一維度，從而得到“某城市各種產(chǎn)品歷史銷售報表”——“鎖定某一維度取值”這一操作也叫“切片”(slice)，因為它在這個例子中產(chǎn)生的效果就是從三維的立方體中切出一個二維的數(shù)據(jù)平面。同樣的，我們也可以從“產(chǎn)品”維度切片，從而得到“某產(chǎn)品各市歷史銷售報表”。當(dāng)維度具有“分級匯聚”的特性時，我們還可以進行“鉆取”(drill)操作，例如當(dāng)“地區(qū)”維度分為“市”和“省”兩級時，我們就可以在“地區(qū)”維度上進行鉆取：首先從產(chǎn)品維度切片得到“某產(chǎn)品各省歷史銷售報表”，然后選擇一個省下鉆得到“某產(chǎn)品在某省內(nèi)各市歷史銷售報表”。


小數(shù)據(jù)系統(tǒng)設(shè)計原則1：建模一個Cube，就可以快速實現(xiàn)一系列分析操作(及對應(yīng)的報表)。小數(shù)據(jù)系統(tǒng)應(yīng)該支持簡便且易于修改的Cube建模。
 
　　基于這個設(shè)計原則，我們可以大概推知小數(shù)據(jù)系統(tǒng)的架構(gòu)：首先，根據(jù)指定的Cube描述信息，把業(yè)務(wù)數(shù)據(jù)建模成Cube;然后，通過RESTful API對Cube進行切片、鉆取和聚合等操作，并取回二維平面表或透視表形式的結(jié)果集;最后，根據(jù)指定的報表定義信息，把結(jié)果集渲染成報表。
小<a href='/map/shujujiagou/' style='color:#000;font-size:inherit;'>數(shù)據(jù)架構(gòu)</a>
　    從上圖不難看出，在這個架構(gòu)中，必須由用戶(不論是開發(fā)者或最終用戶)提供的信息只有三項：
 
　　(1)Cube的描述;(2)數(shù)據(jù)分析操作對應(yīng)的URL;(3)呈現(xiàn)分析結(jié)果的報表定義。
 
　　并且第三項信息(即報表定義)與具體業(yè)務(wù)是完全解耦的，因此理應(yīng)可以用分別的開源軟件組合形成輕量級的小數(shù)據(jù)解決方案。


數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個參數(shù)驗證碼對象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務(wù)器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }