99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁(yè)精彩閱讀大數(shù)據(jù)的核心是云技術(shù)和BI
大數(shù)據(jù)的核心是云技術(shù)和BI
2018-08-23
收藏

大數(shù)據(jù)的核心是云技術(shù)和BI

關(guān)于大數(shù)據(jù)和云計(jì)算的關(guān)系人們通常會(huì)有誤解。而且也會(huì)把它們混起來(lái)說(shuō)，分別做一句話直白解釋就是：云計(jì)算就是硬件資源的虛擬化；大數(shù)據(jù)就是海量數(shù)據(jù)的高效處理。如果做一個(gè)更形象的解釋，云計(jì)算相當(dāng)于我們的計(jì)算機(jī)和操作系統(tǒng)，將大量的硬件資源虛擬化之后再進(jìn)行分配使用；大數(shù)據(jù)則相當(dāng)于海量數(shù)據(jù)的“數(shù)據(jù)庫(kù)”。

整體來(lái)看，未來(lái)的趨勢(shì)是，云計(jì)算作為計(jì)算資源的底層，支撐著上層的大數(shù)據(jù)處理，而大數(shù)據(jù)的發(fā)展趨勢(shì)是，實(shí)時(shí)交互式的查詢效率和分析能力，當(dāng)前的大數(shù)據(jù)處理一直在向著近似于傳統(tǒng)數(shù)據(jù)庫(kù)體驗(yàn)的方向發(fā)展。

大數(shù)據(jù)的4V特性，即類型復(fù)雜，海量，快速和價(jià)值，其總體架構(gòu)包括三層，數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)處理和數(shù)據(jù)分析。類型復(fù)雜和海量由數(shù)據(jù)存儲(chǔ)層解決，快速和時(shí)效性要求由數(shù)據(jù)處理層解決，價(jià)值由數(shù)據(jù)分析層解決。數(shù)據(jù)先要通過(guò)存儲(chǔ)層存儲(chǔ)下來(lái)，然后根據(jù)數(shù)據(jù)需求和目標(biāo)來(lái)建立相應(yīng)的數(shù)據(jù)模型和數(shù)據(jù)分析指標(biāo)體系對(duì)數(shù)據(jù)進(jìn)行分析產(chǎn)生價(jià)值。而中間的時(shí)效性又通過(guò)中間數(shù)據(jù)處理層提供的強(qiáng)大的并行計(jì)算和分布式計(jì)算能力來(lái)完成。三層相互配合，讓大數(shù)據(jù)最終產(chǎn)生價(jià)值。

數(shù)據(jù)存儲(chǔ)層

數(shù)據(jù)有很多分法，有結(jié)構(gòu)化，半結(jié)構(gòu)化，非結(jié)構(gòu)化；也有元數(shù)據(jù)，主數(shù)據(jù)，業(yè)務(wù)數(shù)據(jù)；還可以分為GIS，視頻，文件，語(yǔ)音，業(yè)務(wù)交易類各種數(shù)據(jù)。傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)庫(kù)已經(jīng)無(wú)法滿足數(shù)據(jù)多樣性的存儲(chǔ)要求，因此在RDBMS基礎(chǔ)上增加了兩種類型，一種是hdfs可以直接應(yīng)用于非結(jié)構(gòu)化文件存儲(chǔ)，一種是nosql類數(shù)據(jù)庫(kù)，可以應(yīng)用于結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)。

從存儲(chǔ)層的搭建來(lái)說(shuō)，關(guān)系型數(shù)據(jù)庫(kù)，NoSQL數(shù)據(jù)庫(kù)和hdfs分布式文件系統(tǒng)三種存儲(chǔ)方式都需要。業(yè)務(wù)應(yīng)用根據(jù)實(shí)際的情況選擇不同的存儲(chǔ)模式，但是為了業(yè)務(wù)的存儲(chǔ)和讀取方便性，我們可以對(duì)存儲(chǔ)層進(jìn)一步的封裝，形成一個(gè)統(tǒng)一的共享存儲(chǔ)服務(wù)層，簡(jiǎn)化這種操作。從用戶來(lái)講并不關(guān)心底層存儲(chǔ)細(xì)節(jié)，只關(guān)心數(shù)據(jù)的存儲(chǔ)和讀取的方便性，通過(guò)共享數(shù)據(jù)存儲(chǔ)層可以實(shí)現(xiàn)在存儲(chǔ)上的應(yīng)用和存儲(chǔ)基礎(chǔ)設(shè)置的徹底解耦。

數(shù)據(jù)處理層

數(shù)據(jù)處理層核心解決問(wèn)題在于數(shù)據(jù)存儲(chǔ)出現(xiàn)分布式后帶來(lái)的數(shù)據(jù)處理上的復(fù)雜度，海量存儲(chǔ)后帶來(lái)了數(shù)據(jù)處理上的時(shí)效性要求，這些都是數(shù)據(jù)處理層要解決的問(wèn)題。

在傳統(tǒng)的云相關(guān)技術(shù)架構(gòu)上，可以將hive，pig和hadoop-mapreduce框架相關(guān)的技術(shù)內(nèi)容全部劃入到數(shù)據(jù)處理層的能力。原來(lái)我思考的是將hive劃入到數(shù)據(jù)分析層能力不合適，因?yàn)閔ive重點(diǎn)還是在真正處理下的復(fù)雜查詢的拆分，查詢結(jié)果的重新聚合，而mapreduce本身又實(shí)現(xiàn)真正的分布式處理能力。

mapreduce只是實(shí)現(xiàn)了一個(gè)分布式計(jì)算的框架和邏輯，而真正的分析需求的拆分，分析結(jié)果的匯總和合并還是需要hive層的能力整合。最終的目的很簡(jiǎn)單，即支持分布式架構(gòu)下的時(shí)效性要求。

數(shù)據(jù)分析層

最后回到分析層，分析層重點(diǎn)是真正挖掘大數(shù)據(jù)的價(jià)值所在，而價(jià)值的挖掘核心又在于數(shù)據(jù)分析和挖掘。那么數(shù)據(jù)分析層核心仍然在于傳統(tǒng)的BI分析的內(nèi)容。包括數(shù)據(jù)的維度分析，數(shù)據(jù)的切片，數(shù)據(jù)的上鉆和下鉆，cube等。

數(shù)據(jù)分析我只關(guān)注兩個(gè)內(nèi)容，一個(gè)就是傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)下的數(shù)據(jù)建模，在該數(shù)據(jù)模型下需要支持上面各種分析方法和分析策略；其次是根據(jù)業(yè)務(wù)目標(biāo)和業(yè)務(wù)需求建立的KPI指標(biāo)體系，對(duì)應(yīng)指標(biāo)體系的分析模型和分析方法。解決這兩個(gè)問(wèn)題基本解決數(shù)據(jù)分析的問(wèn)題。

傳統(tǒng)的BI分析通過(guò)大量的ETL數(shù)據(jù)抽取和集中化，形成一個(gè)完整的數(shù)據(jù)倉(cāng)庫(kù)，而基于大數(shù)據(jù)的BI分析，可能并沒(méi)有一個(gè)集中化的數(shù)據(jù)倉(cāng)庫(kù)，或者將數(shù)據(jù)倉(cāng)庫(kù)本身也是分布式的了，BI分析的基本方法和思路并沒(méi)有變化，但是落地到執(zhí)行的數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)處理方法卻發(fā)生了大變化。

談了這么多，核心還是想說(shuō)明大數(shù)據(jù)兩大核心為云技術(shù)和BI，離開(kāi)云技術(shù)大數(shù)據(jù)沒(méi)有根基和落地可能，離開(kāi)BI和價(jià)值，大數(shù)據(jù)又變化為舍本逐末，丟棄關(guān)鍵目標(biāo)。簡(jiǎn)單總結(jié)就是大數(shù)據(jù)目標(biāo)驅(qū)動(dòng)是BI，大數(shù)據(jù)實(shí)施落地式云技術(shù)。


數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼

若不方便掃碼，搜微信號(hào)：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測(cè)極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說(shuō)明請(qǐng)參見(jiàn)：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }