99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話(huà)：13121318867

登錄
首頁(yè)精彩閱讀探討企業(yè)數(shù)據(jù)架構(gòu)戰(zhàn)略和數(shù)據(jù)湖的可能性和必要性
探討企業(yè)數(shù)據(jù)架構(gòu)戰(zhàn)略和數(shù)據(jù)湖的可能性和必要性
2015-12-10
收藏

探討企業(yè)數(shù)據(jù)架構(gòu)戰(zhàn)略和數(shù)據(jù)湖的可能性和必要性



現(xiàn)今的企業(yè)數(shù)據(jù)架構(gòu)戰(zhàn)略，必須解決如何將現(xiàn)有的數(shù)據(jù)系統(tǒng)與日益增長(zhǎng)的信息需求，性能和數(shù)據(jù)源相匹配。

現(xiàn)今的CIO們，在整合企業(yè)數(shù)據(jù)架構(gòu) 中日益增長(zhǎng)的各方面需求時(shí)，面臨著兩大挑戰(zhàn)。首先，是將現(xiàn)有的支持運(yùn)行應(yīng)用程序的數(shù)據(jù)系統(tǒng)， 與分析師和數(shù)據(jù)科學(xué)家越來(lái)越多的信息需求之間相匹配。其次，是管理持續(xù)不斷的，創(chuàng)新的數(shù)據(jù)管理功能 (比如Hadoop或NoSQL)在企業(yè)內(nèi)部的集成。CIO的職責(zé)就是完成這一數(shù)據(jù)集成，提高數(shù)據(jù)的可訪問(wèn)性，同時(shí)降低系統(tǒng)的整體復(fù)雜性。

然 而，大多數(shù)企業(yè)的數(shù)據(jù)架構(gòu)，隨著時(shí)間的推移，通常在缺少預(yù)定義的數(shù)據(jù)架構(gòu)戰(zhàn)略的情況下，自我進(jìn)化。相應(yīng)地，這些企業(yè)在能夠使用統(tǒng)一的方法訪問(wèn)企業(yè)數(shù)據(jù)資產(chǎn) 方面，遇到不斷增加的復(fù)雜性問(wèn)題。隨著數(shù)據(jù)管理創(chuàng)新的速度加快，新技術(shù)如Hadoop，NoSQL和圖形數(shù)據(jù)庫(kù)正在計(jì)劃和引入，也增加了數(shù)據(jù)使用者對(duì)于數(shù) 據(jù)領(lǐng)域復(fù)雜性的擔(dān)憂(yōu)。


數(shù)據(jù)湖領(lǐng)域


比較突出的一個(gè)例子就是數(shù)據(jù)湖概念的出現(xiàn)，根據(jù)定 義，“數(shù)據(jù)湖是指一個(gè)大型的基于對(duì)象的存儲(chǔ)庫(kù)，以數(shù)據(jù)的原始格式保存數(shù)據(jù)，直到它需要被使用時(shí)?！?數(shù)據(jù)湖基本上是一個(gè)數(shù)據(jù)存儲(chǔ)平臺(tái)，使企業(yè)能夠收集各種數(shù)據(jù)集，用數(shù)據(jù)的原始格式進(jìn)行存儲(chǔ)，并讓不同的數(shù)據(jù)使用者可以訪問(wèn)這些數(shù)據(jù)集，使他們能夠根據(jù)各自的 業(yè)務(wù)目的使用這些數(shù)據(jù)。 數(shù)據(jù)湖的好處之一，就是為共享數(shù)據(jù)提供了單一存儲(chǔ)庫(kù)，從而降低數(shù)據(jù)復(fù)制，避免數(shù)據(jù)不一致和增加成本。

和傳統(tǒng)的數(shù) 據(jù)采集和數(shù)據(jù)獲取方法相比，數(shù)據(jù)湖從根本上采取了不同的方法。傳統(tǒng)方法旨在使數(shù)據(jù)符合預(yù)定義的數(shù)據(jù)模型， 從而創(chuàng)建一個(gè)統(tǒng)一的數(shù)據(jù)資產(chǎn)，讓所有的數(shù)據(jù)使用者共享。將數(shù)據(jù)規(guī)范定義到單一格式，這種方法，稱(chēng)為schema-on-write，可以限制下游使用者分 析數(shù)據(jù)的方式。在數(shù)據(jù)湖中存儲(chǔ)數(shù)據(jù)的方式則被稱(chēng)為schema-on-read，意為沒(méi)有預(yù)定義的數(shù)據(jù)存儲(chǔ)方式的限制，而是由使用者根據(jù)各自的需求，定義 訪問(wèn)數(shù)據(jù)的方式。


數(shù)據(jù)湖帶來(lái)了一些挑戰(zhàn)，尤其是對(duì)于那些習(xí)慣使用自己的數(shù)據(jù)集副本進(jìn)行報(bào)告和分析的下游數(shù)據(jù)使用者。首先，必須有一種方便獲取數(shù)據(jù)湖中數(shù)據(jù)的方式，其次，必須有一個(gè)方法配置被訪問(wèn)的數(shù)據(jù)，以一種用戶(hù)習(xí)慣的模型呈現(xiàn)。

在數(shù)據(jù)架構(gòu)戰(zhàn)略中使用虛擬化工具


新的企業(yè)數(shù)據(jù)架構(gòu)戰(zhàn)略所面臨的這些挑戰(zhàn)，都可以通過(guò)使用數(shù)據(jù)虛擬化工具得以解決。數(shù)據(jù)虛擬化和聯(lián)邦工具在一組數(shù)據(jù)源和不同的數(shù)據(jù)使用者之間提供了一個(gè)抽象 層。 面向數(shù)據(jù)的工具被稱(chēng)為數(shù)據(jù)聯(lián)邦。 這種技術(shù)提供了訪問(wèn)各種數(shù)據(jù)源類(lèi)型的方案，包括大多數(shù)關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)，前代存儲(chǔ)系統(tǒng)（比如，flat files，VSAM文件和其他主機(jī)存儲(chǔ)方式），以及各類(lèi)新興技術(shù)，如Hadoop和NoSQL。數(shù)據(jù)聯(lián)邦工具使應(yīng)用程序能夠透明地查詢(xún)分布在多個(gè)存儲(chǔ)平 臺(tái)的數(shù)據(jù)，同時(shí)隱藏?cái)?shù)據(jù)源位置，或數(shù)據(jù)格式的詳細(xì)信息。而面向使用者的工具通常被稱(chēng)為數(shù)據(jù)虛擬化。這一技術(shù)允許數(shù)據(jù)使用者定義邏輯語(yǔ)義數(shù)據(jù)模型，然后映射 到每個(gè)聯(lián)邦數(shù)據(jù)源的模型。這一語(yǔ)義模型提供了抽象層，簡(jiǎn)化了數(shù)據(jù)使用者的可訪問(wèn)性。用戶(hù)對(duì)語(yǔ)義模型的查詢(xún)被轉(zhuǎn)換為每個(gè)聯(lián)邦數(shù)據(jù)源的一系列自定義查詢(xún)集。 當(dāng)這些查詢(xún)的結(jié)果集返回到數(shù)據(jù)虛擬化工具時(shí)，這些中間結(jié)果會(huì)被收集，整理和配置成一個(gè)最終的結(jié)果集返回給用戶(hù)。實(shí)際上，數(shù)據(jù)虛擬化工具通過(guò)面向使用者的數(shù) 據(jù)實(shí)體化規(guī)則，簡(jiǎn)化了將來(lái)自多個(gè)源的數(shù)據(jù)相融合的技術(shù)。

在定義語(yǔ)義模型中使用數(shù)據(jù)虛擬化工具，解決了訪問(wèn)數(shù)據(jù)湖中數(shù)據(jù)的兩大問(wèn)題。對(duì)數(shù)據(jù) 湖的數(shù)據(jù)進(jìn)行聯(lián)邦訪問(wèn)，不需要用戶(hù)改寫(xiě)他們的應(yīng)用程序，從而包含從數(shù)據(jù)湖讀取數(shù)據(jù)的代碼，同時(shí)降低了數(shù)據(jù)復(fù)制的需求?，F(xiàn)有的應(yīng)用程序可以連接語(yǔ)義模型，使 數(shù)據(jù)源對(duì)于使用者的應(yīng)用程序變得透明。同時(shí)，數(shù)據(jù)虛擬化會(huì)隱藏schema-on-read的復(fù)雜性，使每個(gè)用戶(hù)都能夠?qū)⑻囟ǖ臄?shù)據(jù)規(guī)范化和數(shù)據(jù)轉(zhuǎn)換規(guī)則 應(yīng)用于數(shù)據(jù)，從而適用于每個(gè)應(yīng)用程序。

數(shù)據(jù)虛擬化和數(shù)據(jù)聯(lián)邦是支持企業(yè)數(shù)據(jù)架構(gòu)戰(zhàn)略（包括大數(shù)據(jù)）的橋接技術(shù)。這些工具降低了開(kāi)發(fā)和運(yùn)營(yíng) 的成本，通過(guò)（低成本）數(shù)據(jù)湖的使用，降低復(fù)制數(shù)據(jù)集的存儲(chǔ)需求。它們還為大多數(shù)平臺(tái)提供了一個(gè)無(wú)縫的可訪問(wèn)性，隨著新技術(shù)的不斷采用，延伸了傳統(tǒng)平臺(tái)的 生命周期。 數(shù)據(jù)虛擬化工具，通過(guò)使用內(nèi)部軟件的緩存，查詢(xún)最優(yōu)化，流水線數(shù)據(jù)流，和壓縮存儲(chǔ)，從而簡(jiǎn)化了環(huán)境數(shù)據(jù)的可訪問(wèn)性，避免了顯著的性能退化。這些工具還為引 入從大量快速興起的數(shù)據(jù)源中提取和分析信息的創(chuàng)新技術(shù)鋪平了道路。

數(shù)據(jù)分析咨詢(xún)請(qǐng)掃描二維碼

若不方便掃碼，搜微信號(hào)：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢(xún)
客服在線
立即咨詢(xún)
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶(hù)后臺(tái)檢測(cè)極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說(shuō)明請(qǐng)參見(jiàn)：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }