99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀探討企業(yè)數(shù)據(jù)架構(gòu)戰(zhàn)略和數(shù)據(jù)湖的可能性和必要性
探討企業(yè)數(shù)據(jù)架構(gòu)戰(zhàn)略和數(shù)據(jù)湖的可能性和必要性
2015-12-10
收藏

探討企業(yè)數(shù)據(jù)架構(gòu)戰(zhàn)略和數(shù)據(jù)湖的可能性和必要性



現(xiàn)今的企業(yè)數(shù)據(jù)架構(gòu)戰(zhàn)略，必須解決如何將現(xiàn)有的數(shù)據(jù)系統(tǒng)與日益增長的信息需求，性能和數(shù)據(jù)源相匹配。

現(xiàn)今的CIO們，在整合企業(yè)數(shù)據(jù)架構(gòu) 中日益增長的各方面需求時，面臨著兩大挑戰(zhàn)。首先，是將現(xiàn)有的支持運行應(yīng)用程序的數(shù)據(jù)系統(tǒng)， 與分析師和數(shù)據(jù)科學(xué)家越來越多的信息需求之間相匹配。其次，是管理持續(xù)不斷的，創(chuàng)新的數(shù)據(jù)管理功能 (比如Hadoop或NoSQL)在企業(yè)內(nèi)部的集成。CIO的職責(zé)就是完成這一數(shù)據(jù)集成，提高數(shù)據(jù)的可訪問性，同時降低系統(tǒng)的整體復(fù)雜性。

然 而，大多數(shù)企業(yè)的數(shù)據(jù)架構(gòu)，隨著時間的推移，通常在缺少預(yù)定義的數(shù)據(jù)架構(gòu)戰(zhàn)略的情況下，自我進化。相應(yīng)地，這些企業(yè)在能夠使用統(tǒng)一的方法訪問企業(yè)數(shù)據(jù)資產(chǎn) 方面，遇到不斷增加的復(fù)雜性問題。隨著數(shù)據(jù)管理創(chuàng)新的速度加快，新技術(shù)如Hadoop，NoSQL和圖形數(shù)據(jù)庫正在計劃和引入，也增加了數(shù)據(jù)使用者對于數(shù) 據(jù)領(lǐng)域復(fù)雜性的擔(dān)憂。


數(shù)據(jù)湖領(lǐng)域


比較突出的一個例子就是數(shù)據(jù)湖概念的出現(xiàn)，根據(jù)定 義，“數(shù)據(jù)湖是指一個大型的基于對象的存儲庫，以數(shù)據(jù)的原始格式保存數(shù)據(jù)，直到它需要被使用時?！?數(shù)據(jù)湖基本上是一個數(shù)據(jù)存儲平臺，使企業(yè)能夠收集各種數(shù)據(jù)集，用數(shù)據(jù)的原始格式進行存儲，并讓不同的數(shù)據(jù)使用者可以訪問這些數(shù)據(jù)集，使他們能夠根據(jù)各自的 業(yè)務(wù)目的使用這些數(shù)據(jù)。 數(shù)據(jù)湖的好處之一，就是為共享數(shù)據(jù)提供了單一存儲庫，從而降低數(shù)據(jù)復(fù)制，避免數(shù)據(jù)不一致和增加成本。

和傳統(tǒng)的數(shù) 據(jù)采集和數(shù)據(jù)獲取方法相比，數(shù)據(jù)湖從根本上采取了不同的方法。傳統(tǒng)方法旨在使數(shù)據(jù)符合預(yù)定義的數(shù)據(jù)模型， 從而創(chuàng)建一個統(tǒng)一的數(shù)據(jù)資產(chǎn)，讓所有的數(shù)據(jù)使用者共享。將數(shù)據(jù)規(guī)范定義到單一格式，這種方法，稱為schema-on-write，可以限制下游使用者分 析數(shù)據(jù)的方式。在數(shù)據(jù)湖中存儲數(shù)據(jù)的方式則被稱為schema-on-read，意為沒有預(yù)定義的數(shù)據(jù)存儲方式的限制，而是由使用者根據(jù)各自的需求，定義 訪問數(shù)據(jù)的方式。


數(shù)據(jù)湖帶來了一些挑戰(zhàn)，尤其是對于那些習(xí)慣使用自己的數(shù)據(jù)集副本進行報告和分析的下游數(shù)據(jù)使用者。首先，必須有一種方便獲取數(shù)據(jù)湖中數(shù)據(jù)的方式，其次，必須有一個方法配置被訪問的數(shù)據(jù)，以一種用戶習(xí)慣的模型呈現(xiàn)。

在數(shù)據(jù)架構(gòu)戰(zhàn)略中使用虛擬化工具


新的企業(yè)數(shù)據(jù)架構(gòu)戰(zhàn)略所面臨的這些挑戰(zhàn)，都可以通過使用數(shù)據(jù)虛擬化工具得以解決。數(shù)據(jù)虛擬化和聯(lián)邦工具在一組數(shù)據(jù)源和不同的數(shù)據(jù)使用者之間提供了一個抽象 層。 面向數(shù)據(jù)的工具被稱為數(shù)據(jù)聯(lián)邦。 這種技術(shù)提供了訪問各種數(shù)據(jù)源類型的方案，包括大多數(shù)關(guān)系數(shù)據(jù)庫系統(tǒng)，前代存儲系統(tǒng)（比如，flat files，VSAM文件和其他主機存儲方式），以及各類新興技術(shù)，如Hadoop和NoSQL。數(shù)據(jù)聯(lián)邦工具使應(yīng)用程序能夠透明地查詢分布在多個存儲平 臺的數(shù)據(jù)，同時隱藏數(shù)據(jù)源位置，或數(shù)據(jù)格式的詳細信息。而面向使用者的工具通常被稱為數(shù)據(jù)虛擬化。這一技術(shù)允許數(shù)據(jù)使用者定義邏輯語義數(shù)據(jù)模型，然后映射 到每個聯(lián)邦數(shù)據(jù)源的模型。這一語義模型提供了抽象層，簡化了數(shù)據(jù)使用者的可訪問性。用戶對語義模型的查詢被轉(zhuǎn)換為每個聯(lián)邦數(shù)據(jù)源的一系列自定義查詢集。 當(dāng)這些查詢的結(jié)果集返回到數(shù)據(jù)虛擬化工具時，這些中間結(jié)果會被收集，整理和配置成一個最終的結(jié)果集返回給用戶。實際上，數(shù)據(jù)虛擬化工具通過面向使用者的數(shù) 據(jù)實體化規(guī)則，簡化了將來自多個源的數(shù)據(jù)相融合的技術(shù)。

在定義語義模型中使用數(shù)據(jù)虛擬化工具，解決了訪問數(shù)據(jù)湖中數(shù)據(jù)的兩大問題。對數(shù)據(jù) 湖的數(shù)據(jù)進行聯(lián)邦訪問，不需要用戶改寫他們的應(yīng)用程序，從而包含從數(shù)據(jù)湖讀取數(shù)據(jù)的代碼，同時降低了數(shù)據(jù)復(fù)制的需求。現(xiàn)有的應(yīng)用程序可以連接語義模型，使 數(shù)據(jù)源對于使用者的應(yīng)用程序變得透明。同時，數(shù)據(jù)虛擬化會隱藏schema-on-read的復(fù)雜性，使每個用戶都能夠?qū)⑻囟ǖ臄?shù)據(jù)規(guī)范化和數(shù)據(jù)轉(zhuǎn)換規(guī)則 應(yīng)用于數(shù)據(jù)，從而適用于每個應(yīng)用程序。

數(shù)據(jù)虛擬化和數(shù)據(jù)聯(lián)邦是支持企業(yè)數(shù)據(jù)架構(gòu)戰(zhàn)略（包括大數(shù)據(jù)）的橋接技術(shù)。這些工具降低了開發(fā)和運營 的成本，通過（低成本）數(shù)據(jù)湖的使用，降低復(fù)制數(shù)據(jù)集的存儲需求。它們還為大多數(shù)平臺提供了一個無縫的可訪問性，隨著新技術(shù)的不斷采用，延伸了傳統(tǒng)平臺的 生命周期。 數(shù)據(jù)虛擬化工具，通過使用內(nèi)部軟件的緩存，查詢最優(yōu)化，流水線數(shù)據(jù)流，和壓縮存儲，從而簡化了環(huán)境數(shù)據(jù)的可訪問性，避免了顯著的性能退化。這些工具還為引 入從大量快速興起的數(shù)據(jù)源中提取和分析信息的創(chuàng)新技術(shù)鋪平了道路。

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個參數(shù)驗證碼對象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務(wù)器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }