99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀克服大數(shù)據(jù)集群的挑戰(zhàn)
克服大數(shù)據(jù)集群的挑戰(zhàn)
2018-01-04
收藏

克服大數(shù)據(jù)集群的挑戰(zhàn)

數(shù)據(jù)存儲(chǔ)曾經(jīng)是大數(shù)據(jù)的最大挑戰(zhàn)。由于云計(jì)算基礎(chǔ)設(shè)施的進(jìn)步，存儲(chǔ)數(shù)據(jù)不再是關(guān)鍵問題。如今，數(shù)據(jù)科學(xué)家所面臨的最大問題是數(shù)據(jù)收集。

集群化使得大數(shù)據(jù)分析更容易。然而，集群也給數(shù)據(jù)工程師帶來了必須解決的問題。

什么是數(shù)據(jù)集群?

數(shù)據(jù)集群的概念可追溯到至少20年前。美國俄亥俄州立大學(xué)計(jì)算機(jī)科學(xué)和工程系教授Anil Kumar Jain博士在他的白皮書之一中對(duì)這一術(shù)語進(jìn)行了很好的描述：

“集群是模式(觀察，數(shù)據(jù)項(xiàng)或特征向量)到組(集群)的無監(jiān)督分類。集群?jiǎn)栴}在許多領(lǐng)域和許多學(xué)科的研究人員那里都得到了解決;這反映了其廣泛的吸引力和實(shí)用性，作為探索性數(shù)據(jù)分析的步驟之一。然而，集群的組合是一個(gè)困難的問題，不同社區(qū)的假設(shè)和背景差異使得有用的通用概念和方法的傳遞變得緩慢。“

換句話說，數(shù)據(jù)工程師使用集群來識(shí)別原始數(shù)據(jù)中的趨勢(shì)和模式。他們需要將其分解成群集。

數(shù)據(jù)集群的主要挑戰(zhàn)是什么?

自從大數(shù)據(jù)的概念誕生以來，集群一直是一個(gè)挑戰(zhàn)。這個(gè)問題源于數(shù)據(jù)量和處理限制。拉巴特大學(xué)列出了大數(shù)據(jù)集群的首要關(guān)注點(diǎn)。

(1) 數(shù)量

大多數(shù)網(wǎng)絡(luò)上存儲(chǔ)的數(shù)據(jù)量呈指數(shù)級(jí)增長。隨著數(shù)據(jù)量的增加，提取數(shù)據(jù)變得更加困難。備份數(shù)據(jù)也可能放大這些問題。

(2) 速度

數(shù)據(jù)生成的速度是數(shù)據(jù)科學(xué)家面臨的另一個(gè)集群挑戰(zhàn)。這個(gè)問題不僅限于網(wǎng)絡(luò)上的數(shù)據(jù)量。當(dāng)網(wǎng)絡(luò)以前所未有的速度生成新數(shù)據(jù)時(shí)，他們將很難實(shí)時(shí)地提取它。

造成的問題是雙重的：

新的模式將不斷地從已知的數(shù)據(jù)集涌現(xiàn)。數(shù)據(jù)分析師可能認(rèn)為他們很難從數(shù)據(jù)中得出準(zhǔn)確的結(jié)論，而事實(shí)上，他們的分析更能代表他們所建模的問題。他們可能不知道什么時(shí)候分析他們現(xiàn)有的數(shù)據(jù)集，以及何時(shí)等待收集更多的數(shù)據(jù)。

如果數(shù)據(jù)的創(chuàng)建速度比提取的它速度快，那么當(dāng)他們?cè)噲D收集數(shù)據(jù)時(shí)，趨勢(shì)可能會(huì)發(fā)生變化。

隨著網(wǎng)絡(luò)使用物聯(lián)網(wǎng)(IoT)從更多的設(shè)備收集數(shù)據(jù)，他們能夠以更快的速度收集數(shù)據(jù)，問題將會(huì)越來越嚴(yán)重。

(3) 品種

集群數(shù)據(jù)存儲(chǔ)在許多不同的表單中，這使得很難進(jìn)行精確的比較。有些數(shù)據(jù)以結(jié)構(gòu)化格式存儲(chǔ)，而其他數(shù)據(jù)集可能是完全非結(jié)構(gòu)化的。

如何解決這些問題?

有各種各樣的工具和策略可以簡(jiǎn)化抽取和分析集群數(shù)據(jù)的過程。

(1) K均值集群

K均值集群方法是一種基于分組的解決方案，需要網(wǎng)絡(luò)將對(duì)象分配給一個(gè)集群。這消除了單個(gè)對(duì)象可能通過出現(xiàn)在多個(gè)數(shù)據(jù)集中而偏離分析的擔(dān)心。

(2) 無監(jiān)督分類算法

無監(jiān)督分類算法是基于預(yù)定義參數(shù)合并非常大的數(shù)據(jù)集的數(shù)據(jù)挖掘工具。這是處理日益增長的數(shù)據(jù)量的一個(gè)很好的解決方案，特別是使用強(qiáng)大的Hadoop工具。

(3) COALA

COALA使用實(shí)例級(jí)約束來避免類似分組引起的問題。不需要滿足100%的約束條件。

(4) 降低維度

每個(gè)數(shù)據(jù)有兩個(gè)維度：

變量

實(shí)例

隨著變量數(shù)量的增加，總數(shù)據(jù)量呈指數(shù)增長?？梢酝ㄟ^使用降低維度策略(也就是所謂的降維變換)來緩解問題。

確定數(shù)據(jù)集群挑戰(zhàn)的新解決方案

數(shù)據(jù)集群是解決存儲(chǔ)大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)所帶來的許多問題的解決方案。然而，這不是一個(gè)可靠的解決方案，因?yàn)閿?shù)據(jù)仍然需要盡可能快速準(zhǔn)確地被訪問和分析。幸運(yùn)的是，有一些很好的工具和方法可以簡(jiǎn)化流程。


數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼

若不方便掃碼，搜微信號(hào)：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測(cè)極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請(qǐng)參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }