99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁(yè)精彩閱讀將大數(shù)據(jù)變成可管理的數(shù)據(jù)
將大數(shù)據(jù)變成可管理的數(shù)據(jù)
2017-05-28
收藏

將大數(shù)據(jù)變成可管理的數(shù)據(jù)

大數(shù)據(jù)是無(wú)所不在的，因?yàn)樗梢蕴峁┯袃r(jià)值的洞察力，如果沒(méi)有它是不可用的。然而，分析大數(shù)據(jù)集可能會(huì)產(chǎn)生問(wèn)題。首先，大數(shù)據(jù)是大規(guī)模的，有時(shí)太大，不能通過(guò)常用的分析工具有效地處理。日前，美國(guó)麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室和以色列海法大學(xué)的研究人員已經(jīng)開(kāi)發(fā)了一個(gè)解決方案，將大數(shù)據(jù)變成可管理的數(shù)據(jù)。

通常使用諸如低秩近似，奇異值分解，主成分分析和非負(fù)矩陣分解的數(shù)據(jù)分析工具來(lái)減少數(shù)據(jù)集中的變量的數(shù)量。不幸的是，在大量大數(shù)據(jù)集上使用這些工具通常太費(fèi)時(shí)，不實(shí)用。
　　解決這個(gè)問(wèn)題的典型解決方案包括為大數(shù)據(jù)集找到一個(gè)核心集。核心集是大數(shù)據(jù)的一個(gè)子集，用于保留大數(shù)據(jù)最重要的數(shù)學(xué)關(guān)系。數(shù)據(jù)分析工具可以更有效地與coreet工作，因?yàn)樗　?

如果要進(jìn)行兩個(gè)或多個(gè)數(shù)據(jù)分析，則進(jìn)行查找可能是一個(gè)問(wèn)題，因?yàn)閺拇髷?shù)據(jù)中提取核心集，每個(gè)分析工具都有自己唯一的方法。在分析中比較結(jié)果，將涉及比較來(lái)自不理想的不同核心的結(jié)果。研究團(tuán)隊(duì)通過(guò)開(kāi)發(fā)一種用于提取可由大量常用數(shù)據(jù)分析工具使用的核心集的通用方法來(lái)解決這個(gè)問(wèn)題。
　　假設(shè)工作人員想要識(shí)別在一個(gè)巨大的文本數(shù)據(jù)庫(kù)（如維基百科）中最常出現(xiàn)的主題。低秩近似是一種將完成這項(xiàng)工作的算法，但維基百科數(shù)據(jù)庫(kù)非常大，因此，采用低秩近似將花費(fèi)太長(zhǎng)的時(shí)間來(lái)完成任務(wù)。
　　維基百科數(shù)據(jù)庫(kù)有多大？想象一下，在維基百科中每一篇文章都有一行的矩陣或表格，以及在維基百科中出現(xiàn)的每個(gè)單詞的列。該矩陣將有140萬(wàn)篇的文章和440萬(wàn)列的單詞。這是一個(gè)約6.2萬(wàn)億個(gè)單元格的表格，平均分配到地球上每個(gè)人，每人約為821個(gè)單元格。這的確是一個(gè)大數(shù)據(jù)。
　　研究人員的解決方案使用高級(jí)類型的幾何知識(shí)來(lái)將這個(gè)巨大的數(shù)據(jù)集縮減為更易于管理的核心集。想象一下，通過(guò)一個(gè)二維的具有長(zhǎng)和寬的矩形就很容易處理?，F(xiàn)在添加第三個(gè)維度，深度。也很容易想象這是一個(gè)盒子，現(xiàn)在添加第四個(gè)維度，時(shí)間。我們稱之為時(shí)空，但它不是那么容易想象?，F(xiàn)在添加兩個(gè)或三個(gè)更多的維度，并想象它的外觀。
　　人們無(wú)法想象這些多維空間看起來(lái)像什么，但是可以采用幾何知識(shí)描述。為了縮小維基百科矩陣，研究人員使用了一個(gè)叫做超循環(huán)的多維圓，它有440萬(wàn)個(gè)維度，可以表達(dá)維基百科中出現(xiàn)的每個(gè)單詞一個(gè)。維基百科中的140萬(wàn)篇文章中的每一篇都表示為這個(gè)超循環(huán)上的唯一點(diǎn)。
　　研究人員如何將超循環(huán)收縮成更易于管理的東西？維基百科中的440萬(wàn)列單詞的每一個(gè)都由一個(gè)變量表示，維基百科中的每篇文章都由這些440萬(wàn)個(gè)變量的唯一的一組值表示。研究者的超循環(huán)技術(shù)涉及一次獲取一篇文章，并找到其440萬(wàn)個(gè)變量的一小部分的平均值，例如50個(gè)變量。最好保留變量之間的數(shù)學(xué)關(guān)系的平均值可以通過(guò)計(jì)算表示50個(gè)變量或單詞的這個(gè)小得多的50維超循環(huán)的中心來(lái)找到。然后將平均值作為coreet中的一個(gè)數(shù)據(jù)點(diǎn)輸入。而對(duì)每篇文章中的剩余變量（單詞）和140萬(wàn)篇文章中的每一篇重復(fù)這個(gè)過(guò)程。
　　使用此方法將大數(shù)據(jù)維基百科矩陣縮減為核心集需要大量的單獨(dú)計(jì)算，但每個(gè)計(jì)算都可以非?？焖俚貓?zhí)行，因?yàn)樗簧婕?0個(gè)變量。其結(jié)果是一個(gè)核心集，它保留了大數(shù)據(jù)中存在的重要的數(shù)學(xué)關(guān)系，并且足夠小，可以被各種數(shù)據(jù)分析技術(shù)有效地使用。
　　超循環(huán)技術(shù)的真正核心在于這種品種。該技術(shù)創(chuàng)建了一個(gè)核心集，可以被許多數(shù)據(jù)分析工具使用，這些工具通常應(yīng)用于計(jì)算機(jī)視覺(jué)，自然語(yǔ)言處理，神經(jīng)科學(xué)，天氣預(yù)報(bào)，推薦系統(tǒng)等。甚至人們可能認(rèn)為超循環(huán)，都是他們所有規(guī)則的一環(huán)。


數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼

若不方便掃碼，搜微信號(hào)：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測(cè)極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說(shuō)明請(qǐng)參見(jiàn)：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }