99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀大數(shù)據(jù)之基于模型的復雜數(shù)據(jù)多維聚類析(一)?
大數(shù)據(jù)之基于模型的復雜數(shù)據(jù)多維聚類析(一)?
2016-02-21
收藏

大數(shù)據(jù)之基于模型的復雜數(shù)據(jù)多維聚類析(一)

隨著現(xiàn)實和虛擬世界的數(shù)據(jù)產(chǎn)生速度越來越迅猛，人們開始關注如何從這些數(shù)據(jù)中獲取信息，知識，以及對于決策的支持。這樣的任務通常被稱作大數(shù)據(jù)分析(BigData Analytics)。大數(shù)據(jù)分析的難點很多，比如，由于海量數(shù)據(jù)而帶來的分析效率瓶頸，使用戶不能及時得到分析結(jié)果;由于數(shù)據(jù)源太多而帶來的非結(jié)構(gòu)化問題，使傳統(tǒng)的數(shù)據(jù)分析工具不能直接利用。

本文討論大數(shù)據(jù)內(nèi)部關系的復雜性，以及復雜數(shù)據(jù)所帶來的對于聚類分析的挑戰(zhàn)。聚類分析的目標是依據(jù)數(shù)據(jù)本身的分布特征(無監(jiān)督)，把整個數(shù)據(jù)(空間)劃分成不同的類?；镜臏蕜t是同類的數(shù)據(jù)應該具有某種的相似性，而異類的數(shù)據(jù)應該具有某種差異性?，F(xiàn)有工作假設在這些數(shù)據(jù)中存在單一的聚類劃分的方法，而聚類目標就是找到這樣的一種劃分。然而，我們在大數(shù)據(jù)中所面對的復雜數(shù)據(jù)是多側(cè)面的，比如在網(wǎng)頁數(shù)據(jù)中既有關于內(nèi)容的文本屬性，也有指向這個網(wǎng)頁的鏈接屬性。多側(cè)面數(shù)據(jù)本身就存在著多種有意義的劃分，強制地將數(shù)據(jù)按照單一的方法聚類，得不到有效的、明確清晰的、可詮釋的結(jié)果。針對這個問題，多維聚類方法針對數(shù)據(jù)的不同側(cè)面，得到數(shù)據(jù)聚類的多種方法，最后讓使用者決定需要的聚類劃分。

　　多維聚類的概念

多維聚類的概念

假設我們需要對圖中的所有圖片進行聚類，可能的聚類方法不止一種：按照圖片的內(nèi)容，我們可以把左邊的圖片標注成袋鼠，而右邊的標注成樹;而按照圖片風格屬性，我們可以把上面的圖片稱為色彩圖，而下面的稱為線條圖。簡而言之，關注數(shù)據(jù)的不同側(cè)面，有可能得到不同的聚類結(jié)果。同時這些聚類結(jié)果也都是有意義，可以解釋的。

生活中多維聚類的例子很多，比如對于人群的劃分，可以按照男女等人口統(tǒng)計學信息劃分，也可以按照對于某個事件的看法劃分。那么從機器學習的角度如何公式化這樣的問題，之后又怎么利用概率統(tǒng)計的方法去解決這樣的問題呢?下面我們先給出問題的定義。

如圖所示，在聚類分析這樣的無監(jiān)督學習中，輸入是一個數(shù)據(jù)表。表的每一行表示一個數(shù)據(jù)點，而每一列表示描述這個點的一維屬性。大數(shù)據(jù)的一個重要特征就是維度很高(包含很多列)，從而帶來的維度災難(curseof dimensionality)。在聚類分析中，表現(xiàn)為：這些維度可能自然地分成一些組，每組包含一些屬性，反應了數(shù)據(jù)某一側(cè)面(facet)的特征。用戶可以根據(jù)其中一個側(cè)面的屬性，對這個數(shù)據(jù)進行聚類。比如在右表的數(shù)據(jù)中，一個學生的數(shù)據(jù)包含了數(shù)學成績，理綜成績，文綜成績，和語文成績這些屬性。我們可以關注學生的數(shù)學和理綜成績，按照理科成績(分析能力)對學生進行聚類;同時也可以關注學生的文綜和語文成績，按照文科成績(語言能力)對學生進行聚類。

多維聚類的概念

所以多維聚類的問題定義為：

如何發(fā)現(xiàn)數(shù)據(jù)中包含的多個側(cè)面，即屬性的自然分組，針對這些不同側(cè)面進行聚類，從而得到多種聚類方法。

多維聚類分析的工具和原理

多維聚類分析的工具和原理

　　貝葉斯網(wǎng)絡是一種表示和處理隨機變量之間復雜關系的工具。它是通過在隨機變量之間加箭頭而得到的有向無圈圖。箭頭表示直接概率依賴關系，具體依賴情況由條件概率分布所定量刻畫。出于對計算復雜度的考慮，人們會對貝葉斯網(wǎng)絡進行一些限制，在實際中使用一些特殊的網(wǎng)絡結(jié)構(gòu)。隱樹模型(latent tree model)是一類特殊的貝葉斯網(wǎng)，也稱為多層隱類模型(hierarchical latent class model), 是一種樹狀貝葉斯網(wǎng)， 其中葉節(jié)點代表觀察到的變量，也稱為顯變量，其它節(jié)點代表數(shù)據(jù)中沒有觀察到的變量，也稱為隱變量。

　　圖中給出了隱樹模型的一個例子。其中，學生的“數(shù)學成績”、“理綜成績”、“語文成績”和“文綜成績”是顯變量，而“智力”、“分析能力”和“語言能力”則是隱變量。從“分析能力”到“數(shù)學成績”有一個箭頭， 表示“數(shù)學成績”直接依賴“分析能力”，具體依賴情況由右圖中的條件概率表所定量所刻畫。表中的內(nèi)容是說，分析能力低的學生在數(shù)學科有0.5的概率不及格、0.4的概率及格、0.1的概率得良，而得優(yōu)的概率則是0; 等等。模型中的其它箭頭代表其它變量之間直接依賴關系，每個箭頭都有相應的條件概率分布。


數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個參數(shù)驗證碼對象，之后可以使用它調(diào)用相應的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }