99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話:13121318867

登錄
首頁(yè)精彩閱讀聚類分析實(shí)戰(zhàn)解析與總結(jié)
聚類分析實(shí)戰(zhàn)解析與總結(jié)
2016-10-10
收藏

聚類分析實(shí)戰(zhàn)解析與總結(jié)

聚類分析是沒有給定劃分類別的情況下,根據(jù)樣本相似度進(jìn)行樣本分組的一種方法,是一種非監(jiān)督的學(xué)習(xí)算法。聚類的輸入是一組未被標(biāo)記的樣本,聚類根據(jù)數(shù)據(jù)自身的距離或相似度劃分為若干組,劃分的原則是組內(nèi)距離最小化而組間距離最大化,如下圖所示:

<a href='/map/juleifenxi/' style='color:#000;font-size:inherit;'>聚類分析</a>實(shí)戰(zhàn)解析與總結(jié)

常見的聚類分析算法如下:

K-Means: K-均值聚類也稱為快速聚類法,在最小化誤差函數(shù)的基礎(chǔ)上將數(shù)據(jù)劃分為預(yù)定的類數(shù)K。該算法原理簡(jiǎn)單并便于處理大量數(shù)據(jù)。

K-中心點(diǎn):K-均值算法對(duì)孤立點(diǎn)的敏感性,K-中心點(diǎn)算法不采用簇中對(duì)象的平均值作為簇中心,而選用簇中離平均值最近的對(duì)象作為簇中心。

系統(tǒng)聚類:也稱為層次聚類,分類的單位由高到低呈樹形結(jié)構(gòu),且所處的位置越低,其所包含的對(duì)象就越少,但這些對(duì)象間的共同特征越多。該聚類方法只適合在小數(shù)據(jù)量的時(shí)候使用,數(shù)據(jù)量大的時(shí)候速度會(huì)非常慢。

下面我們?cè)敿?xì)介紹K-Means聚類算法。

K-Means聚類算法

K-Means算法是典型的基于距離的非層次聚類算法,在最小化誤差函數(shù)的基礎(chǔ)上將數(shù)據(jù)劃分為預(yù)定的類數(shù)K,采用距離作為相似性的評(píng)價(jià)指標(biāo),即認(rèn)為兩個(gè)對(duì)象的距離越近,其相似度就越大。

算法實(shí)現(xiàn)

選擇K個(gè)點(diǎn)作為初始質(zhì)心

repeat

將每個(gè)點(diǎn)指派到最近的質(zhì)心,形成K個(gè)簇

重新算每個(gè)簇的質(zhì)心

until 簇不發(fā)生變化或達(dá)到最大迭代次數(shù)

K如何確定

層次聚類結(jié)合,經(jīng)常會(huì)產(chǎn)生較好的聚類結(jié)果的一個(gè)有趣策略是,首先采用層次凝聚算法決定結(jié)果粗的數(shù)目,并找到一個(gè)初始聚類,然后用迭代重定位來(lái)改進(jìn)該聚類。

初始質(zhì)心的選取

常見的方法是隨機(jī)的選取初始質(zhì)心,但是這樣簇的質(zhì)量常常很差。

(1)多次運(yùn)行,每次使用一組不同的隨機(jī)初始質(zhì)心,然后選取具有最小SSE(誤差的平方和)的簇集。這種策略簡(jiǎn)單,但是效果可能不好,這取決于數(shù)據(jù)集和尋找的簇的個(gè)數(shù)。

(2)取一個(gè)樣本,并使用層次聚類技術(shù)對(duì)它聚類。從層次聚類中提取K個(gè)簇,并用這些簇的質(zhì)心作為初始質(zhì)心。該方法通常很有效,但僅對(duì)下列情況有效:樣本相對(duì)較小;K相對(duì)于樣本大小較小。

(3)取所有點(diǎn)的質(zhì)心作為第一個(gè)點(diǎn)。然后,對(duì)于每個(gè)后繼初始質(zhì)心,選擇離已經(jīng)選取過(guò)的初始質(zhì)心最遠(yuǎn)的點(diǎn)。使用這種方法,確保了選擇的初始質(zhì)心不僅是隨機(jī)的,而且是散開的。但是,這種方法可能選中離群點(diǎn)。

距離的度量

常用的距離度量方法包括:歐幾里得距離和余弦相似度。歐幾里得距離度量會(huì)受指標(biāo)不同單位刻度的影響,所以一般需要先進(jìn)行標(biāo)準(zhǔn)化,同時(shí)距離越大,個(gè)體間差異越大;空間向量余弦夾角的相似度度量不會(huì)受指標(biāo)刻度的影響,余弦值落于區(qū)間[-1,1],值越大,差異越小。

質(zhì)心的計(jì)算

對(duì)于距離度量不管是采用歐式距離還是采用余弦相似度,簇的質(zhì)心都是其均值。

算法停止條件

一般是目標(biāo)函數(shù)達(dá)到最優(yōu)或者達(dá)到最大的迭代次數(shù)即可終止。對(duì)于不同的距離度量,目標(biāo)函數(shù)往往不同。當(dāng)采用歐式距離時(shí),目標(biāo)函數(shù)一般為最小化對(duì)象到其簇質(zhì)心的距離的平方和;當(dāng)采用余弦相似度時(shí),目標(biāo)函數(shù)一般為最大化對(duì)象到其簇質(zhì)心的余弦相似度和。

空聚類的處理

如果所有的點(diǎn)在指派步驟都未分配到某個(gè)簇,就會(huì)得到空簇。如果這種情況發(fā)生,則需要某種策略來(lái)選擇一個(gè)替補(bǔ)質(zhì)心,否則的話,平方誤差將會(huì)偏大。

(1)選擇一個(gè)距離當(dāng)前任何質(zhì)心最遠(yuǎn)的點(diǎn)。這將消除當(dāng)前對(duì)總平方誤差影響最大的點(diǎn)。

(2)從具有最大SSE的簇中選擇一個(gè)替補(bǔ)的質(zhì)心,這將分裂簇并降低聚類的總SSE。如果有多個(gè)空簇,則該過(guò)程重復(fù)多次。

適用范圍及缺陷

K-Menas算法試圖找到使平方誤差準(zhǔn)則函數(shù)最小的簇。當(dāng)潛在的簇形狀是凸面的,簇與簇之間區(qū)別較明顯,且簇大小相近時(shí),其聚類結(jié)果較理想。對(duì)于處理大數(shù)據(jù)集合,該算法非常高效,且伸縮性較好。

但該算法除了要事先確定簇?cái)?shù)K和對(duì)初始聚類中心敏感外,經(jīng)常以局部最優(yōu)結(jié)束,同時(shí)對(duì)“噪聲”和孤立點(diǎn)敏感,并且該方法不適于發(fā)現(xiàn)非凸面形狀的簇或大小差別很大的簇。

克服缺點(diǎn)的方法:使用盡量多的數(shù)據(jù);使用中位數(shù)代替均值來(lái)克服outlier的問(wèn)題。

實(shí)例解析

<a href='/map/juleifenxi/' style='color:#000;font-size:inherit;'>聚類分析</a>實(shí)戰(zhàn)解析與總結(jié)

下面我們用TSNE(高維數(shù)據(jù)可視化工具)對(duì)聚類結(jié)果進(jìn)行可視化

<a href='/map/juleifenxi/' style='color:#000;font-size:inherit;'>聚類分析</a>實(shí)戰(zhàn)解析與總結(jié)

聚類效果圖如下:

<a href='/map/juleifenxi/' style='color:#000;font-size:inherit;'>聚類分析</a>實(shí)戰(zhàn)解析與總結(jié)

下面我們用PCA降維后,對(duì)聚類結(jié)果進(jìn)行可視化

<a href='/map/juleifenxi/' style='color:#000;font-size:inherit;'>聚類分析</a>實(shí)戰(zhàn)解析與總結(jié)

聚類效果圖如下:

<a href='/map/juleifenxi/' style='color:#000;font-size:inherit;'>聚類分析</a>實(shí)戰(zhàn)解析與總結(jié)

Python主要的聚類分析算法總結(jié)

在scikit-learn中實(shí)現(xiàn)的聚類算法主要包括K-Means、層次聚類、FCM、神經(jīng)網(wǎng)絡(luò)聚類,其主要相關(guān)函數(shù)如下:

KMeans: K均值聚類;

AffinityPropagation: 吸引力傳播聚類,2007年提出,幾乎優(yōu)于所有其他方法,不需要指定聚類數(shù)K,但運(yùn)行效率較低;

MeanShift:均值漂移聚類算法;

SpectralClustering:譜聚類,具有效果比KMeans好,速度比KMeans快等特點(diǎn);

AgglomerativeClustering:層次聚類,給出一棵聚類層次樹;

DBSCAN:具有噪音的基于密度的聚類方法;

BIRCH:綜合的層次聚類算法,可以處理大規(guī)模數(shù)據(jù)的聚類。

這些方法的使用大同小異,基本都是先用對(duì)應(yīng)的函數(shù)建立模型,然后用fit()方法來(lái)訓(xùn)練模型,訓(xùn)練好之后,就可以用labels_屬性得到樣本數(shù)據(jù)的標(biāo)簽,或者用predict()方法預(yù)測(cè)新樣本的標(biāo)簽。


數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼

若不方便掃碼,搜微信號(hào):CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1:配置參數(shù) // 參數(shù)2:回調(diào),回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象,之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須,不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測(cè)極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式,包括:float,popup width: "280px", https: true // 更多配置參數(shù)說(shuō)明請(qǐng)參見:http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'!'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'!'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }