小白學(xué)數(shù)據(jù)分析--聚類(lèi)分析理論之TwoSteps理論篇+實(shí)踐篇

昨天分享了以前學(xué)習(xí)的聚類(lèi)分析算法K-Means的部分知識(shí)，其實(shí)這個(gè)主要是了解一下這個(gè)算法的原理和適用條件就行了，作為應(yīng)用而不是作為深入研究，能夠很好的將業(yè)務(wù)和算法模型緊密結(jié)合的又有幾人呢？所以一些基本知識(shí)還是很必要的，這里就是簡(jiǎn)單把看過(guò)的一些知識(shí)點(diǎn)列舉一下，梳理一下，快速了解和使用。
　　今天把TwoSteps的知識(shí)也梳理一下，順便做個(gè)小的演示，使用SPSS 19，后續(xù)在使用SPSS Modeler或者叫做Clementine再演示一次使用方法。首先上圖。



　　TwoSteps支持?jǐn)?shù)值型和分類(lèi)型數(shù)據(jù)，這對(duì)于我們而言在使用時(shí)就方便很多，此外游戲數(shù)據(jù)一般來(lái)說(shuō)都很大，TwoStep在這方面來(lái)說(shuō)還是很具有優(yōu)勢(shì)的，數(shù)據(jù)迭代過(guò)程中的內(nèi)存消耗和聚類(lèi)數(shù)目確定，TwoStep表現(xiàn)的都很好，兩步聚類(lèi)避免了距離矩陣過(guò)大，導(dǎo)致算法執(zhí)行效率下降，而這也是優(yōu)勢(shì)所在。好了以上的信息看多也沒(méi)什么意義，還是看看怎么實(shí)踐吧。
　　最近換了工作，開(kāi)始做手機(jī)網(wǎng)游的數(shù)據(jù)分析，也是想嘗試一下，面臨一個(gè)問(wèn)題就是游戲的留存比較差勁，想來(lái)想去就拿這個(gè)做一個(gè)聚類(lèi)分析的例子吧。
　　首先，這里選取的是次日留存用戶(hù)數(shù)據(jù)進(jìn)行分析，之所以選擇次日，是由游戲的特點(diǎn)決定的，再者手機(jī)游戲的周期相對(duì)短一些，所以如果考慮周，雙周就不是很好了（當(dāng)然也不是絕對(duì)的），其實(shí)3日留存也可以選擇，只是需要了解你自己的游戲具體情況再做判斷。
　　其次，選擇什么時(shí)間的次日留存數(shù)據(jù)分析呢？這個(gè)問(wèn)題困擾了我很長(zhǎng)時(shí)間，因?yàn)楸旧矸治鲂碌峭婕掖稳盏顷懙哪遣糠秩后w的特征（其實(shí)這樣分類(lèi)的方式已經(jīng)有些破壞了聚類(lèi)分析的本質(zhì)和訴求），我選取的時(shí)間是周五（為什么是周五，這里不說(shuō)了，大家自己想），且從時(shí)間上，全部渠道（手機(jī)游戲渠道很多）均以開(kāi)放，且離最近的開(kāi)放的渠道有一段周期（數(shù)據(jù)平穩(wěn)后）。同時(shí)游戲沒(méi)有重大的更新，BUG，調(diào)整時(shí)期。
　　第三，既然要做聚類(lèi)分析，那我們選什么數(shù)據(jù)作分析，提取特征呢？我們要做的是提取次日留存用戶(hù)的特征，因此，根據(jù)需要我們提取了一些用戶(hù)的數(shù)據(jù)點(diǎn)，如下圖所示：

　　其實(shí)，還有很多的數(shù)據(jù)，然而這里很多都是取不出來(lái)的（2進(jìn)制，你懂得），由于分析的是次日留存，因此用戶(hù)的游戲進(jìn)程大多數(shù)不會(huì)很長(zhǎng)，這里也只會(huì)取一些和新登用戶(hù)關(guān)聯(lián)比較大的，比如來(lái)源，職業(yè)，好友，是否付費(fèi)，等級(jí)（最高和最低等級(jí)）。其實(shí)按照我們分析的圍堵不同還可以取其他的數(shù)據(jù)，這里就是一個(gè)演示，請(qǐng)見(jiàn)諒。下面就用SPSS 19演示一下怎么進(jìn)行該計(jì)算過(guò)程。
　　打開(kāi)“菜單|分類(lèi)|兩步聚類(lèi)”，如下圖所示：

　　彈出的菜單如下：

　　此時(shí)，要進(jìn)行變量選擇，如果是分類(lèi)變量，就選擇進(jìn)入分類(lèi)變量，如果是連續(xù)變量，就選擇進(jìn)入連續(xù)變量，選擇如下：

　　距離變量：確定計(jì)算兩個(gè)變量之間的相似性，對(duì)數(shù)相似值系統(tǒng)使用對(duì)數(shù)似然距離計(jì)算，而歐式距離是以全體變量為連續(xù)性變量為前提的，由于我們的數(shù)據(jù)中存在分類(lèi)型變量，因此這里選擇對(duì)數(shù)相似值。
　　聚類(lèi)數(shù)量：允許指定如何確定聚類(lèi)數(shù)。如果自動(dòng)確定將會(huì)使用聚類(lèi)準(zhǔn)則中指定的準(zhǔn)則[BIC 或者 AIC]，自動(dòng)確定最佳的聚類(lèi)數(shù)，或者設(shè)置最大值?？梢灾付ㄒ粋€(gè)固定值，不過(guò)一般來(lái)說(shuō)就自動(dòng)確定OK了。
　　連續(xù)變量計(jì)數(shù)：對(duì)一個(gè)變量是否進(jìn)行標(biāo)準(zhǔn)化的設(shè)置。
　　點(diǎn)擊選項(xiàng)，彈出如下的面板


　　離群值處理：這里主要是針對(duì)CF填滿(mǎn)后，如何對(duì)離群值的處理。IBM SPSS手冊(cè)如下所訴：
　　“如果選擇噪聲處理且 CF 樹(shù)填滿(mǎn)，則在將稀疏葉子中的個(gè)案放到“噪聲”葉子中后，樹(shù)將重新生長(zhǎng)。如果某個(gè)葉子包含的個(gè)案數(shù)占最大葉大小的百分比小于指定的百分比，則將該葉子視為稀疏的。樹(shù)重新生長(zhǎng)之后，如有可能，離群值將放置在 CF 樹(shù)中。否則，將放棄離群值。
如果不選擇噪聲處理且 CF 樹(shù)填滿(mǎn)，則它將使用較大的距離更改閾值來(lái)重新生長(zhǎng)。最終聚類(lèi)之后，不能分配到聚類(lèi)的變量標(biāo)記為離群值。離群值聚類(lèi)被賦予標(biāo)識(shí)號(hào)?1，并且不包含在聚類(lèi)數(shù)的計(jì)數(shù)中?！?/span>
　　關(guān)于噪聲處理，此處默認(rèn)即可。
　內(nèi)存分配：指定聚類(lèi)算法應(yīng)使用的最大的內(nèi)存量。如果該過(guò)程超過(guò)了此最大值，則將使用磁盤(pán)存儲(chǔ)內(nèi)存中放不下的信息。此項(xiàng)默認(rèn)就行了。
　　連續(xù)變量的標(biāo)準(zhǔn)化：聚類(lèi)算法處理標(biāo)準(zhǔn)化連續(xù)變量。
　　點(diǎn)擊輸出：彈出界面如下

　　圖和表：
　　“顯示模型相關(guān)的輸出，包括表和圖表。模型視圖中的表包括模型摘要和聚類(lèi)-特征網(wǎng)格。模型視圖中的圖形輸出包括聚類(lèi)質(zhì)量圖表、聚類(lèi)大小、變量重要性、聚類(lèi)比較網(wǎng)格和單元格信息?！庇悬c(diǎn)用。
　　評(píng)估字段：“這可為未在聚類(lèi)創(chuàng)建中使用的變量計(jì)算聚類(lèi)數(shù)據(jù)。通過(guò)在“顯示”子對(duì)話(huà)框中選擇評(píng)估字段，可以在模型查看器中將其與輸入特征一起顯示。帶有缺失值的字段將被忽略”可以不用理。
　　OK，此時(shí)，點(diǎn)擊繼續(xù)，然后確定，等待計(jì)算結(jié)果出來(lái)，這時(shí)首先彈出的是查看器：

　　之后雙擊這個(gè)模型，就會(huì)彈出來(lái)聚類(lèi)瀏覽器：


　　以下介紹該瀏覽器的信息來(lái)自于]IBM SPSS的官方手冊(cè)
“聚類(lèi)瀏覽器”包含兩個(gè)面板，主視圖位于左側(cè)，鏈接或輔助視圖位于右側(cè)。有兩個(gè)主視圖：
模型摘要（默認(rèn)視圖）
分群。
有四個(gè)鏈接/輔助視圖：
預(yù)測(cè)變量的重要性.
聚類(lèi)大?。J(rèn)視圖）
單元格分布。
聚類(lèi)比較。
　　“模型摘要”視圖顯示聚類(lèi)模型的快照或摘要，包括加陰影以表示結(jié)果較差、尚可或良好的聚類(lèi)結(jié)合和分離的 Silhouette 測(cè)量。該快照可讓您快速檢查質(zhì)量是否較差，如果較差，可返回建模節(jié)點(diǎn)修改聚類(lèi)模型設(shè)置以生成較好的結(jié)果。
結(jié)果較差、尚可和良好是基于 Kaufman 和 Rousseeuw (1990) 關(guān)于聚類(lèi)結(jié)構(gòu)解釋的研究成果來(lái)判定的。在“模型摘要”視圖中，良好的結(jié)果表示數(shù)據(jù)將 Kaufman 和 Rousseeuw 的評(píng)級(jí)反映為聚類(lèi)結(jié)構(gòu)的合理跡象或強(qiáng)跡象，尚可的結(jié)果將其評(píng)級(jí)反映為弱跡象，而較差的結(jié)果將其評(píng)級(jí)反映為無(wú)明顯跡象。Silhouette 測(cè)量所有記錄的平均值，(B A) / max(A,B)，其中 A 是記錄與其聚類(lèi)中心的距離，B 是記錄與其非所屬最近聚類(lèi)中心的距離。Silhouette 系數(shù)為 1 表示所有個(gè)案直接位于其聚類(lèi)中心上。 值為 1 表示所有個(gè)案位于某些其他聚類(lèi)的聚類(lèi)中心上。值為 0
表示在正常情況下個(gè)案到其自身聚類(lèi)中心與到最近其他聚類(lèi)中心是等距的。
摘要所包含的表格具有以下信息：
算法。所使用的聚類(lèi)算法，例如“二階”。
輸入功能。字段數(shù)量，也稱(chēng)為輸入或預(yù)測(cè)變量。
分群。解中聚類(lèi)的數(shù)量。