小白學(xué)數(shù)據(jù)分析--聚類分析理論之TwoSteps理論篇+實踐篇

昨天分享了以前學(xué)習(xí)的聚類分析算法K-Means的部分知識，其實這個主要是了解一下這個算法的原理和適用條件就行了，作為應(yīng)用而不是作為深入研究，能夠很好的將業(yè)務(wù)和算法模型緊密結(jié)合的又有幾人呢？所以一些基本知識還是很必要的，這里就是簡單把看過的一些知識點列舉一下，梳理一下，快速了解和使用。
　　今天把TwoSteps的知識也梳理一下，順便做個小的演示，使用SPSS 19，后續(xù)在使用SPSS Modeler或者叫做Clementine再演示一次使用方法。首先上圖。



　　TwoSteps支持?jǐn)?shù)值型和分類型數(shù)據(jù)，這對于我們而言在使用時就方便很多，此外游戲數(shù)據(jù)一般來說都很大，TwoStep在這方面來說還是很具有優(yōu)勢的，數(shù)據(jù)迭代過程中的內(nèi)存消耗和聚類數(shù)目確定，TwoStep表現(xiàn)的都很好，兩步聚類避免了距離矩陣過大，導(dǎo)致算法執(zhí)行效率下降，而這也是優(yōu)勢所在。好了以上的信息看多也沒什么意義，還是看看怎么實踐吧。
　　最近換了工作，開始做手機網(wǎng)游的數(shù)據(jù)分析，也是想嘗試一下，面臨一個問題就是游戲的留存比較差勁，想來想去就拿這個做一個聚類分析的例子吧。
　　首先，這里選取的是次日留存用戶數(shù)據(jù)進(jìn)行分析，之所以選擇次日，是由游戲的特點決定的，再者手機游戲的周期相對短一些，所以如果考慮周，雙周就不是很好了（當(dāng)然也不是絕對的），其實3日留存也可以選擇，只是需要了解你自己的游戲具體情況再做判斷。
　　其次，選擇什么時間的次日留存數(shù)據(jù)分析呢？這個問題困擾了我很長時間，因為本身分析新登玩家次日登陸的那部分群體的特征（其實這樣分類的方式已經(jīng)有些破壞了聚類分析的本質(zhì)和訴求），我選取的時間是周五（為什么是周五，這里不說了，大家自己想），且從時間上，全部渠道（手機游戲渠道很多）均以開放，且離最近的開放的渠道有一段周期（數(shù)據(jù)平穩(wěn)后）。同時游戲沒有重大的更新，BUG，調(diào)整時期。
　　第三，既然要做聚類分析，那我們選什么數(shù)據(jù)作分析，提取特征呢？我們要做的是提取次日留存用戶的特征，因此，根據(jù)需要我們提取了一些用戶的數(shù)據(jù)點，如下圖所示：

　　其實，還有很多的數(shù)據(jù)，然而這里很多都是取不出來的（2進(jìn)制，你懂得），由于分析的是次日留存，因此用戶的游戲進(jìn)程大多數(shù)不會很長，這里也只會取一些和新登用戶關(guān)聯(lián)比較大的，比如來源，職業(yè)，好友，是否付費，等級（最高和最低等級）。其實按照我們分析的圍堵不同還可以取其他的數(shù)據(jù)，這里就是一個演示，請見諒。下面就用SPSS 19演示一下怎么進(jìn)行該計算過程。
　　打開“菜單|分類|兩步聚類”，如下圖所示：

　　彈出的菜單如下：

　　此時，要進(jìn)行變量選擇，如果是分類變量，就選擇進(jìn)入分類變量，如果是連續(xù)變量，就選擇進(jìn)入連續(xù)變量，選擇如下：

　　距離變量：確定計算兩個變量之間的相似性，對數(shù)相似值系統(tǒng)使用對數(shù)似然距離計算，而歐式距離是以全體變量為連續(xù)性變量為前提的，由于我們的數(shù)據(jù)中存在分類型變量，因此這里選擇對數(shù)相似值。
　　聚類數(shù)量：允許指定如何確定聚類數(shù)。如果自動確定將會使用聚類準(zhǔn)則中指定的準(zhǔn)則[BIC 或者 AIC]，自動確定最佳的聚類數(shù)，或者設(shè)置最大值?？梢灾付ㄒ粋€固定值，不過一般來說就自動確定OK了。
　　連續(xù)變量計數(shù)：對一個變量是否進(jìn)行標(biāo)準(zhǔn)化的設(shè)置。
　　點擊選項，彈出如下的面板


　　離群值處理：這里主要是針對CF填滿后，如何對離群值的處理。IBM SPSS手冊如下所訴：
　　“如果選擇噪聲處理且 CF 樹填滿，則在將稀疏葉子中的個案放到“噪聲”葉子中后，樹將重新生長。如果某個葉子包含的個案數(shù)占最大葉大小的百分比小于指定的百分比，則將該葉子視為稀疏的。樹重新生長之后，如有可能，離群值將放置在 CF 樹中。否則，將放棄離群值。
如果不選擇噪聲處理且 CF 樹填滿，則它將使用較大的距離更改閾值來重新生長。最終聚類之后，不能分配到聚類的變量標(biāo)記為離群值。離群值聚類被賦予標(biāo)識號?1，并且不包含在聚類數(shù)的計數(shù)中?！?/span>
　　關(guān)于噪聲處理，此處默認(rèn)即可。
　內(nèi)存分配：指定聚類算法應(yīng)使用的最大的內(nèi)存量。如果該過程超過了此最大值，則將使用磁盤存儲內(nèi)存中放不下的信息。此項默認(rèn)就行了。
　　連續(xù)變量的標(biāo)準(zhǔn)化：聚類算法處理標(biāo)準(zhǔn)化連續(xù)變量。
　　點擊輸出：彈出界面如下

　　圖和表：
　　“顯示模型相關(guān)的輸出，包括表和圖表。模型視圖中的表包括模型摘要和聚類-特征網(wǎng)格。模型視圖中的圖形輸出包括聚類質(zhì)量圖表、聚類大小、變量重要性、聚類比較網(wǎng)格和單元格信息?！庇悬c用。
　　評估字段：“這可為未在聚類創(chuàng)建中使用的變量計算聚類數(shù)據(jù)。通過在“顯示”子對話框中選擇評估字段，可以在模型查看器中將其與輸入特征一起顯示。帶有缺失值的字段將被忽略”可以不用理。
　　OK，此時，點擊繼續(xù)，然后確定，等待計算結(jié)果出來，這時首先彈出的是查看器：

　　之后雙擊這個模型，就會彈出來聚類瀏覽器：


　　以下介紹該瀏覽器的信息來自于]IBM SPSS的官方手冊
“聚類瀏覽器”包含兩個面板，主視圖位于左側(cè)，鏈接或輔助視圖位于右側(cè)。有兩個主視圖：
模型摘要（默認(rèn)視圖）
分群。
有四個鏈接/輔助視圖：
預(yù)測變量的重要性.
聚類大?。J(rèn)視圖）
單元格分布。
聚類比較。
　　“模型摘要”視圖顯示聚類模型的快照或摘要，包括加陰影以表示結(jié)果較差、尚可或良好的聚類結(jié)合和分離的 Silhouette 測量。該快照可讓您快速檢查質(zhì)量是否較差，如果較差，可返回建模節(jié)點修改聚類模型設(shè)置以生成較好的結(jié)果。
結(jié)果較差、尚可和良好是基于 Kaufman 和 Rousseeuw (1990) 關(guān)于聚類結(jié)構(gòu)解釋的研究成果來判定的。在“模型摘要”視圖中，良好的結(jié)果表示數(shù)據(jù)將 Kaufman 和 Rousseeuw 的評級反映為聚類結(jié)構(gòu)的合理跡象或強跡象，尚可的結(jié)果將其評級反映為弱跡象，而較差的結(jié)果將其評級反映為無明顯跡象。Silhouette 測量所有記錄的平均值，(B A) / max(A,B)，其中 A 是記錄與其聚類中心的距離，B 是記錄與其非所屬最近聚類中心的距離。Silhouette 系數(shù)為 1 表示所有個案直接位于其聚類中心上。 值為 1 表示所有個案位于某些其他聚類的聚類中心上。值為 0
表示在正常情況下個案到其自身聚類中心與到最近其他聚類中心是等距的。
摘要所包含的表格具有以下信息：
算法。所使用的聚類算法，例如“二階”。
輸入功能。字段數(shù)量，也稱為輸入或預(yù)測變量。
分群。解中聚類的數(shù)量。