一、案例綜述

案例編號(hào)：101001

案例名稱(chēng)：互聯(lián)網(wǎng)行業(yè)——網(wǎng)站用戶(hù)行為分析

作者姓名（或單位、或來(lái)源）：劉莎莎

案例所屬行業(yè)：G6020 互聯(lián)網(wǎng)信息

案例所用軟件：

MYSQL、 Sas EG、 TOAD、 SAS EM

案例包含知識(shí)點(diǎn)：

數(shù)據(jù)導(dǎo)入 txt導(dǎo)入mysql  數(shù)據(jù)導(dǎo)出 mysql導(dǎo)出為txt  txt導(dǎo)入SasEG  SAS數(shù)據(jù)格式修改 頻數(shù)統(tǒng)計(jì) 相關(guān)分析 相關(guān)系數(shù) 相關(guān)系數(shù)矩陣  RFM模型 聚類(lèi)分析  關(guān)聯(lián)規(guī)則 數(shù)據(jù)挖掘 頻數(shù)統(tǒng)計(jì)

案例描述：

根據(jù)中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心發(fā)布第36次《中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》顯示，截至2015年6月，我國(guó)網(wǎng)民規(guī)模達(dá)6.68億，互聯(lián)網(wǎng)普及率為48.8%。我國(guó)互聯(lián)網(wǎng)的高速發(fā)展普及為互聯(lián)網(wǎng)企業(yè)帶來(lái)了巨大的發(fā)展機(jī)遇。

相對(duì)于傳統(tǒng)的工業(yè)領(lǐng)域，互聯(lián)網(wǎng)領(lǐng)域的入門(mén)門(mén)檻較低，這一特點(diǎn)有利于更多的企業(yè)加入互聯(lián)網(wǎng)浪潮，以便為人民生活提供更好的服務(wù)，但也正是互聯(lián)網(wǎng)企業(yè)的服務(wù)模式易于拷貝的原因，導(dǎo)致了同質(zhì)化競(jìng)爭(zhēng)激烈的互聯(lián)網(wǎng)企業(yè)發(fā)展格局。

為了解決這一問(wèn)題，通過(guò)對(duì)網(wǎng)站用戶(hù)行為進(jìn)行數(shù)據(jù)分析，有利于互聯(lián)網(wǎng)企業(yè)準(zhǔn)確把握網(wǎng)站發(fā)展的實(shí)際情況以及網(wǎng)站用戶(hù)心理需求和心理習(xí)慣，從而更有效地利用企業(yè)資源，以便在激烈的同質(zhì)化競(jìng)爭(zhēng)中找到屬于自己的服務(wù)特點(diǎn)，獲得比較優(yōu)勢(shì)，最終贏得競(jìng)爭(zhēng)。

此案例所用數(shù)據(jù)集來(lái)自于一個(gè)互聯(lián)網(wǎng)企業(yè)，屬于論壇性質(zhì)。共有三個(gè)數(shù)據(jù)集。member.txt、tiezi.txt 、bankui.txt分別是會(huì)員個(gè)人信息表（包括會(huì)員的一些屬性：出生日期，專(zhuān)長(zhǎng)，關(guān)注領(lǐng)域等）、瀏覽帖子信息表（四個(gè)字段，第一個(gè)是會(huì)員id，第二個(gè)是會(huì)員瀏覽時(shí)間，第三個(gè)是會(huì)員瀏覽帖子的鏈接代碼，第四個(gè)變量為瀏覽的為該帖子的第幾頁(yè)），瀏覽板塊信息表（三個(gè)字段，第一個(gè)是會(huì)員id，第二個(gè)是會(huì)員瀏覽時(shí)間，第三個(gè)是會(huì)員瀏覽板塊的鏈接代碼）。數(shù)據(jù)缺陷無(wú)法提供板塊和帖子的對(duì)應(yīng)情況。其中member.txt數(shù)據(jù)集中共包含106745條記錄，bankuai.txt數(shù)據(jù)集中共包含765015條記錄，tiezi.txt數(shù)據(jù)集中共包含3832002條記錄。

各知識(shí)點(diǎn)介紹如下：

第1個(gè)知識(shí)點(diǎn)介紹的是如何借助于第三方數(shù)據(jù)庫(kù)管理軟件toad把三個(gè)txt數(shù)據(jù)文件導(dǎo)入到MYSQL數(shù)據(jù)庫(kù)中。

第2個(gè)知識(shí)點(diǎn)介紹的是如何借助于第三方數(shù)據(jù)庫(kù)管理軟件toad把三個(gè)txt數(shù)據(jù)數(shù)從MySQL數(shù)據(jù)庫(kù)forum中導(dǎo)出為三個(gè)txt文件，將導(dǎo)出的三個(gè)txt文件保存為member.txt,tiezi.txt,bankuai.txt，然后在這個(gè)基礎(chǔ)之上對(duì)本章后面的小節(jié)進(jìn)行操作。

第3個(gè)知識(shí)點(diǎn)是將三個(gè)txt文件導(dǎo)入到SAS-EG中，保存為sas格式的數(shù)據(jù)集放在建立的邏輯庫(kù)test中，并且對(duì)日期時(shí)間變量進(jìn)行輸出格式的修改，使其顯示為正確的日期時(shí)間格式。三個(gè)sas數(shù)據(jù)文件分別為member.sas4bdat，bankuai.sas7bdat，tiezi.sas7bdat。

第4個(gè)知識(shí)點(diǎn)是對(duì)論壇數(shù)據(jù)進(jìn)行一些描述性分析，在tiezi.sas7bdat基礎(chǔ)之上尋找到最火的帖子。

第5個(gè)知識(shí)點(diǎn)是對(duì)論壇數(shù)據(jù)進(jìn)行一些描述性分析，是在member.sas7bdat基礎(chǔ)之上對(duì)論壇用戶(hù)的男女比例進(jìn)行描述性分析。

第6個(gè)知識(shí)點(diǎn)是在tiezi.sas7bdat基礎(chǔ)之上通過(guò)生成查詢(xún)生成器的方式計(jì)算每個(gè)人瀏覽的帖子總數(shù)，并且進(jìn)行用戶(hù)名字的去重。然后將查詢(xún)結(jié)果和member.sas7bdat數(shù)據(jù)集進(jìn)行橫向合并,從而將用戶(hù)年齡和瀏覽貼子數(shù)放在了一個(gè)表中。然后進(jìn)行兩個(gè)變量的相關(guān)性分析。

第7個(gè)知識(shí)點(diǎn)是在tiezi.sas7bdat數(shù)據(jù)集的基礎(chǔ)之上進(jìn)行進(jìn)一步的計(jì)算，然后用RFM模型對(duì)客戶(hù)進(jìn)行畫(huà)像分析，從而找到最有價(jià)值的客戶(hù)。

第8個(gè)知識(shí)點(diǎn)在bankuai.sas7bdat數(shù)據(jù)集的基礎(chǔ)之上用sasEM模塊對(duì)數(shù)據(jù)進(jìn)行板塊的關(guān)聯(lián)規(guī)則分析，從而可以發(fā)現(xiàn)一些推薦規(guī)則。

第9個(gè)知識(shí)點(diǎn)是在member.sas7bdat基礎(chǔ)之上用SasEM模塊的文本挖掘部分對(duì)關(guān)注領(lǐng)域字段進(jìn)行關(guān)鍵詞頻數(shù)分析，從而找到關(guān)注度最高的關(guān)鍵詞。

案例執(zhí)行形式：單人上機(jī)

二、案例知識(shí)點(diǎn)

知識(shí)點(diǎn)1

知識(shí)點(diǎn)名稱(chēng)：將txt數(shù)據(jù)文件導(dǎo)入到 mysql數(shù)據(jù)庫(kù)中

知識(shí)點(diǎn)所屬工作角色：數(shù)據(jù)導(dǎo)入

知識(shí)點(diǎn)背景：我們通常會(huì)獲取各種類(lèi)型的數(shù)據(jù)文件，比如txt，excel等，通常需要將這些文件導(dǎo)入到數(shù)據(jù)庫(kù)中，從而方便進(jìn)行長(zhǎng)期存儲(chǔ)和調(diào)用。

知識(shí)點(diǎn)描述：將txt數(shù)據(jù)導(dǎo)入到mysql中。

知識(shí)點(diǎn)關(guān)鍵詞：數(shù)據(jù)庫(kù)的建立、新建表、數(shù)據(jù)導(dǎo)入

知識(shí)點(diǎn)所用軟件：MySQL5.6  Toad for MySQL 6.7

操作目的：將txt數(shù)據(jù)導(dǎo)入到mysql中。

知識(shí)點(diǎn)素材（包括數(shù)據(jù)）：Member.txt,tiezi.txt,bankuai.txt

操作步驟:

? 安裝Toad for MySQL編輯器，成功設(shè)置權(quán)限；

? 在邏輯庫(kù)下選擇forum數(shù)據(jù)庫(kù)，界面如下圖所示；

 

? 單擊工具欄中的“Tools”選項(xiàng)，執(zhí)行“Import”，“Import Wizard”命令，如圖4.21，彈出數(shù)據(jù)導(dǎo)入向?qū)Т翱?，如下圖所示，點(diǎn)擊Next。

 導(dǎo)入數(shù)據(jù)

? 點(diǎn)擊“Next”，如下圖，繼續(xù)進(jìn)行；

導(dǎo)入數(shù)據(jù)

? 點(diǎn)擊“Add File”，選擇文件所在位置添加文件，如下圖；

導(dǎo)入數(shù)據(jù)

? 選擇“Comma”（即以逗號(hào)為分隔符），選擇“Column names as head”（即將原文件中的第一行作為列名）及Empty files are n（即將缺失的數(shù)據(jù)也插入新表中），點(diǎn)擊“Next”繼續(xù)進(jìn)行，如下圖；

導(dǎo)入數(shù)據(jù)

? 再次點(diǎn)擊“Next”繼續(xù)進(jìn)行，在數(shù)據(jù)導(dǎo)入向?qū)Т翱诘?/span>Select Target步驟中，選擇“A single new table”（即新建一個(gè)表），在Schema下拉列表中選擇創(chuàng)建的數(shù)據(jù)庫(kù)forum，在“Table name”中輸入新表的名稱(chēng)“member”，根據(jù)事先對(duì)數(shù)據(jù)的大致了解，將field6、field7、lingyu的數(shù)值類(lèi)型改為VARCHAR(200)，將zhuanchang的數(shù)值類(lèi)型改為VARCHAR(500)，同時(shí)選中memberid，將光標(biāo)定位在memberid前面，點(diǎn)擊“Set Primary Key”，即將memberid設(shè)置為主鍵，如下圖所示，點(diǎn)擊Next按鈕。

圖 導(dǎo)入數(shù)據(jù)

? 再次點(diǎn)擊Next，F(xiàn)inish按鈕，等待一段時(shí)間后會(huì)出現(xiàn)如下圖的窗口，可以看到讀取數(shù)據(jù)行數(shù)為106745行，導(dǎo)入數(shù)據(jù)行數(shù)也為106745行，因此數(shù)據(jù)全部導(dǎo)入。

圖數(shù)據(jù)導(dǎo)入結(jié)果匯總

? 點(diǎn)擊OK，在Viewer Table forum.member窗口下點(diǎn)擊Data選項(xiàng)，數(shù)據(jù)如下圖，可以看到中文字符也完全顯示出來(lái)。

圖 數(shù)據(jù)導(dǎo)入成功

在MySQL命令窗口下，執(zhí)行下列語(yǔ)句同樣可實(shí)現(xiàn)上述操作：

create table forum.member

(

    gender   int(11),

    birthyearm   int(11),

    constellation   varchar(255),

    zodiac   varchar(255),

    resideprovince   varchar(255),

    field6   varchar(255),

    field7   varchar(255),

    lingyu   varchar(255),

    zhuanchang   varchar(255),

    readad   int(11),

    viptype   int(11),

    memberid   int(20),

    count   int(11),

    PRIMARY KEY(memberid)

)engine=innodb charset=utf8;

上述代碼將新建一個(gè)名為forum.membe的新表，包含13個(gè)字段及其屬性，定義memberid為主鍵，engine=innodb為指定數(shù)據(jù)引擎，charset=utf8為編碼格式，int表示數(shù)據(jù)格式為整型，varchar表示數(shù)據(jù)為可變字符型。

? 重復(fù)上述操作步驟同樣可以將bankuai.txt和tiezi.txt導(dǎo)入至數(shù)據(jù)庫(kù)。

其中tiezi.txt在讀入時(shí)，采用默認(rèn)設(shè)置讀入，發(fā)現(xiàn)并未讀取全部記錄，原因是time的字段類(lèi)型為int不合適，time字段的一些取值超過(guò)了int類(lèi)型所涵蓋的范圍，需要在導(dǎo)入時(shí)將該字段類(lèi)型改為bigint。這樣就可以將全部記錄導(dǎo)入。由于tiezi的數(shù)據(jù)量（行數(shù)）非常龐大，我們將processing row count改為10000以加快讀取速度。如下圖所示。最終在圖4.30中顯示讀取數(shù)據(jù)為3832002條，導(dǎo)入條數(shù)也為3832002條。

圖 導(dǎo)入數(shù)據(jù)

 

圖數(shù)據(jù)導(dǎo)入結(jié)果匯總

操作結(jié)果：

這個(gè)知識(shí)點(diǎn)操作結(jié)束之后，在你的電腦的mysql的forum數(shù)據(jù)庫(kù)中將會(huì)存在三張表。

知識(shí)點(diǎn)小結(jié)：

數(shù)據(jù)庫(kù)管理員的其中一個(gè)工作就是將各種形式的數(shù)據(jù)錄入或者導(dǎo)入到mysql數(shù)據(jù)庫(kù)中，注意toad和mysql的版本要相互配合。

知識(shí)點(diǎn)2

知識(shí)點(diǎn)名稱(chēng)：mysql數(shù)據(jù)庫(kù)中數(shù)據(jù)的導(dǎo)出 

知識(shí)點(diǎn)所屬工作角色：數(shù)據(jù)庫(kù)數(shù)據(jù)導(dǎo)出

知識(shí)點(diǎn)背景：我們通常需要將數(shù)據(jù)庫(kù)中的表格導(dǎo)出成文本格式從而方便提交給數(shù)據(jù)分析人員進(jìn)行后續(xù)的統(tǒng)計(jì)分析與計(jì)算。

知識(shí)點(diǎn)描述：將mysql數(shù)據(jù)庫(kù)中的表導(dǎo)出成txt文件。

知識(shí)點(diǎn)關(guān)鍵詞：Mysql toad 數(shù)據(jù)庫(kù)數(shù)據(jù)導(dǎo)出

知識(shí)點(diǎn)所用軟件：MySQL5.6  Toad for MySQL 6.7 

操作目的：將數(shù)據(jù)庫(kù)中的表格導(dǎo)出為txt文件。

 知識(shí)點(diǎn)素材（包括數(shù)據(jù)）：一個(gè)mysql數(shù)據(jù)庫(kù)forum,并且該數(shù)據(jù)庫(kù)下有三張表member、tiezi、bankuai。

操作步驟:

? 打開(kāi)論壇的數(shù)據(jù)庫(kù)forum1,打開(kāi)tables,可以看到有三個(gè)表分別是member、tiezi、bankuai。Member中記錄的是用戶(hù)的id和個(gè)人信息。tiezi里面記錄的是會(huì)員瀏覽帖子的記錄。Bankuai里面記錄的是會(huì)員瀏覽板塊的記錄。

打開(kāi)其中的一個(gè)表。比如member,然后在右側(cè)數(shù)據(jù)瀏覽窗口中點(diǎn)擊“export”,選擇導(dǎo)出的形式，我們選擇“導(dǎo)出所有記錄”，然后選擇“txt文件”,點(diǎn)擊“Next”,選擇保存路徑，然后點(diǎn)擊“Next”，點(diǎn)擊“Next”,然后勾選“include column titles”，繼續(xù)點(diǎn)擊“Next”,然后點(diǎn)擊“start”。等進(jìn)度條完成之后，數(shù)據(jù)就成功導(dǎo)出了。點(diǎn)擊“close”即可。我們依據(jù)同樣的方法把三個(gè)表都導(dǎo)出為txt格式，分別為member.txt 、tiezi.txt 、bankuai.txt。

操作結(jié)果：

將上面導(dǎo)出的數(shù)據(jù)存為member.txt 、tiezi.txt 、bankuai.txt，以備后續(xù)使用。

知識(shí)點(diǎn)小結(jié)：

通常從數(shù)據(jù)庫(kù)中導(dǎo)出數(shù)據(jù)可以保存為好幾種文本文件和excel文件，你可以根據(jù)需要進(jìn)行選擇，如果數(shù)據(jù)量較大的話建議保存為txt文件。

知識(shí)點(diǎn)3

知識(shí)點(diǎn)名稱(chēng)：SAS EG中數(shù)據(jù)的導(dǎo)入及時(shí)間格式修改

知識(shí)點(diǎn)所屬工作角色：數(shù)據(jù)導(dǎo)入

知識(shí)點(diǎn)背景：先要將外部數(shù)據(jù)導(dǎo)入到統(tǒng)計(jì)軟件中才能進(jìn)行后續(xù)的分析和建模。

知識(shí)點(diǎn)描述：將txt數(shù)據(jù)導(dǎo)入到saseg中，并且將數(shù)據(jù)保存為sas格式。

知識(shí)點(diǎn)關(guān)鍵詞：txt導(dǎo)入saseg   數(shù)據(jù)導(dǎo)入

知識(shí)點(diǎn)所用軟件：Saseg

操作目的：將txt數(shù)據(jù)導(dǎo)入到saseg中。

知識(shí)點(diǎn)素材（包括數(shù)據(jù)）：bankuai.txt，tiezi.txt及member.txt

操作步驟:

? 打開(kāi)excel文件，查看數(shù)據(jù)是否符合SAS要求的格式；

? 啟動(dòng)sas eg

? 點(diǎn)擊“工具”，“分配項(xiàng)目邏輯庫(kù)”，可以新建一個(gè)邏輯庫(kù)，邏輯庫(kù)命名為test，注意指定合適的文件夾路徑作為邏輯庫(kù)放數(shù)據(jù)的地方。

? 執(zhí)行“文件”，“導(dǎo)入數(shù)據(jù)”，找到member.txt文件，點(diǎn)擊“打開(kāi)”按鈕，指定test邏輯庫(kù)，打開(kāi)窗口左下角的服務(wù)器列表——本地——邏輯庫(kù)可以看到邏輯庫(kù)test已經(jīng)生成。如果沒(méi)有發(fā)現(xiàn)這個(gè)邏輯庫(kù)就刷新一下便可以看到了。導(dǎo)入數(shù)據(jù)時(shí)指定文本編碼為默認(rèn)編碼，即GB2312。導(dǎo)入完成之后在邏輯庫(kù)test及保存路徑下便生成bankuai.sas7bdat，tiezi.sas7bdat及member.sas7dbat三個(gè)數(shù)據(jù)文件。若在邏輯庫(kù)下沒(méi)有顯示所導(dǎo)入的數(shù)據(jù)，刷新一下即可。

我們看一下tiezi數(shù)據(jù)集里面的數(shù)據(jù)，結(jié)果見(jiàn)下圖。

圖 tiezi數(shù)據(jù)窗口

從上圖可以看到，time字段顯示的格式是數(shù)值格式，如何將其變?yōu)闀r(shí)間格式。

將tiezi數(shù)據(jù)拖動(dòng)右側(cè)雙口后雙擊time字段的任意觀測(cè)值，這時(shí)會(huì)彈出一個(gè)“數(shù)據(jù)具有保護(hù)，是否切換至更新模式”的對(duì)話框，注意：所做的更改將直接應(yīng)用于數(shù)據(jù)。在此選擇“yes”。這樣數(shù)據(jù)就變成可編輯模式了。選中需要編輯的變量列，點(diǎn)擊右鍵選擇“屬性”，在“常規(guī)選項(xiàng)卡”里，把組改為日期格式。在“輸出格式”選項(xiàng)卡里，類(lèi)別選擇“日期/時(shí)間”。輸出格式選擇DATETIMEw.d，總寬度設(shè)定為20。從下圖中可以看到修改后的樣式。修改完樣式之后將數(shù)據(jù)集保存。同樣，數(shù)據(jù)集bankuai里面的time字段也進(jìn)行同樣的設(shè)置并保存。

圖 tiezi數(shù)據(jù)窗口

操作結(jié)果：

將上面生成的sas數(shù)據(jù)文件保存在文件夾中存為bankuai.sas7bdat，tiezi.sas7bdat及member.sas7dbat，以備后續(xù)使用。

知識(shí)點(diǎn)小結(jié)：

想把txt格式數(shù)據(jù)導(dǎo)入到saseg中，先要將txt數(shù)據(jù)格式整理成比較標(biāo)準(zhǔn)的格式才不容易出錯(cuò),如果txt文件是從數(shù)據(jù)庫(kù)中導(dǎo)出的通常格式比較正常。

知識(shí)點(diǎn)4

知識(shí)點(diǎn)名稱(chēng)：數(shù)據(jù)的描述性分析——尋找最火的帖子

知識(shí)點(diǎn)所屬工作角色：數(shù)據(jù)分析

知識(shí)點(diǎn)背景：對(duì)數(shù)據(jù)進(jìn)行建模之前通常對(duì)數(shù)據(jù)進(jìn)行一個(gè)基本描述，比如分類(lèi)變量看下頻數(shù)分布。

知識(shí)點(diǎn)描述：對(duì)變量進(jìn)行描述性分析。

知識(shí)點(diǎn)關(guān)鍵詞：頻數(shù)統(tǒng)計(jì)  描述統(tǒng)計(jì) 均值 標(biāo)準(zhǔn)差 中位數(shù) 最小值 最大值 分類(lèi)匯總

知識(shí)點(diǎn)所用軟件：SasEG

操作目的：對(duì)分類(lèi)變量進(jìn)行頻數(shù)統(tǒng)計(jì)。

知識(shí)點(diǎn)素材（包括數(shù)據(jù)）：tiezi.sas7bdat

操作步驟:

? 啟動(dòng)sas eg

? ?新建項(xiàng)目邏輯庫(kù)。執(zhí)行“工具”—“分配項(xiàng)目邏輯庫(kù)”—輸入8個(gè)字符以?xún)?nèi)的英文名稱(chēng)（比如test），點(diǎn)擊“下一步”按鈕；

? 注意指定合適的文件夾路徑(和上面一節(jié)的文件路徑保持一致)作為邏輯庫(kù)放數(shù)據(jù)的地方。

? 把左側(cè)下方的邏輯庫(kù)test下面的tiezi數(shù)據(jù)集拖入右側(cè)的大窗口中。即可看到帖子數(shù)據(jù)集作為一個(gè)對(duì)象出現(xiàn)在右側(cè)窗口中。如果想查看這個(gè)數(shù)據(jù)集里面的內(nèi)容，雙擊過(guò)程流中TIEZI數(shù)據(jù)集的圖標(biāo) ，即可查看里面的數(shù)據(jù)。

? 在tiezi窗口，點(diǎn)擊查詢(xún)生成器。把t1下面的tid變量拉入右側(cè)數(shù)據(jù)框，見(jiàn)下圖。

圖 查詢(xún)生成器窗口

? 點(diǎn)擊”添加新的計(jì)算列”，進(jìn)入“1/4選擇類(lèi)型”頁(yè)界面，勾選”匯總列”，點(diǎn)擊下一步進(jìn)入“2/4選擇列”頁(yè)面；在“2/4選擇列”頁(yè)面，選擇 “選擇數(shù)據(jù)列”下面的tid變量。點(diǎn)擊下一步，進(jìn)入“3/4修改其他選項(xiàng)”頁(yè)面；在“3/4修改其他選項(xiàng)”頁(yè)面，將“標(biāo)識(shí)符”和“列名”均改為total_number，“匯總”項(xiàng)選擇count，其他項(xiàng)保持默認(rèn)。點(diǎn)擊下一步進(jìn)入“4/4屬性匯總”頁(yè)面；在“4/4屬性匯總”頁(yè)面點(diǎn)擊“完成”回到“選擇數(shù)據(jù)”選項(xiàng)卡頁(yè)面，見(jiàn)下圖。

圖 查詢(xún)生成器窗口

? 點(diǎn)擊“對(duì)數(shù)據(jù)進(jìn)行排序”進(jìn)入“對(duì)數(shù)據(jù)進(jìn)行排序”選項(xiàng)卡頁(yè)面。將左側(cè)“計(jì)算列”下面的total_number變量拉入數(shù)據(jù)框，排序方向選擇降序，見(jiàn)下圖。

圖 查詢(xún)生成器窗口

? 然后點(diǎn)擊運(yùn)行，見(jiàn)下圖。

圖查詢(xún)生成結(jié)果

從上圖中就可以看到，最受關(guān)注的帖子的代碼是397905，被瀏覽的次數(shù)為36754次。

操作結(jié)果：

該知識(shí)點(diǎn)可以不用對(duì)數(shù)據(jù)集進(jìn)行保存。

知識(shí)點(diǎn)小結(jié)：

如果你是論壇工作人員，根據(jù)這個(gè)帖子代碼，你就能知道對(duì)應(yīng)的帖子鏈接。原來(lái)這個(gè)帖子是關(guān)于增加論壇幣方法的介紹，難怪有這么多人都要看。

知識(shí)點(diǎn)5

知識(shí)點(diǎn)名稱(chēng)：數(shù)據(jù)的描述性分析——查看論壇男女比例

知識(shí)點(diǎn)所屬工作角色：數(shù)據(jù)分析

知識(shí)點(diǎn)背景：對(duì)數(shù)據(jù)進(jìn)行建模之前通常對(duì)數(shù)據(jù)進(jìn)行一個(gè)基本描述，比如分類(lèi)變量看下頻數(shù)分布，我們這里對(duì)性別進(jìn)行頻數(shù)分析。

知識(shí)點(diǎn)描述：對(duì)變量進(jìn)行描述性分析。

知識(shí)點(diǎn)關(guān)鍵詞：頻數(shù)統(tǒng)計(jì)  分類(lèi)匯總

知識(shí)點(diǎn)所用軟件：SasEG 

操作目的：對(duì)分類(lèi)變量進(jìn)行頻數(shù)統(tǒng)計(jì)。

知識(shí)點(diǎn)素材（包括數(shù)據(jù)）：member.sas7bdat

操作步驟:

? 啟動(dòng)sas eg

? ?新建項(xiàng)目邏輯庫(kù)。執(zhí)行“工具”—“分配項(xiàng)目邏輯庫(kù)”—輸入8個(gè)字符以?xún)?nèi)的英文名稱(chēng)（比如test），點(diǎn)擊“下一步”按鈕；

? 注意指定合適的文件夾路徑(和上面一節(jié)的文件路徑保持一致)作為邏輯庫(kù)放數(shù)據(jù)的地方。

? 把左側(cè)下方的邏輯庫(kù)test下面的member數(shù)據(jù)集拖入右側(cè)的大窗口中?？梢钥吹綌?shù)據(jù)集作為一個(gè)對(duì)象出現(xiàn)在右側(cè)窗口中。如果想查看這個(gè)數(shù)據(jù)集里面的內(nèi)容，雙擊過(guò)程流中member數(shù)據(jù)集的圖標(biāo) ，即可查看里面的數(shù)據(jù)。

? 執(zhí)行“描述”“單因子頻數(shù)”。在“數(shù)據(jù)”選項(xiàng)下，把“gender”拖入“分析變量”，在“統(tǒng)計(jì)量”選項(xiàng)下，缺失值的“顯示頻數(shù)”和“包含在計(jì)算中”前面打勾。點(diǎn)擊“運(yùn)行”按鈕，輸出結(jié)果見(jiàn)下圖。

 圖單因子頻數(shù)結(jié)果

    結(jié)果分析：可以看到絕大多數(shù)人并沒(méi)有對(duì)性別進(jìn)行填寫(xiě)，填寫(xiě)性別的人當(dāng)中男生占了大多數(shù)，大概是女生的3倍。由于沒(méi)有填寫(xiě)信息的人對(duì)分析沒(méi)有意義，故需要計(jì)算填寫(xiě)性別的人當(dāng)中男女的比例，然后繪制餅形圖。

? 回到member數(shù)據(jù)集窗口，執(zhí)行選擇“圖形”，“餅圖”，雙擊“簡(jiǎn)單餅圖”即可得到結(jié)果，點(diǎn)開(kāi)“數(shù)據(jù)”選項(xiàng)卡，將gender拉入右側(cè)要繪圖的列。然后點(diǎn)擊運(yùn)行。

圖性別分布餅圖

操作結(jié)果：

該知識(shí)點(diǎn)可以不用對(duì)數(shù)據(jù)集進(jìn)行保存。

知識(shí)點(diǎn)小結(jié)：

對(duì)于分類(lèi)變量，可以通過(guò)單因子頻數(shù)的方式對(duì)其進(jìn)行描述，也可以通過(guò)餅形圖對(duì)其進(jìn)行描述。

知識(shí)點(diǎn)6

知識(shí)點(diǎn)名稱(chēng)：帖子瀏覽數(shù)與年齡關(guān)系分析

知識(shí)點(diǎn)所屬工作角色：數(shù)據(jù)分析

知識(shí)點(diǎn)背景：對(duì)于可能存在關(guān)系的一些數(shù)值變量，通常需要查看其相關(guān)系數(shù)矩陣。

知識(shí)點(diǎn)描述：相關(guān)系數(shù)矩陣。

知識(shí)點(diǎn)關(guān)鍵詞：相關(guān)系數(shù) 

知識(shí)點(diǎn)所用軟件：SasEG

操作目的：對(duì)變量進(jìn)行相關(guān)系數(shù)分析。

 知識(shí)點(diǎn)素材（包括數(shù)據(jù)）：tiezi.sas7bdat member.sas7bdat

操作步驟:

啟動(dòng)SAS EG，在SAS EG中執(zhí)行“文件”，“新建項(xiàng)目”。 點(diǎn)擊“工具”，“分配項(xiàng)目邏輯庫(kù)”，可以新建一個(gè)邏輯庫(kù)，邏輯庫(kù)命名為test，注意指定合適的文件夾路徑(和上面一節(jié)的文件路徑保持一致)作為邏輯庫(kù)放數(shù)據(jù)的地方。

? 把左側(cè)下方的邏輯庫(kù)test下面的tiezi數(shù)據(jù)集拖入右側(cè)的大窗口中。即可看到帖子數(shù)據(jù)集作為一個(gè)對(duì)象出現(xiàn)在右側(cè)窗口中。打開(kāi)tiezi數(shù)據(jù)集，點(diǎn)擊“查詢(xún)生成器”。將“查詢(xún)名稱(chēng)”改為計(jì)算每個(gè)人的瀏覽帖子數(shù)，輸出名稱(chēng)為test.tiezishu。點(diǎn)擊“選項(xiàng)”，在彈出的窗口的“結(jié)果”中，將輸出數(shù)據(jù)集的標(biāo)簽改為tiezishu。然后點(diǎn)擊確定返回“選擇數(shù)據(jù)”選項(xiàng)卡頁(yè)面。將memberid字段選入“選擇數(shù)據(jù)”框里。設(shè)定之后見(jiàn)下圖。

圖查詢(xún)生成器窗口

? 點(diǎn)擊”添加新的計(jì)算列”，進(jìn)入“1/4選擇類(lèi)型”頁(yè)界面，勾選”匯總列”，點(diǎn)擊下一步進(jìn)入“2/4選擇列”頁(yè)面；在“2/4選擇列”頁(yè)面，選擇 “選擇數(shù)據(jù)列”下面的memberid變量。點(diǎn)擊下一步，進(jìn)入“3/4修改其他選項(xiàng)”頁(yè)面；在“3/4修改其他選項(xiàng)”頁(yè)面，將“標(biāo)識(shí)符”和“列名”均改為tiezishu，“匯總”項(xiàng)選擇count，其他項(xiàng)保持默認(rèn)。點(diǎn)擊下一步進(jìn)入“4/4屬性匯總”頁(yè)面；在“4/4屬性匯總”頁(yè)面點(diǎn)擊“完成”回到“選擇數(shù)據(jù)”選項(xiàng)卡頁(yè)面。

? 在“選擇數(shù)據(jù)”選項(xiàng)卡頁(yè)面。勾選“僅選擇非重復(fù)行”，匯總組選項(xiàng)下取消自動(dòng)選擇組的勾選，設(shè)定組為t1.memberid。見(jiàn)下圖。

 

圖查詢(xún)生成器窗口

? 點(diǎn)擊“對(duì)數(shù)據(jù)進(jìn)行排序”選項(xiàng)卡。把tiezishu拉入右側(cè)窗口，排序方向選擇降序。

圖 查詢(xún)生成器窗口

? 點(diǎn)擊運(yùn)行按鈕。輸出結(jié)果見(jiàn)下圖。

圖 查詢(xún)生成結(jié)果

? 把member數(shù)據(jù)集拉入右側(cè)的過(guò)程流里面。雙擊Member數(shù)據(jù)集將其打開(kāi)，點(diǎn)擊“查詢(xún)生成器“，點(diǎn)擊“添加表”，選擇tiezishu數(shù)據(jù)集，點(diǎn)擊“打開(kāi)”。

? 點(diǎn)擊“連接表”，可以看到兩個(gè)表有共同的Memberid可以連接起來(lái)，然后點(diǎn)擊“關(guān)閉”。將tiezishu數(shù)據(jù)集里面的memberid、tiezishu選入“選擇數(shù)據(jù)框”,把member數(shù)據(jù)集里面的birthyear數(shù)據(jù)選入“選擇數(shù)據(jù)框”。

? 將查詢(xún)名稱(chēng)改為“將年齡和帖子數(shù)放在一個(gè)表中”，輸出名稱(chēng)為test.q1。點(diǎn)擊選項(xiàng)，將輸出數(shù)據(jù)集的標(biāo)簽改為q1。

? 計(jì)算年齡：點(diǎn)擊”添加新的計(jì)算列”，進(jìn)入“1/4選擇類(lèi)型”頁(yè)界面，勾選”高級(jí)表達(dá)式”，點(diǎn)擊下一步進(jìn)入“2/4生成高級(jí)表達(dá)式”頁(yè)面；在“2/4生成高級(jí)表達(dá)式”頁(yè)面，在輸入表達(dá)式框中寫(xiě)入公式：2015-t1.birthyear，點(diǎn)擊下一步，進(jìn)入“3/4修改其他選項(xiàng)”頁(yè)面；在“3/4修改其他選項(xiàng)”頁(yè)面，將“標(biāo)識(shí)符”和“列名”均改為age，“匯總”項(xiàng)選擇None，其他項(xiàng)保持默認(rèn)。點(diǎn)擊下一步進(jìn)入“4/4屬性匯總”頁(yè)面；在“4/4屬性匯總”頁(yè)面點(diǎn)擊“完成”回到“選擇數(shù)據(jù)”選項(xiàng)卡頁(yè)面。見(jiàn)下圖。

圖 查詢(xún)生成器窗口

? 點(diǎn)擊“過(guò)濾數(shù)據(jù)”，進(jìn)入“過(guò)濾數(shù)據(jù)”選項(xiàng)卡頁(yè)面。由于birthyear變量大量缺失，以0表示的，因此在分析數(shù)據(jù)之前要對(duì)這部分?jǐn)?shù)據(jù)進(jìn)行過(guò)濾，將birthyear拉入過(guò)濾數(shù)據(jù)里面，單擊“過(guò)濾”，運(yùn)算符選擇不等于，值寫(xiě)0，點(diǎn)擊“確定”按鈕。見(jiàn)下圖。

圖 查詢(xún)生成器窗口

? 然后點(diǎn)擊“運(yùn)行”。查詢(xún)結(jié)果就出來(lái)了，我們?cè)谶@個(gè)查詢(xún)結(jié)果中可以進(jìn)行分析，來(lái)分析瀏覽帖子數(shù)和年齡的關(guān)系。查詢(xún)結(jié)果見(jiàn)下圖。

圖 查詢(xún)生成結(jié)果

? 在q1窗口中做散點(diǎn)圖：執(zhí)行“圖形”，“散點(diǎn)圖”，“二維散點(diǎn)圖”，橫軸為age，縱軸為tiezishu。結(jié)果見(jiàn)下圖。

圖 散點(diǎn)圖

結(jié)果分析：從散點(diǎn)圖中可以看到有很多異常值，縱軸上的異常值都是真實(shí)值，之所以異常，是因?yàn)楣芾韱T的帖子瀏覽量性對(duì)于普通會(huì)員來(lái)講非常多，因此分析的時(shí)候我們應(yīng)該去掉，我們定義大于6000的為管理員。年齡軸上的異常值主要是因?yàn)樽?cè)的時(shí)候是隨意填寫(xiě)導(dǎo)致的結(jié)果。分析時(shí)把年齡為16以下或者80以上的過(guò)濾掉。

? 我們回到過(guò)程流頁(yè)面，雙擊打開(kāi)數(shù)據(jù)q1對(duì)象，點(diǎn)擊“查詢(xún)生成器”。將查詢(xún)名稱(chēng)改為對(duì)年齡和帖子數(shù)進(jìn)行再過(guò)濾，輸出名稱(chēng)改為test.q2。點(diǎn)擊選項(xiàng)，將輸出數(shù)據(jù)集的標(biāo)簽改為q2。在選擇數(shù)據(jù)選項(xiàng)卡下面，將tiezishu和age拉入數(shù)據(jù)框。見(jiàn)下圖。

圖 查詢(xún)生成器窗口

? 點(diǎn)擊過(guò)濾數(shù)據(jù)選項(xiàng)卡。點(diǎn)擊“新建過(guò)濾器”，選擇基本過(guò)濾器，點(diǎn)擊“下一步”按鈕，選擇tiezishu,點(diǎn)擊“下一步”，運(yùn)算符選擇介于，起始值寫(xiě) 200，結(jié)束值寫(xiě) 6000，點(diǎn)擊“下一步”，點(diǎn)擊“完成”。點(diǎn)擊“新建過(guò)濾器”，選擇“基本過(guò)濾器”，點(diǎn)擊“下一步”，選擇age,點(diǎn)擊“下一步”按鈕，運(yùn)算符選擇“介于”，不要誤選為在范圍內(nèi)，起始值寫(xiě) 16，結(jié)束值寫(xiě) 80，點(diǎn)擊“下一步”。點(diǎn)擊完成。見(jiàn)下圖。

圖 查詢(xún)生成器窗口

? 點(diǎn)擊“運(yùn)行”按鈕。輸出結(jié)果見(jiàn)下圖。

圖 查詢(xún)生成結(jié)果

? 在q2的窗口中中畫(huà)age和tiezishu的散點(diǎn)圖，操作不再贅述。散點(diǎn)圖結(jié)果見(jiàn)下圖。

 

圖 散點(diǎn)圖

結(jié)果分析：從散點(diǎn)圖中可以看到兩者沒(méi)有明顯的正線性相關(guān)或者負(fù)線性相關(guān)的關(guān)系，但是仍然可以看到一些結(jié)論，瀏覽帖子比較多的人的年齡主要是20-40之間。40以上瀏覽帖子的數(shù)目基本在1500以?xún)?nèi)。

? 在q2數(shù)據(jù)窗口中，點(diǎn)擊“分析”，“多元”“相關(guān)分析”，把tiezishu和age拉入“分析變量”，然后點(diǎn)擊“運(yùn)行”按鈕。結(jié)果見(jiàn)下圖。

圖 相關(guān)分析結(jié)果

結(jié)果分析：從散點(diǎn)圖上雖然看不出什么，相關(guān)系數(shù)矩陣中兩者的相關(guān)系數(shù)也比較小，但是在10%顯著性水平下是顯著正相關(guān)的。

? 為了避免每次重新打開(kāi)sasEG后，都要把建立邏輯庫(kù)，打開(kāi)數(shù)據(jù)等操作重新做一遍，我們可以把關(guān)電腦前在sas EG中進(jìn)行的操作保存，保存為一個(gè)項(xiàng)目：點(diǎn)擊“文件”—“保存項(xiàng)目”，為帖子瀏覽數(shù)與年齡關(guān)系分析命名，比如項(xiàng)目12.4，點(diǎn)擊“保存”即可。這樣在你的電腦上就會(huì)生成一個(gè)文件項(xiàng)目帖子瀏覽數(shù)與年齡關(guān)系分析.egp。為了避免死機(jī)，最好經(jīng)常執(zhí)行一些保存操作，“文件”—“保存項(xiàng)目帖子瀏覽數(shù)與年齡關(guān)系分析”。下次用到該項(xiàng)目時(shí)重新打開(kāi)即可。

? 該項(xiàng)目的整體過(guò)程流圖見(jiàn)下圖。

圖  EG項(xiàng)目流程圖

操作結(jié)果：

把該知識(shí)點(diǎn)的操作產(chǎn)生新的數(shù)據(jù)集q1.sas7dbat,q2.sas7bdat,tiezishu.sas7bdat保存到路徑下，以備后續(xù)使用。

知識(shí)點(diǎn)小結(jié)：

相關(guān)系數(shù)大小的判別標(biāo)準(zhǔn)在不同行業(yè)中是不同的，這里計(jì)算的相關(guān)系數(shù)僅僅是兩兩相關(guān)系數(shù)，不考慮其他變量。

知識(shí)點(diǎn)7

知識(shí)點(diǎn)名稱(chēng)：用RFM模型進(jìn)行客戶(hù)畫(huà)像

知識(shí)點(diǎn)所屬工作角色：數(shù)據(jù)分析

知識(shí)點(diǎn)背景：客戶(hù)畫(huà)像(UserProfile)即給用戶(hù)打上標(biāo)簽，用一種樸素、簡(jiǎn)潔的方法來(lái)描述用戶(hù)信息。客戶(hù)畫(huà)像可以完美地抽象出一個(gè)用戶(hù)的信息全貌，為進(jìn)一步精準(zhǔn)、快速地分析用戶(hù)行為習(xí)慣、消費(fèi)習(xí)慣等重要商業(yè)信息，提供了足夠的數(shù)據(jù)基礎(chǔ)。

RFM模型是Bult and Wansbeek于1995年提出來(lái)的，認(rèn)為客戶(hù)行為三要素 Recency (R)、Frequency (F) 與 Monetary (M)構(gòu)成了客戶(hù)購(gòu)買(mǎi)潛力價(jià)值的核心組成部分。該模型經(jīng)常應(yīng)用于 CRM 框架下的客戶(hù)行為分析。

知識(shí)點(diǎn)描述：用聚類(lèi)分析對(duì)客戶(hù)進(jìn)行畫(huà)像。

知識(shí)點(diǎn)關(guān)鍵詞：聚類(lèi)分析 FRM

知識(shí)點(diǎn)所用軟件：SasEG

操作目的：對(duì)個(gè)案進(jìn)行聚類(lèi)分析。

知識(shí)點(diǎn)素材（包括數(shù)據(jù)）：tiezi.sas7bdat

操作步驟:

? 啟動(dòng)sas eg

? ?新建項(xiàng)目邏輯庫(kù)。執(zhí)行“工具”—“分配項(xiàng)目邏輯庫(kù)”—輸入8個(gè)字符以?xún)?nèi)的英文名稱(chēng)（比如test），點(diǎn)擊“下一步”按鈕；

? 在電腦中選擇一個(gè)文件夾，將其路徑作為邏輯庫(kù)的路徑（保證該路徑下面有tiezi.sas7bdat這個(gè)文件），單擊“下一步”按鈕；

? 把左側(cè)下方的邏輯庫(kù)test下面的tiezi數(shù)據(jù)集拖入右側(cè)的大窗口中。即可看到帖子數(shù)據(jù)集作為一個(gè)對(duì)象出現(xiàn)在右側(cè)窗口中。打開(kāi)tiezi數(shù)據(jù)集，點(diǎn)擊“查詢(xún)生成器”。

? 在tiezi中計(jì)算一列日期變量date,該變量是從time變量里面提取，格式為年月日。打開(kāi)tiezi數(shù)據(jù)集，生成查詢(xún)器aa1,生成變量date,這個(gè)變量等于datepart(time)。計(jì)算每個(gè)人登陸論壇當(dāng)天瀏覽的帖子量生成size變量。具體步驟如下：將查詢(xún)名稱(chēng)改為aa1，將輸出名稱(chēng)改為“test.aa1 ”（即將輸出的數(shù)據(jù)保存在邏輯庫(kù)test中），把左邊的t1表里面的memberid變量拉入右邊。如下圖所示。

圖  查詢(xún)生成器窗口

? 點(diǎn)擊“添加新的計(jì)算列”，“高級(jí)表達(dá)式”,點(diǎn)擊“下一步”。在“輸入表達(dá)式框”中輸入表達(dá)式datepart(t1.time)。點(diǎn)擊下一步。設(shè)定列名和標(biāo)識(shí)符均為date，更改變量格式為DATE7.。點(diǎn)擊下一步。點(diǎn)擊完成回到選擇數(shù)據(jù)選項(xiàng)卡頁(yè)面。見(jiàn)下圖。

圖   查詢(xún)生成器窗口

? 點(diǎn)擊“計(jì)算列”，“新建”，“匯總列”,點(diǎn)擊“下一步”，隨意選擇一個(gè)變量，比如time，然后點(diǎn)擊“下一步”，變量名為size,匯總部分選擇“count”，點(diǎn)擊“下一步”，點(diǎn)擊“完成”。點(diǎn)擊完成回到選擇數(shù)據(jù)選項(xiàng)卡頁(yè)面。勾選“僅選擇非重復(fù)行”，匯總組選項(xiàng)下取消自動(dòng)選擇組的勾選，設(shè)定組為memberid date。見(jiàn)下圖。

圖  查詢(xún)生成器窗口

? 生成一個(gè)過(guò)濾器，將date等于3653的行去掉，因?yàn)榇擞^測(cè)值屬于異常值。見(jiàn)下圖。

圖   查詢(xún)生成器窗口

? 打開(kāi)“對(duì)數(shù)據(jù)排序”選項(xiàng)卡，把memberid和date選入，兩個(gè)均為升序。見(jiàn)下圖。

 

圖  查詢(xún)生成器窗口

? 然后點(diǎn)擊“運(yùn)行”按鈕。 輸出結(jié)果見(jiàn)下圖。

圖  查詢(xún)生成結(jié)果

這樣數(shù)據(jù)集aa1中每個(gè)人每天就只有一條記錄了。

u 計(jì)算y1

新建一個(gè)程序文件，程序文件的名字定為“生成y1”。內(nèi)容如下：

? 生成新變量。根據(jù)第一個(gè)關(guān)鍵詞分組，生成變量x1,組內(nèi)取值為1,2,3….。需要建立一個(gè)程序運(yùn)行下面的語(yǔ)句。輸出數(shù)據(jù)集aa2到邏輯庫(kù)test里面。

圖 程序

程序中by的意思是對(duì)數(shù)據(jù)根據(jù)memberiid和date兩個(gè)變量進(jìn)行升序排序。

輸出結(jié)果如下圖所示

 

圖  數(shù)據(jù)集aa2輸出結(jié)果1

定義數(shù)據(jù)為面板數(shù)據(jù)，橫截面為memberid,時(shí)間為lag_date?？蛻?hù)瀏覽帖子時(shí)距離上一次瀏覽帖子的間隔天數(shù)y1，即date的一階差分。

圖   程序

輸出結(jié)果如下圖所示：

圖    數(shù)據(jù)集aa2輸出結(jié)果2

 

u 計(jì)算y2

新建一個(gè)程序文件，程序文件的名字定為“生成y2”。內(nèi)容如下：

計(jì)算會(huì)員瀏覽帖子時(shí)論壇的累積登陸天數(shù)y2，先生成一個(gè)變量，為count，取值為1。然后求這個(gè)變量的時(shí)間累計(jì)值就是y2。然后把數(shù)據(jù)集保存為aa3放在邏輯庫(kù)test下面。

圖 程序

 

圖  數(shù)據(jù)集aa3窗口

u 計(jì)算y3

新建一個(gè)程序文件，程序文件的名字定為“生成y3”。內(nèi)容如下：計(jì)算會(huì)員瀏覽帖子時(shí)論壇的累積瀏覽帖子數(shù)y3,就是變量size的累計(jì)值。

圖   程序

圖  數(shù)據(jù)集aa4窗口

u 數(shù)據(jù)進(jìn)一步過(guò)濾

? 點(diǎn)開(kāi)數(shù)據(jù)集aa4,點(diǎn)擊“查詢(xún)生成器”，查詢(xún)生成器名字為aa5,輸出的數(shù)據(jù)集名字為aa5。將數(shù)據(jù)集aa4里面的變量全部拉入數(shù)據(jù)框。

? 點(diǎn)擊“生成新列”maxdate，選擇“匯總列”，選擇“最大值”，點(diǎn)擊“完成”，回到主界面設(shè)定分組變量為Memberid。見(jiàn)下圖。

圖  查詢(xún)生成器窗口

? 建立過(guò)濾器，設(shè)定過(guò)濾器為maxdate=date。這個(gè)目的是每個(gè)用戶(hù)僅留最新的瀏覽日期，這樣做是為了利于提升聚類(lèi)的效果。不適合將一個(gè)人的多天瀏覽放在一起聚