用R語(yǔ)言分析報(bào)表訪問(wèn)的相關(guān)性

用R語(yǔ)言分析報(bào)表訪問(wèn)的相關(guān)性

1.起因 

公司有幾個(gè)提供數(shù)據(jù)系統(tǒng)，我負(fù)責(zé)其中一些系統(tǒng)的日常運(yùn)維。其中最大的一個(gè)系統(tǒng)（有上千張的報(bào)表、清單）偶爾會(huì)有一些狀況出現(xiàn)。而如果早上有問(wèn)題，客服中心（呼叫中心）立即會(huì)對(duì)此進(jìn)行嚴(yán)重投訴，并強(qiáng)調(diào)所有坐席都受到影響。印象中此類(lèi)投訴一般出現(xiàn)在上午9點(diǎn)，而到了其他時(shí)間段，就算系統(tǒng)出現(xiàn)狀況，他們也不會(huì)有投訴了。所以一直想分析一下客服中心的訪問(wèn)模式、訪問(wèn)重點(diǎn)是什么。另外，對(duì)于報(bào)表的總體訪問(wèn)情況也一直很有興趣看一看。

這個(gè)工作一直沒(méi)有去做。原因多種多樣。最近有點(diǎn)時(shí)間，就打算用R來(lái)分析一下看看會(huì)有什么結(jié)果。

2.實(shí)戰(zhàn)

a.數(shù)據(jù)整理。

進(jìn)行數(shù)據(jù)分析，不能避免的第一步就是數(shù)據(jù)提取和整理。報(bào)表的每次點(diǎn)擊都會(huì)有日志存放在數(shù)據(jù)庫(kù)中，從最近一次系統(tǒng)升級(jí)到現(xiàn)在經(jīng)過(guò)了19個(gè)月，一共有38萬(wàn)次點(diǎn)擊，點(diǎn)擊記錄、點(diǎn)擊用戶、用戶所屬單位等信息分別存放在不同的表中。初始的關(guān)聯(lián)工作我就利用數(shù)據(jù)庫(kù)來(lái)完成了。也嘗試過(guò)倒出來(lái)用R的merge函數(shù)，但是發(fā)現(xiàn)運(yùn)行后R崩潰了。感覺(jué)是幾十萬(wàn)的數(shù)據(jù)進(jìn)行merge對(duì)我的機(jī)器來(lái)說(shuō)可能太大了一些。既然手邊有數(shù)據(jù)庫(kù)，那很多初期工作就可以交給sql了，然后再利用R對(duì)初步整理好的數(shù)據(jù)框進(jìn)行后續(xù)的各種處理。

最后生成的數(shù)據(jù)文件是如下格式的（csv文件）（部分字段進(jìn)行了處理，以下是的簡(jiǎn)化版，呃.....實(shí)際折騰數(shù)據(jù)的過(guò)程總是有點(diǎn)復(fù)雜的）：

"date","yyyymm","yyyy","mm","dd","day","hour","rpt_name","tag","dept"

"20120627","201206","2012","06","27","4","10","EVT_電話記錄","事務(wù)報(bào)表","客戶服務(wù)中心"
"20120627","201206","2012","06","27","4","10","SSR_投訴清單","投訴報(bào)表","東區(qū)"

....

字段的含義很明確，依次是：日期、年月、年、月、日、星期（1代表周日，2代表周一，etc）、小時(shí)、報(bào)表名、二級(jí)單位。

將數(shù)據(jù)讀入。由于每個(gè)字段都有分析價(jià)值，所以每個(gè)字段都設(shè)為因子，并按照字符方式讀入：

rptd <-  read.csv("vis130730.csv",head=TRUE,stringsAsFactors=TRUE,sep=",",na.strings=" ",colClasses=c("character"))

讀入數(shù)據(jù)后，用str(rptd)檢查數(shù)據(jù)框結(jié)構(gòu)時(shí)，發(fā)現(xiàn)所有的字段都不是因子。這是為什么？我不是已經(jīng)設(shè)定stringsAsFactors=TRUE了么？看了一下手冊(cè)，原來(lái)對(duì)于指定了字段類(lèi)型的字段都將作為非因子讀入，該選項(xiàng)無(wú)效。那就先這樣吧，等需要的時(shí)候再進(jìn)行因子化。

好了，數(shù)據(jù)初步整理完畢，接下來(lái)就要借助可視化分析了。這應(yīng)該是R的強(qiáng)項(xiàng)之一了。

加載所需的加裝包：

library(plyr)

library(reshape)

library(ggplot2)

b.客服中心在一天之中的報(bào)表訪問(wèn)情況是什么樣的呢？

篩選出客服中心的數(shù)據(jù)（約有接近8萬(wàn)條，是總訪問(wèn)量的20%）：

rptdkf <- rptd[rptd$dept=="客戶服務(wù)中心",]

然后按照小時(shí)來(lái)繪圖：

qplot(hour,data=rptdkf,xlab="小時(shí)",ylab="訪問(wèn)次數(shù)")

我們看到這樣的結(jié)果：

 

有點(diǎn)令人失望。雖然大量訪問(wèn)集中在上午，但是并沒(méi)有出現(xiàn)我預(yù)想中的“訪問(wèn)非常集中在8-9點(diǎn)”這樣的情況，而是符合一般上午時(shí)點(diǎn)訪問(wèn)最多（8-11點(diǎn)，8點(diǎn)段訪問(wèn)少于9點(diǎn)段，應(yīng)該是因?yàn)?:30才上班），中午休息，然后下午有一定訪問(wèn)量這種模式。

那么，在8-10點(diǎn)之間訪問(wèn)最多的報(bào)表是哪些呢？這些報(bào)表應(yīng)該是維護(hù)的重中之重吧。我們?cè)俅芜M(jìn)行篩選，并統(tǒng)計(jì)所有報(bào)表在這段時(shí)間的訪問(wèn)次數(shù)，按照訪問(wèn)次數(shù)的高低進(jìn)行排序，可以看到有幾張報(bào)表的訪問(wèn)頻次遠(yuǎn)遠(yuǎn)超過(guò)其他報(bào)表：

rptdkf1 <- rptd[(rptdkf$hour=="08" | rptdkf$hour=="09" ),]

cnt <- ddply(rptdkf,.(rpt_name),nrow)

cnt <- cnt[order(cnt$V1,decreasing=TRUE),]

cnt

（結(jié)果略，可以發(fā)現(xiàn)有5張報(bào)表的訪問(wèn)量是其他報(bào)表的幾倍、十幾倍）

可以預(yù)計(jì)這些數(shù)據(jù)對(duì)于客服中心的人員是最重要，這些可以作為大家運(yùn)行保障的重點(diǎn)（嗯，這話很像領(lǐng)導(dǎo)的口氣）。這個(gè)信息當(dāng)然也可以通過(guò)用戶訪談得到，但是用戶可能出于各種原因夸大重點(diǎn)報(bào)表的范圍，對(duì)運(yùn)維形成誤導(dǎo)。而通過(guò)訪問(wèn)數(shù)據(jù)來(lái)分析就可能更準(zhǔn)確地反映問(wèn)題了。這并不是說(shuō)訪談不重要，可能確實(shí)有些報(bào)表是少量管理人員每天上班要重點(diǎn)關(guān)注的，這需要通過(guò)訪談來(lái)甄別發(fā)現(xiàn)。這個(gè)工作就暫略了。

c.總體訪問(wèn)情況：

按照月份繪制了報(bào)表總體曲線，如下：

qplot(yyyymm, data=rptd,xlab="月份",ylab="訪問(wèn)次數(shù)")

 

可以看到訪問(wèn)量今年有所減少。13年的每個(gè)月對(duì)應(yīng)12年的相應(yīng)月份看也是在減少。這個(gè)可能是其他新的報(bào)表系統(tǒng)的替代作用。所以如果結(jié)合對(duì)其他報(bào)表系統(tǒng)訪問(wèn)情況的分析能看出一些其他的信息來(lái)。

分公司對(duì)報(bào)表的訪問(wèn)量占到了總訪問(wèn)量的60%，我們來(lái)看看他們的訪問(wèn)模式是什么樣的。由于市場(chǎng)部等管理部門(mén)對(duì)各個(gè)分公司的工作有管理、指導(dǎo)的職責(zé)，所以我們將他們（他們占總訪問(wèn)量占10%）也納入分析，我們用%in%篩選出這些單位，并按照個(gè)單位作圖。

我們按照按照各個(gè)分公司繪制了按月的訪問(wèn)曲線：

rptdsub <- rptd[rptd$dept %in% c("寶山","北區(qū)","崇明","東區(qū)","奉賢","嘉定","金山","南區(qū)","浦東","青浦","莘閔","松江","西區(qū)","中區(qū)","市場(chǎng)部","政企客戶部","公眾客戶部"),]

qplot(yyyymm, data = rptdsub,xlab="小時(shí)",ylab="訪問(wèn)次數(shù)") + facet_wrap(~ dept)

 

可以看到各個(gè)單位的訪問(wèn)量是有很大差異，雖然總體的訪問(wèn)次數(shù)是略有下降的，但是對(duì)應(yīng)到不同的單位，可以看到有的在增加?；蛟S這些訪問(wèn)在增加的單位加大了數(shù)據(jù)分析的力度，也可能是他們有分析的需求，但是對(duì)其他新的數(shù)據(jù)系統(tǒng)不夠了解，所以沒(méi)有好好利用新系統(tǒng)，而只能重點(diǎn)使用該系統(tǒng)。我們還可以看到浦東分公司的訪問(wèn)量最大（實(shí)際上超過(guò)了管理部門(mén)之和），中區(qū)分公司的訪問(wèn)量下降最明顯。另外市區(qū)公司的訪問(wèn)量普遍高于郊區(qū)公司。這個(gè)可能和郊區(qū)競(jìng)爭(zhēng)不激烈、人員配備較少有關(guān)。

再按照訪問(wèn)的鐘點(diǎn)作圖：

qplot(hour, data = rptdsub,xlab="小時(shí)",ylab="訪問(wèn)次數(shù)") + facet_wrap(~ dept)

我們還可以看到有些單位（金山、寶山）上班可能比標(biāo)準(zhǔn)時(shí)間早半個(gè)小時(shí)，因?yàn)樗麄冊(cè)?點(diǎn)檔的訪問(wèn)量超過(guò)9點(diǎn)檔，與其他單位明顯不同。有些單位下了班后就沒(méi)有點(diǎn)擊量了，有些單位明顯勤快很多。另外，我們還可以注意到有些單位8點(diǎn)檔幾乎沒(méi)有訪問(wèn)量，而到了9點(diǎn)的訪問(wèn)量也不是很多（呃，就不點(diǎn)名了，可能是他們的工作重點(diǎn)有所不同吧.....）

d.訪問(wèn)相關(guān)性。

最后，我們來(lái)看看分公司和市場(chǎng)等管理部門(mén)之間的訪問(wèn)相關(guān)性。我們采用多維定標(biāo)（MDS）算法（參考《機(jī)器學(xué)習(xí)：實(shí)用案例解析》）。

首先我們需要建立一個(gè)訪問(wèn)矩陣，每行是各個(gè)單位，每列是各張報(bào)表。如果某個(gè)單位訪問(wèn)了某張報(bào)表，則對(duì)應(yīng)的單元格填1，如果沒(méi)有就填0。這個(gè)操作在數(shù)據(jù)庫(kù)上好像很不好辦（我不知道簡(jiǎn)單的實(shí)現(xiàn)辦法，如果有人知道，煩請(qǐng)賜教）。原來(lái)想用循環(huán)的方式來(lái)做，忽然想到了reshape包的cast命令應(yīng)該能完成這樣的工作：

mds1 <- cast(mdsd, abbr~rpt_name)

第一列是單位的名稱，我們需要將其剔除，剩余部分轉(zhuǎn)化為一個(gè)矩陣。第一列轉(zhuǎn)化為行名，原來(lái)的字段名（剔除第一個(gè)的dept）作為列名：

mds.m <- as.matrix(mds[,2:ncol(mds)])

row.names(mds.m) <- t(as.matrix(mds[,1]))[1,]

colnames(mds.m) <- colnames(mds)[2:ncol(mds)]

矩陣做好了，代碼非常簡(jiǎn)潔，我相信，光憑reshape包，R就物超所值了?？戳艘幌拢l(fā)現(xiàn)交叉點(diǎn)上的值不是0和1，而是訪問(wèn)次數(shù)。我們?cè)賹⑺蟹?的值都賦為1：

mds.m[mds.m>0] <- 1

好了，我們得到我們要的矩陣了，以下就是按部就班的操作：計(jì)算距離并作圖：

mds.mute <- mds.m %*% t(mds.m)

mds.dist <-dist(mds.mute)

mds.g <- cmdscale(mds.dist)

plot(mds.g, type='n')

text(mds.g, row.names(mds.g))

最終看到的圖如下：

真是令人意外：各個(gè)分公司與管理部門(mén)之間所看的報(bào)表情況竟然如此旗幟鮮明地分成兩個(gè)聚類(lèi)。這說(shuō)明什么呢？二級(jí)公司與管理部門(mén)之間的分析思路和重點(diǎn)不同？管理部門(mén)沒(méi)有將管理思路貫徹到各個(gè)分公司？還是說(shuō)管理部門(mén)有秘而不宣的武器呢？

另外，分公司之間也有比較明顯的區(qū)分：市區(qū)公司和郊區(qū)公司的關(guān)注重點(diǎn)明顯有一定的差異。這個(gè)在IT部門(mén)以后開(kāi)發(fā)支持分公司經(jīng)營(yíng)的數(shù)據(jù)應(yīng)用時(shí)，也可以作為調(diào)研訪談的參考吧。

對(duì)于報(bào)表點(diǎn)擊情況的簡(jiǎn)要分析就到此為止了。我到達(dá)了分析的目標(biāo)，也順便演練了數(shù)據(jù)篩選、作圖、相關(guān)性分析等工作。除掉數(shù)據(jù)整理的工作，核心代碼也就不到二十句，就做出了有點(diǎn)意思的功能了。