用戶行為分析研究之?dāng)?shù)據(jù)采集

1.1用戶行為分析的重要性
　　用戶行為分析的重要性，我想做個網(wǎng)站的人都會用很清晰的認識，本來我想談?wù)勛约合敕?，但感覺自己畢竟還是做技術(shù)的，很難清晰的從商業(yè)價值的角度來分析它的重要性，因此放棄了想闡述自己意見的想法。當(dāng)我第一次見到百度統(tǒng)計，和谷歌分析網(wǎng)站，就有那種驚鴻一瞥的激動，很想自己也能寫出一套這樣的網(wǎng)站，這也是我持續(xù)研究用戶行為分析的初衷。
　　對于大型網(wǎng)站而言，網(wǎng)站響應(yīng)速度是網(wǎng)站是否優(yōu)秀一個重要衡量標準，下面我引用一些權(quán)威機構(gòu)的統(tǒng)計數(shù)據(jù)來說明網(wǎng)站響應(yīng)速度的重要性：
　　用戶行為分析的前提就是能準確的采集到用戶的相關(guān)數(shù)據(jù)，這就需要我們在網(wǎng)站頁面里添加采集數(shù)據(jù)的代碼，如果我們的采集代碼寫的不好，一定會對網(wǎng)站的性能產(chǎn)生一定的影響，更有甚者還會影響到網(wǎng)站的穩(wěn)定性。因此設(shè)計一套性能卓越，安全性好，耦合度很低的日志采集程序是非常重要的。
　　這里我提供一套采集數(shù)據(jù)方案，方案詳情如下：
　　我是做java的程序員，經(jīng)常使用到的web應(yīng)用服務(wù)器是tomact，jboss，weblogic等等，我這里為什么不使用這些我非常熟悉的web應(yīng)用服務(wù)器，而去選擇功能相對單一的apache或者是nginx呢？理由非常簡單，因為apache和nginx速度更快，更加輕量級，這個經(jīng)驗來源于我做網(wǎng)站的經(jīng)驗，大型網(wǎng)站的服務(wù)端設(shè)計是很復(fù)雜的，但基本都有一個共同的原則：當(dāng)用戶一個請求提交到了服務(wù)端，服務(wù)端會先判斷這個請求，如果請求的是一些對靜態(tài)資源的訪問（比如圖片，不會變化的文字等），請求會直接提交到響應(yīng)的靜態(tài)資源服務(wù)器集群，這樣速度會更快，而這些靜態(tài)資源服務(wù)器基本都是apache或者是像nginx這樣的輕量級web服務(wù)器集群。
1.3    采集系統(tǒng)之服務(wù)端
　　本地開發(fā)，我就不去搭建集群了，有興趣的童鞋可以在網(wǎng)上查查相關(guān)的資料。本地開發(fā)我就搭建一個apache服務(wù)器。
　　服務(wù)器的開發(fā)非常簡單，只要修改下apache下的conf文件（注意：我的開發(fā)平臺是window7），代碼如下：
<IfModule log_config_module>
    LogFormat "%h %l %u %t [%{%Y-%m-%d %T}t] \"%r\" [%q] [%U] %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
    LogFormat "%h %l %u %t [%{%Y-%m-%d %T}t] \"%r\" [%q] [%U] %>s %b" common

    <IfModule logio_module>
      # You need to enable mod_logio.c to use %I and %O
      LogFormat "%h %l %u %t [%{%Y-%m-%d %T}t] \"%r\" [%q] [%U] %>s %b \"%{Referer}i\" \"%{User-Agent}i\" %I %O" combinedio
    </IfModule>   

在htdocs文件夾里添加如下文件：

1)         a.gif。（1*1像素的透明文件）

2)         click.html。（用于記錄點擊日志）

3)         error.html。（記錄錯誤信息日志）

啟動apache服務(wù)器，我們在瀏覽器錄入如下地址：

http://127.0.0.1/a.gif?name=sharpxiajun&msg=test

在logs文件夾里找到2012_06_26.access.log文件，打開文件，我們會看到如下日志：

127.0.0.1 - - [26/Jun/2012:11:37:07 +0800] [2012-06-26 11:37:07] "GET /a.gif?name=sharpxiajun&msg=test HTTP/1.1" [?name=sharpxiajun&msg=test] [/a.gif] 200 43

訪問請求被完整的記錄下來了。
1.4     采集系統(tǒng)之客戶端

　　采集系統(tǒng)的核心還是客戶端的采集腳本，這里我會貼出完整的采集腳本以及測試頁面，代碼的詳細解析我會在以后的博客里進行闡述。

　　我的采集腳本可以記錄用戶訪問的日志，還能記錄用戶的點擊日志，不過點擊日志一般包含業(yè)務(wù)含義需要用戶根據(jù)自己的需求去定義。代碼如下：

up_beacon.js:
View Code
install_up_beacon.js文件，這個文件對外提供：
(function(window,document,undefined){
    /*安裝采集腳本的js程序*/
    // upLogger對象是采集腳本對外提供的操作對象
    if (window.upLogger){//如果不為空，直接返回，避免重復(fù)安裝
        return;
    }
    var cookieUtil = {//cookie操作工具類
        setCookie:function(sName,sValue,oExpires,sPath,sDomain,bSecure){
            var currDate = new Date(),
                sExpires = typeof oExpires == 'undefined'?'':';expires=' + new Date(currDate.getTime() + (oExpires * 24 * 60 * 60* 1000)).toUTCString();
            document.cookie = sName + '=' + sValue + sExpires + ((sPath == null)?'':(' ;path=' + sPath)) + ((sDomain == null)?'':(' ;domain=' + sDomain)) + ((bSecure == true)?' ; secure':'');
        },
        getCookie:function(sName){
            var regRes = document.cookie.match(new RegExp("(^| )" + sName + "=([^;]*)(;|$)"));
            return (regRes != null)?unescape(regRes[2]):'-';
        }        
    };
    var btsVal = cookieUtil.getCookie('b_t_s'),//b_t_s的cookie作用1.標識該頁面是否已經(jīng)安裝了采集腳本；2.記錄采集腳本的有效期
        startTime = 0,
        intervalTime = 3 * 24 * 60 * 60 * 1000,
        currIntervalTime = new Date().getTime() - 1200000000000,
        domainHead = (document.URL.substring(0,document.URL.indexOf('://'))) + '://';
    if (btsVal != '-' && btsVal.indexOf('t') != -1){
        var getBtsTime = btsVal.substring(btsVal.indexOf('t') + 1,btsVal.indexOf('x'));
            getCurrInterVal = currIntervalTime - getBtsTime;
        if (getCurrInterVal > intervalTime){
            startTime = currIntervalTime;
            cookieUtil.setCookie('b_t_s',btsVal.replace('t' + getBtsTime + 'x', 't' + currIntervalTime + 'x'), 10000, '/');
        }else{
            startTime = getBtsTime;
        }
    }else{
        if (btsVal == '-'){
            cookieUtil.setCookie('b_t_s','t' + currIntervalTime + 'x', 10000, '/');    
        }else{
            cookieUtil.setCookie('b_t_s',btsVal + 't' + currIntervalTime + 'x', 10000, '/');        
        }
        startTime = currIntervalTime;
    }
    document.write('<script src="' + domainHead + '127.0.0.1/up_beacon.js?' + startTime + '"><\/script>');//安裝采集腳本
})(window,document);
下面是測試頁面;

第一個測試頁面：testbeacon.html，代碼如下：
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<title>beacon test page</title>
</head>
<script type="text/javascript" src="install_up_beacon.js"></script>
<body>
<h1>日志測試</h1>
<input type="button" value="Click Button" id="clickBtn" name="clickBtn" onclick="clickLog('testClickBtn','MyTest')"/>
</body>
</html>
<script type="text/javascript">
// 用戶行為統(tǒng)計代碼
function recordStaticLogerr(authId,type,msg){
    if (window.upLogger){
        upLogger.authId = authId;
        upLogger.clickLog('type=' + type + '&clickTarget=' + msg);    
    }
}

// 記錄click日志的方法
function clickLog(clog_msg,clog_type){
    var clog_authId    = 'sharpxiajun';
    recordStaticLogerr(clog_authId,clog_type,clog_msg);    
}
</script>

第二個測試頁面：parent.html，代碼如下：
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<title>parent html</title>
</head>

<body>
<a href="testbeacon.html" target="_self">child.html</a>
</body>
</html>

1.5     測試結(jié)果

測試地址：

http://localhost/testbeacon.html

http://localhost/parent.html

我們查看cookies信息，如下圖：

日志信息如下：
127.0.0.1 - - [26/Jun/2012:10:01:52 +0800] [2012-06-26 10:01:52] "GET /parent.html HTTP/1.1" [] [/parent.html] 304 -
127.0.0.1 - - [26/Jun/2012:10:01:54 +0800] [2012-06-26 10:01:54] "GET /testbeacon.html HTTP/1.1" [] [/testbeacon.html] 304 -
127.0.0.1 - - [26/Jun/2012:10:01:54 +0800] [2012-06-26 10:01:54] "GET /install_up_beacon.js HTTP/1.1" [] [/install_up_beacon.js] 304 -
127.0.0.1 - - [26/Jun/2012:10:01:54 +0800] [2012-06-26 10:01:54] "GET /up_beacon.js?140675524644 HTTP/1.1" [?140675524644] [/up_beacon.js] 304 -
127.0.0.1 - - [26/Jun/2012:10:01:54 +0800] [2012-06-26 10:01:54] "GET /a.gif?logUrl={/localhost/testbeacon.html}&logHisRefer={http://localhost/parent.html}&logParams={subIsNew=0}&logQuery={pageId=1340676114790-42900296489937289847295051780050&title=beacon%20test%20page&charset=UTF-8&sr=1280*1024}&ver=140675524644&time=1340676114791 HTTP/1.1" [?logUrl={/localhost/testbeacon.html}&logHisRefer={http://localhost/parent.html}&logParams={subIsNew=0}&logQuery={pageId=1340676114790-42900296489937289847295051780050&title=beacon%20test%20page&charset=UTF-8&sr=1280*1024}&ver=140675524644&time=1340676114791] [/a.gif] 200 43
127.0.0.1 - - [26/Jun/2012:10:02:01 +0800] [2012-06-26 10:02:01] "GET /click.html?type=MyTest&clickTarget=testClickBtn&pageId=1340676114790-42900296489937289847295051780050&authId=sharpxiajun&ver=140675524644&time=1340676121252 HTTP/1.1" [?type=MyTest&clickTarget=testClickBtn&pageId=1340676114790-42900296489937289847295051780050&authId=sharpxiajun&ver=140675524644&time=1340676121252] [/click.html] 200 310
大家看到了吧，請求都被記錄下來，下面我們只要好好分析這些日志文件的信息就行了。