基于WEB的數(shù)據(jù)挖掘綜述

我們現(xiàn)在已經(jīng)生活在一個(gè)相當(dāng)數(shù)字化的時(shí)代中,通信、計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)正極大地影響著整個(gè)人類社會(huì)。然而，海量信息既給人們帶來(lái)方便也帶來(lái)了許多問(wèn)題使我們 驚嘆信息爆炸的同時(shí)，又不得不面對(duì)知識(shí)貧乏的苦惱信息過(guò)量難以消化信息真假難以辨別，信息安全難以保證，信息形式相異難以統(tǒng)一處理。人們開(kāi)始考慮：“如何 才能不被信息淹沒(méi)，而是從中及時(shí)發(fā)現(xiàn)有用的知識(shí)、提高信息利用率。”面對(duì)這一挑戰(zhàn)，數(shù)據(jù)挖掘技術(shù)應(yīng)運(yùn)而生，并得到長(zhǎng)足的發(fā)展，顯示出了強(qiáng)大的生命力.
        所謂數(shù)據(jù)挖掘Data Mining 就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的原始數(shù)據(jù)中提取隱含在其中的、事先未知的、但又是潛在有用的信息和知識(shí)的過(guò)程[1] 。數(shù)據(jù)挖掘的誕生是人們對(duì)數(shù)據(jù)庫(kù)技術(shù)進(jìn)行長(zhǎng)期研究和開(kāi)發(fā)的結(jié)果，而數(shù)據(jù)挖掘技術(shù)發(fā)展的同時(shí)它又反過(guò)來(lái)促使數(shù)據(jù)庫(kù)技術(shù)進(jìn)入了一個(gè)更高級(jí)的階段：傳統(tǒng)的數(shù)據(jù)環(huán) 境基本上是數(shù)據(jù)操作型的傳統(tǒng)的信息系統(tǒng)只負(fù)責(zé)數(shù)據(jù)的增刪及修改操作而在數(shù)據(jù)庫(kù)的基礎(chǔ)上可實(shí)現(xiàn)的工作就是OLTP （OnLine Transaction Process 聯(lián)機(jī)事務(wù)處理）?，F(xiàn)在由于數(shù)據(jù)積累的不斷增多，人們需要分析型的數(shù)據(jù)環(huán)境，于是就出現(xiàn)了由數(shù)據(jù)庫(kù)導(dǎo)出的數(shù)據(jù)倉(cāng)庫(kù)，以此為基礎(chǔ)則可以實(shí)現(xiàn)OLAP （OnLine Analysis Process 聯(lián)機(jī)分析處理）：隨著海量數(shù)據(jù)搜集的可能計(jì)算機(jī)處理技術(shù)的增強(qiáng)和先進(jìn)數(shù)據(jù)挖掘算法的提出，數(shù)據(jù)挖掘技術(shù)不僅能對(duì)過(guò)去的數(shù)據(jù)進(jìn)行查詢和遍歷，而且能夠找出過(guò) 去數(shù)據(jù)之間潛在有價(jià)值的聯(lián)系并以一定的形式表現(xiàn)出來(lái)，從而極大的滿足了人們對(duì)知識(shí)的迫切需求。

        數(shù)據(jù)挖掘基于的原始數(shù)據(jù)是形成知識(shí)的源泉，它既可以是結(jié)構(gòu)化的如關(guān)系數(shù)據(jù)庫(kù)中的數(shù)據(jù)，也可以是半結(jié)構(gòu)化的，如文本、圖形、圖像數(shù)據(jù)，甚至是分布在網(wǎng)絡(luò)上的異構(gòu)型數(shù)據(jù)。本文將著重討論一種針對(duì)半結(jié)構(gòu)化數(shù)據(jù)的挖掘—基于WEB 的數(shù)據(jù)挖掘，主要介紹了它的基本概念以及經(jīng)常采用的技術(shù)最后簡(jiǎn)單說(shuō)明了XML 在其中的應(yīng)用。
一、 基于WEB 的數(shù)據(jù)挖掘的主要概念
1、 什么是基于WEB 的數(shù)據(jù)挖掘
        當(dāng)前網(wǎng)絡(luò)發(fā)展迅速，各種網(wǎng)站比比皆是。但在競(jìng)爭(zhēng)日益激烈的網(wǎng)絡(luò)經(jīng)濟(jì)中，只有贏得用戶，才能最終贏得競(jìng)爭(zhēng)的優(yōu)勢(shì)。作為一個(gè)網(wǎng)站的管理員或擁有者，應(yīng)該知道用 戶都在他的網(wǎng)站上干什么，知道網(wǎng)站哪些部分最為用戶喜愛(ài)，哪些讓用戶感到厭煩，什么地方出了安全漏洞，什么樣的改動(dòng)帶來(lái)了顯著的用戶滿意度，提高什么樣的 改動(dòng)反而丟失了用戶等等?！爸褐恕?，才能“百戰(zhàn)不殆”。而基于WEB 數(shù)據(jù)挖掘技術(shù)正能滿足這些需求。
        就基于WEB 數(shù)據(jù)挖掘的確切定義，到目前為止還沒(méi)有很明確而權(quán)威的說(shuō)法。國(guó)外有認(rèn)為：基于WEB 數(shù)據(jù)挖掘，就是利用數(shù)據(jù)挖掘技術(shù)自動(dòng)地從網(wǎng)絡(luò)文檔以及服務(wù)中發(fā)現(xiàn)和抽取信息的過(guò)程。國(guó)內(nèi)則眾說(shuō)紛紜，有認(rèn)為是在大量已知數(shù)據(jù)樣本的基礎(chǔ)上得到數(shù)據(jù)對(duì)象間的內(nèi)在特性，并以此為依據(jù)在WEB 中進(jìn)行有目的的信息提取過(guò)程。同時(shí)，也有學(xué)者將網(wǎng)絡(luò)環(huán)境下的數(shù)據(jù)挖掘歸入網(wǎng)絡(luò)信息檢索與網(wǎng)絡(luò)信息內(nèi)容的開(kāi)發(fā)等等?？傊?，基于WEB 的數(shù)據(jù)挖掘（Web Mining） 正是從萬(wàn)維網(wǎng)（World Wide Web ）上獲取原始數(shù)據(jù)中從中挖掘出隱含其中且潛在可用的知識(shí)最終應(yīng)用于商業(yè)運(yùn)作以滿足管理者的需要。
2 、基于WEB 數(shù)據(jù)挖掘的分類
根據(jù)挖掘的對(duì)象不同我們可以把基于WEB 的數(shù)據(jù)挖掘分為三大類：
 ??基于WEB 內(nèi)容的挖掘（Web Content Mining）
?? 基于WEB 結(jié)構(gòu)的挖掘（Web Structure Mining）
?? 基于WEB 使用的挖掘（Web Usage Mining）
（1）基于WEB 內(nèi)容的挖掘
        所謂基于WEB 內(nèi)容的挖掘?qū)嶋H上就是從WEB 文檔及其描述中獲取知識(shí), WEB 文檔文件挖掘以及基于概念索引或Agent 技術(shù)的資源搜索也應(yīng)該歸于此類。Web 信息資源類型眾多，目前WWW 信息資源已經(jīng)成為網(wǎng)絡(luò)信息資源的主體，然而除了大量的人們可以直接從網(wǎng)上抓取、建立索引、實(shí)現(xiàn)查詢服務(wù)的資源之外，相當(dāng)一部分信息是隱藏著的數(shù)據(jù)（如由用 戶的提問(wèn)而動(dòng)態(tài)生成的結(jié)果，存在于數(shù)據(jù)庫(kù)系統(tǒng)中的數(shù)據(jù)，或是某些私人數(shù)據(jù)）無(wú)法被索引，從而無(wú)法提供對(duì)它們有效的檢索方式，這就迫使我們把這些內(nèi)容挖掘出 來(lái)。若從信息資源的表現(xiàn)形式來(lái)看，WEB 信息內(nèi)容是由文本、圖像、音頻、視頻、元數(shù)據(jù)等種種形式的數(shù)據(jù)組成的，因而我們所說(shuō)的基于WEB 內(nèi)容的挖掘也是一種針對(duì)多媒體數(shù)據(jù)的挖掘。
2 、基于WEB 結(jié)構(gòu)的挖掘
       這一類型的挖掘是從萬(wàn)維網(wǎng)的整體結(jié)構(gòu)和網(wǎng)頁(yè)上的相互鏈接中發(fā)現(xiàn)知識(shí)的過(guò)程，它主要挖掘WEB 潛在的鏈接結(jié)構(gòu)模式。這種思想源于引文分析，即通過(guò)分析一個(gè)網(wǎng)頁(yè)鏈接和被鏈接數(shù)量以及對(duì)象來(lái)建立WEB 自身的鏈接結(jié)構(gòu)模式。這種模式可以用于網(wǎng)頁(yè)歸類并且可以由此獲得有關(guān)不同網(wǎng)頁(yè)間相似度及關(guān)聯(lián)度的信息。WEB 結(jié)構(gòu)挖掘有助于用戶找到相關(guān)主題的權(quán)威站點(diǎn)，而且對(duì)網(wǎng)絡(luò)資源檢索結(jié)果的排序有很大意義。
3、 基于WEB 使用的挖掘
        基于WEB 使用的挖掘，也稱為WEB 日志挖掘（Web Log Mining）。與前兩種挖掘方式以網(wǎng)上的原始數(shù)據(jù)為挖掘?qū)ο蟛煌?，基于WEB 使用的挖掘面對(duì)的是在用戶和網(wǎng)絡(luò)交互的過(guò)程中抽取出來(lái)的第二手?jǐn)?shù)據(jù)。這些數(shù)據(jù)包括：網(wǎng)絡(luò)服務(wù)器訪問(wèn)記錄、代理服務(wù)器日志記錄、用戶注冊(cè)信息以及用戶訪問(wèn)網(wǎng)站時(shí)的行為動(dòng)作等等。WEB 使用挖掘?qū)⑦@些數(shù)據(jù)一一紀(jì)錄到日志文件中，然后對(duì)積累起來(lái)的日志文件進(jìn)行挖掘，從而了解用戶的網(wǎng)絡(luò)行為數(shù)據(jù)所具有的意義。我們前面所舉的例子正屬于這一種類型。
        表1[2]從五個(gè)方面對(duì)三種挖掘形式做了比較其中的具體內(nèi)容下文將會(huì)作進(jìn)一步介紹。
          基于WEB 內(nèi)容的挖掘：非結(jié)構(gòu)化 半結(jié)構(gòu)化\文本文檔 超文本文檔\Bag of words n-grams 詞短語(yǔ) 概念或?qū)嶓w 關(guān)系型數(shù)據(jù)\TFIDF 和變體機(jī)器學(xué)習(xí)統(tǒng)計(jì)學(xué)(包括自然語(yǔ)言處理)\歸類 聚類發(fā)掘 抽取規(guī)則 發(fā)掘文本模式 建立模式.
           基于WEB 結(jié)構(gòu)的挖掘:半結(jié)構(gòu)化 數(shù)據(jù)庫(kù)形式的網(wǎng)站 鏈接結(jié)構(gòu)\超文本 文檔鏈接\邊界標(biāo)志圖 OEM 關(guān)系型數(shù)據(jù) 圖形\Proprietary 算法 ILP (修改后)的關(guān)聯(lián)規(guī)則\發(fā)掘高頻的子結(jié)構(gòu) 發(fā)掘網(wǎng)站體系結(jié)構(gòu) 歸類 聚類.
          基于WEB 使用的挖掘:交互形式\服務(wù)器日志記錄 瀏覽器日志記錄\關(guān)系型表 圖形\Proprietary 算法 機(jī)器學(xué)習(xí) 統(tǒng)計(jì)學(xué) (修改后的）關(guān)聯(lián)規(guī)則\站點(diǎn)建設(shè) 改進(jìn)與管理 銷建立用戶模式.
3、 基于WEB 數(shù)據(jù)挖掘的特點(diǎn)
（1） 、什么是半結(jié)構(gòu)化
       所謂半結(jié)構(gòu)化是相對(duì)于結(jié)構(gòu)化和非結(jié)構(gòu)化而言的。我們稱傳統(tǒng)數(shù)據(jù)庫(kù)中的數(shù)據(jù)為完全結(jié)構(gòu)化的數(shù)據(jù)，而同時(shí)還存在著一些諸如一本書、一張圖片等完全無(wú)結(jié)構(gòu)的非結(jié) 構(gòu)化數(shù)據(jù)。半結(jié)構(gòu)化則是介于兩者之間，具有隱含模式、信息結(jié)構(gòu)不規(guī)則、無(wú)嚴(yán)格類型約束等特點(diǎn)。半結(jié)構(gòu)化數(shù)據(jù)模式有如下特征[4]
      先有數(shù)據(jù)，后有模式；
      半結(jié)構(gòu)化數(shù)據(jù)的模式是用于描述數(shù)據(jù)的結(jié)構(gòu)信息，而不是對(duì)數(shù)據(jù)結(jié)構(gòu)進(jìn)行強(qiáng)制性的約束；
     半結(jié)構(gòu)化數(shù)據(jù)的模式是非精確的，它只可能描述數(shù)據(jù)的一部分結(jié)構(gòu)，也可能根據(jù)數(shù)據(jù)處理的不同階段的視角不同而異；
     半結(jié)構(gòu)化數(shù)據(jù)的模式，可能規(guī)模很大甚至超過(guò)源數(shù)據(jù)的規(guī)模，而且會(huì)由于數(shù)據(jù)的不斷更新而處于動(dòng)態(tài)變化過(guò)程中。
（2）、 WEB 數(shù)據(jù)的特點(diǎn)
        Web 上的數(shù)據(jù)最大特點(diǎn)就是半結(jié)構(gòu)化。但是Web 上的數(shù)據(jù)與傳統(tǒng)的數(shù)據(jù)庫(kù)中的數(shù)據(jù)不同，傳統(tǒng)的數(shù)據(jù)庫(kù)都有一定的數(shù)據(jù)模型，可以根據(jù)模型來(lái)具體描述特定的數(shù)據(jù)而且按照一定的組織有規(guī)律的集中或者分布存放，結(jié)構(gòu)性很強(qiáng)；而Web 上的數(shù)據(jù)非常復(fù)雜，沒(méi)有特定的模型描述每一站點(diǎn)的數(shù)據(jù)，都各自獨(dú)立設(shè)計(jì)并且數(shù)據(jù)本身具有自述性和動(dòng)態(tài)可變性，因而Web 上的數(shù)據(jù)不是強(qiáng)結(jié)構(gòu)性的。但與此同時(shí)Web 頁(yè)面又是有描述層次的，單個(gè)網(wǎng)站也是按照各自的結(jié)構(gòu)構(gòu)架的，從而具有一定的結(jié)構(gòu)性。因此我們認(rèn)為Web 上存在的數(shù)據(jù)既不是完全結(jié)構(gòu)化的也不是完全非結(jié)構(gòu)化的，而是介于兩者之間，一般稱之為半結(jié)構(gòu)化數(shù)據(jù)。
        半結(jié)構(gòu)化是Web 上數(shù)據(jù)的最大特點(diǎn)，顯然面向Web 的數(shù)據(jù)挖掘比面向單個(gè)數(shù)據(jù)倉(cāng)庫(kù)或者其他結(jié)構(gòu)化數(shù)據(jù)集的數(shù)據(jù)挖掘要復(fù)雜得多。
4、使用基于WEB 數(shù)據(jù)挖掘能得到什么
        Web Mining 技術(shù)已經(jīng)應(yīng)用于解決多方面的問(wèn)題，比如基于WEB 內(nèi)容和結(jié)構(gòu)的挖掘極大的幫助了我們從浩瀚的網(wǎng)絡(luò)資源中更加快速而準(zhǔn)確的獲取所需要的資料，而基于使用的數(shù)據(jù)挖掘之威力，更是在商業(yè)運(yùn)作上發(fā)揮的淋漓盡致，具體表現(xiàn)在：
（1） 對(duì)網(wǎng)站的修改能有目的有依據(jù)穩(wěn)步的提高用戶滿意度
發(fā)現(xiàn)系統(tǒng)性能瓶頸，找到安全漏洞，查看網(wǎng)站流量模式，找到網(wǎng)站最重要的部分，發(fā)現(xiàn)用戶的需要和興趣，對(duì)需求強(qiáng)烈的地方提供優(yōu)化，根據(jù)用戶訪問(wèn)模式修改網(wǎng)頁(yè)之間的連接，把用戶想要的東西以更快且有效的方式提供給用戶，在正確的地方正確的時(shí)間把正確的信息提供給正確的人。
（2） 測(cè)定投資回報(bào)率
      測(cè)定廣告和促銷計(jì)劃的成功度
      找到最有價(jià)值的ISP 和搜索引擎
      測(cè)定合作和結(jié)盟網(wǎng)站對(duì)自身的價(jià)值
（3） 提供個(gè)性化網(wǎng)站
          對(duì)大多數(shù)WEB 應(yīng)用來(lái)說(shuō)，讓用戶感到真?zhèn)€網(wǎng)站是完全為他自己定制的個(gè)性化網(wǎng)站，是WEB 站點(diǎn)成功的秘訣。針對(duì)不同的用戶完全按照其個(gè)人的興趣和愛(ài)好（數(shù)據(jù)挖掘算法得到的用戶訪問(wèn)模式）向用戶動(dòng)態(tài)的提供要瀏覽的建議自動(dòng)提供個(gè)性化的網(wǎng)站。
        下面我們將就基于WEB 使用的挖掘，進(jìn)一步討論它所經(jīng)常采用的技術(shù)。
二、基于WEB 使用挖掘中的技術(shù)問(wèn)題
1、 Web Usage Mining 中非技術(shù)問(wèn)題
       在基于使用的挖掘中，出于商業(yè)目的考量網(wǎng)站的擁有者或者管理者經(jīng)常會(huì)對(duì)網(wǎng)站的某些方面提出一些分析，比如：流量分析（點(diǎn)擊量）、廣告分析、網(wǎng)站出入口分析、訪問(wèn)路徑分析、用戶來(lái)源分析、瀏覽器和平臺(tái)分析等等。
       就這些方面作進(jìn)一步的智能分析，我們可以從中真正與數(shù)據(jù)挖掘相關(guān)的問(wèn)題：
（1） 網(wǎng)頁(yè)相關(guān)性分析
       哪些網(wǎng)頁(yè)具有密切的關(guān)系，如果很多人具有a.html-〉b.html-〉c.html 這樣的訪問(wèn)模式，則我們可以認(rèn)定a.html 和c.html 之間有一定的關(guān)系，從而考慮是否在a.html 上直接加上c.html的鏈接。
（2） 用戶訪問(wèn)模式分析
        有哪一些網(wǎng)頁(yè)用戶只要訪問(wèn)了其中的一頁(yè)，則可以斷定他也要訪問(wèn)其他的網(wǎng)頁(yè)即按不同的用戶訪問(wèn)模式，把網(wǎng)頁(yè)分組得到一個(gè)一個(gè)的興趣點(diǎn)。哪些用戶所訪問(wèn)的網(wǎng)頁(yè)組成比較類似（具有類似的興趣）即根據(jù)用戶行為的相似性，把用戶按行為模式分類。
（3） 用戶歸類
通過(guò)用戶填寫的信息如何把用戶歸入某一特定的類別，然后可對(duì)同一類別中的用戶提供相似的服務(wù)。
2 、Web Usage Mining 中的技術(shù)問(wèn)題
（1） 數(shù)據(jù)處理
         如何得到分析和數(shù)據(jù)挖掘所用的數(shù)據(jù)，主要采用兩種方法，一是直接使用Web Server的Log 文件，二是用網(wǎng)絡(luò)監(jiān)聽(tīng)的辦法，在數(shù)據(jù)包中提取出HTTP 請(qǐng)求和應(yīng)答。最后兩種數(shù)據(jù)源都要轉(zhuǎn)換成固定的格式存放在數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)內(nèi)，供統(tǒng)計(jì)分析和數(shù)據(jù)挖掘使用。
（2） 統(tǒng)計(jì)分析
          在數(shù)據(jù)庫(kù)的基礎(chǔ)上，針對(duì)不同的數(shù)據(jù)運(yùn)行各種統(tǒng)計(jì)函數(shù)。
（3） 數(shù)據(jù)挖掘
           數(shù)據(jù)挖掘技術(shù)是實(shí)現(xiàn)智能分析得到隱藏在大量繁雜數(shù)據(jù)內(nèi)部知識(shí)的關(guān)鍵。通過(guò)對(duì)用戶訪問(wèn)網(wǎng)站的歷史數(shù)據(jù)(即我們通過(guò)數(shù)據(jù)處理得到的數(shù)據(jù))應(yīng)用各種數(shù)據(jù)挖掘技術(shù),得到高層知識(shí)，提供給用戶作決策支持，或利用這些知識(shí)動(dòng)態(tài)生成網(wǎng)頁(yè)，為用戶提供訪問(wèn)建議。
（4） 關(guān)聯(lián)規(guī)則Association Rules
         從服務(wù)器會(huì)話中發(fā)現(xiàn)請(qǐng)求網(wǎng)頁(yè)的相關(guān)性，可用于優(yōu)化網(wǎng)站組織，實(shí)現(xiàn)網(wǎng)絡(luò)代理中的預(yù)取功能等。
（5） 聚集Clustering
         使用分組（Usage Clusters ）把具有相似瀏覽模式的用戶分成組，可用于電子商務(wù)應(yīng)用中市場(chǎng)分片（market segmentation） 和為用戶提供個(gè)性化服務(wù)，而網(wǎng)頁(yè)分組（page clusters ）按內(nèi)容的相似性把網(wǎng)頁(yè)分類，可用于搜索引擎和Web 瀏覽助手（Web assistance providers ）為用戶提供推薦鏈接。
（6） 歸類Classification
          根據(jù)用戶的個(gè)人資料，將其歸入某一特定的類，可使用決策樹(shù)、naive Bayesian
classifiers、 k-最近鄰居等算法。
（7） 序列模式Sequential Patterns
        發(fā)現(xiàn)一個(gè)session 內(nèi)部的網(wǎng)頁(yè)間的時(shí)間相關(guān)性，可用于預(yù)測(cè)用戶的訪問(wèn)趨向而提供建議。
三、XML 技術(shù)在基于WEB 的數(shù)據(jù)挖掘中的應(yīng)用
1 、XML 技術(shù)簡(jiǎn)介
        XML （eXtsible Markup Language） 是SGML （Standard General MarkupLanguage ）的一個(gè)子集，近年來(lái)為IBM Microsoft 等公司大力推崇。和HTML（ Hyper Text Markup Language）類似，XML 也是一種標(biāo)示語(yǔ)言，可提供描述結(jié)構(gòu)化資料的格式，它們都可以用于可視化和用戶界面標(biāo)準(zhǔn)。
       當(dāng)前，Internet 只是文本和圖片的訪問(wèn)媒體，并沒(méi)有智能搜索、數(shù)據(jù)交換、自適應(yīng)表示和個(gè)人化的標(biāo)準(zhǔn)。為了超出設(shè)置信息訪問(wèn)和顯示標(biāo)準(zhǔn)的限制，Internet 必須設(shè)置信息理解標(biāo)準(zhǔn)（表示數(shù)據(jù)的通用方式）以便軟件能夠更好地搜索移動(dòng)顯示和處理上下文中隱藏的信息。由于 HTML 是一種描述如何表示 WEB 頁(yè)的格式，并不表示數(shù)據(jù)，所以它并不能完成以上處理。而 XML 提供了一種獨(dú)立的運(yùn)行程序的方法來(lái)共享數(shù)據(jù)是用來(lái)自動(dòng)描述信息的一種新的標(biāo)準(zhǔn)語(yǔ)言，它通過(guò)計(jì)算機(jī)通信“把Internet 的功能由信息傳遞擴(kuò)大到人類其他多種多樣的活動(dòng)中去”[3]。
2、技術(shù)的特點(diǎn)及其在Web Mining 中的應(yīng)用
       它最大的特點(diǎn)在于其Tag 是具有語(yǔ)義的，可由用戶定義能夠反映一定的數(shù)據(jù)的含義。此外，XML 還具有簡(jiǎn)單易用、可擴(kuò)展性、開(kāi)發(fā)性、強(qiáng)標(biāo)準(zhǔn)化等特點(diǎn),非常適合應(yīng)用于WebMining 。從某種意義上說(shuō)，XML 非常接近半結(jié)構(gòu)化的數(shù)據(jù)模型它可供操作的基礎(chǔ)要比HTML 好得多。圖二是HTML 和XML 的文檔比較，我們不難看出XML 的文檔描述的語(yǔ)義非常清楚，而且我們很容易就可以將之和關(guān)系數(shù)據(jù)庫(kù)中的屬性一一對(duì)應(yīng)起來(lái)，能夠支持實(shí)施十分精確的查詢，以及其他高級(jí)操作。而HTML 文檔只是按顯示方式進(jìn)行描述的。由此可見(jiàn)，XML 將為在WEB 上的數(shù)據(jù)查詢和模式抽取提供了一個(gè)重要的契機(jī)。
       XML 由若干規(guī)則組成，這些規(guī)則可用于創(chuàng)建標(biāo)記語(yǔ)言，并能用一種被稱作分析程序的簡(jiǎn)明程序處理所有新創(chuàng)建的標(biāo)記語(yǔ)言。XML 解決了HTML 不能解決的兩個(gè)Web 問(wèn)題，即“Internet 發(fā)展速度快而接入速度慢”的問(wèn)題，以及可利用的信息多但難以找到自己需要的那部分信息”的問(wèn)題[3]。 XML 能增加結(jié)構(gòu)和語(yǔ)義信息可使計(jì)算機(jī)和服務(wù)器即時(shí)處理多種形式的信息。因此，運(yùn)用XML 的擴(kuò)展功能不僅能從WEB 服務(wù)器下載大量的信息，還能大大減少網(wǎng)絡(luò)業(yè)務(wù)量。
        以XML 為基礎(chǔ)的新一代WWW 環(huán)境是直接面對(duì)WEB 數(shù)據(jù)的，不僅可以很好地兼容原有的WEB 應(yīng)用而且可以更好地實(shí)現(xiàn)WEB 中的信息共享與交換。XML 可看作一種半結(jié)構(gòu)化的數(shù)據(jù)模型，可以很容易地將XML 的文檔描述與關(guān)系數(shù)據(jù)庫(kù)中的屬性一一對(duì)應(yīng)起來(lái)，實(shí)施精確地查詢與模型抽取。
         當(dāng)用標(biāo)準(zhǔn)的HTML 無(wú)法完成某些WEB 應(yīng)用時(shí)，XML 便能大顯身手這些應(yīng)用從大的方面講可以被分成以下四類：需要WEB 客戶端在兩個(gè)或更多異質(zhì)數(shù)據(jù)庫(kù)之間進(jìn)行通信的應(yīng)用；試圖將大部分處理負(fù)載從WEB 服務(wù)器轉(zhuǎn)到WEB 客戶端的應(yīng)用；需要WEB 客戶端將同樣的數(shù)據(jù)以不同的瀏覽形式提供給不同的用戶的應(yīng)用；需要智能WEB 代理根據(jù)個(gè)人用戶的需要裁減信息內(nèi)容的應(yīng)用。顯而易見(jiàn)，這些應(yīng)用和WEB 的數(shù)據(jù)挖掘技術(shù)有著重要的聯(lián)系，基于WEB 的數(shù)據(jù)挖掘必須依靠它們來(lái)實(shí)現(xiàn)。
四、一些著名的Web Mining 產(chǎn)品簡(jiǎn)介
1、Net percerptions
       Net Perceotion 公司的Net Percerptions ，采用了一個(gè)叫做實(shí)時(shí)建議的技術(shù)：讓它的產(chǎn)品對(duì)象（主要是網(wǎng)站）能夠根據(jù)用戶以往的瀏覽行為(比如以前的購(gòu)買記錄) 在其他用戶（稱做Community 中）找出與他有相類似瀏覽行為的，根據(jù)這些用戶的瀏覽行為來(lái)預(yù)測(cè)該用戶以后的瀏覽行為，從而為用戶提供個(gè)性化的瀏覽建議。這種技術(shù)利用了網(wǎng)站用戶的瀏覽行為有相似的一面，因此其預(yù)言有很高的準(zhǔn)確性。并且它是實(shí)時(shí)運(yùn)行的，隨著瀏覽量的增加會(huì)變得越來(lái)越聰明。
2、 CommerceTrends
        WebTrends 公司的CommerceTrends 被宣稱為第一個(gè)用于VRM （Visitor Relationship Management） 的平臺(tái)，它能夠讓電子商務(wù)網(wǎng)站更好地理解其網(wǎng)站訪問(wèn)者的行為，幫助網(wǎng)站采取一些行動(dòng)來(lái)將這些訪問(wèn)者變?yōu)轭櫩?，將一次性的顧客變?yōu)殚L(zhǎng)期的忠實(shí)顧客。 CommerceTrends 提供了完全的“browser-based” 方法，使得不同的部門（從市場(chǎng)部門到分析家）能在任何時(shí)間得到他所想得到的個(gè)性化報(bào)表。同時(shí)它還利用了強(qiáng)大的數(shù)據(jù)倉(cāng)庫(kù)技術(shù)，這樣就不僅僅將原始數(shù)據(jù)存在數(shù)據(jù)庫(kù)里而是“Sessionizes ”了原始數(shù)據(jù)。
3. DBMiner
        加拿大Simon Fraser 大學(xué)數(shù)據(jù)庫(kù)系統(tǒng)研究實(shí)驗(yàn)室Database SystemResearchLaboratory
的知識(shí)發(fā)現(xiàn)研究組在數(shù)據(jù)挖掘技術(shù)領(lǐng)域經(jīng)過(guò)多年的研究開(kāi)發(fā)了名為DBMiner 的知識(shí)發(fā)現(xiàn)系統(tǒng)原型。它將機(jī)器學(xué)習(xí)方法學(xué)和數(shù)據(jù)庫(kù)技術(shù)結(jié)合起來(lái)，用于在大型數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)中交互地挖掘多層次的知識(shí)。該系統(tǒng)獨(dú)特之處在于緊密集成了聯(lián)機(jī)分析處理OLAP 和多種數(shù)據(jù)挖掘功能，包括特征化、關(guān)聯(lián)、分類和聚類。
五 結(jié)束語(yǔ)
          基于WEB 的數(shù)據(jù)挖掘是當(dāng)前熱門研究方向之一，而且其應(yīng)用范疇廣闊，潛力巨大；Web Mining 技術(shù)也在不斷提出和改進(jìn)之中。但是Web Mining 技術(shù)還有很多缺陷和不足。我們還需要半結(jié)構(gòu)化數(shù)據(jù)模型、Web 數(shù)據(jù)的過(guò)濾和轉(zhuǎn)換等方面作進(jìn)一步研究，才能進(jìn)一步發(fā)揮Web Mining 的無(wú)限威力.