如何進行網(wǎng)絡(luò)數(shù)據(jù)挖掘

人們在訪問某網(wǎng)站的同時，便提供了個人對網(wǎng)站內(nèi)容的反饋信息：點擊了哪一個鏈接，在哪里瀏覽時間最多，用了哪個搜索項、總體瀏覽時間、個人姓名和住址等。所有這些信息都被保存在一個數(shù)據(jù)庫中。

    從數(shù)據(jù)庫保存的信息來看，網(wǎng)站擁有了大量的網(wǎng)站訪問者及其訪問內(nèi)容的信息，但擁有這些信息卻不見得能夠充分利用。借助數(shù)據(jù)倉庫報告系統(tǒng)（一般稱作在線分析處理系統(tǒng)），只能報告可直接觀察到的和簡單相關(guān)的信息，不能告訴網(wǎng)站信息模式及怎樣對其進行處理，并且它很難深刻分析復(fù)雜信息，需要網(wǎng)站自已加工與處理。

    然而，廠商和商業(yè)分析員可以采用數(shù)據(jù)挖掘技術(shù)來解決上述問題，即通過機器學(xué)習(xí)算法，找到數(shù)據(jù)庫中的隱含模式，報告結(jié)果或按照結(jié)果執(zhí)行。對于數(shù)據(jù)挖掘技術(shù)，我們給廠商提供的最好幫助是：介紹數(shù)據(jù)挖掘技術(shù)所能解決的問題，詳述數(shù)據(jù)挖掘技術(shù)，并深入討論相關(guān)解決方案。

    認識訪問者

    —- 為了讓網(wǎng)站能夠使用數(shù)據(jù)挖掘技術(shù)，廠商必須記錄訪問者特征及訪問者所使用的條款特征。

    —- 訪問者特征包括人口統(tǒng)計特征、心理特征和技術(shù)特征。人口統(tǒng)計特征是一些可變的屬性，比如家庭地址、收入、購買力或所擁有的娛樂設(shè)備。心理特征包括通過心理調(diào)查發(fā)現(xiàn)的個性類型，比如對兒童的保護傾向、購買時的沖動性及早期的技術(shù)興趣等。技術(shù)特征是指訪問者的系統(tǒng)屬性，比如所采用的操作系統(tǒng)、瀏覽器、域名和調(diào)制解調(diào)器的速度等等。

    —- 條款特征包括網(wǎng)絡(luò)內(nèi)容信息（介質(zhì)類型、內(nèi)容分類和URL）和產(chǎn)品信息（產(chǎn)品編號、產(chǎn)品目錄、顏色、體積、價格、利潤、數(shù)量和特價等級）等內(nèi)容。

    —- 當(dāng)訪問者訪問某網(wǎng)站時，有關(guān)訪問者的數(shù)據(jù)便會被逐漸積累起來。訪問者——條款的交互信息主要包括購買歷史、廣告歷史和優(yōu)選信息，其中，購買歷史是一個購買產(chǎn)品和購買日期的目錄；廣告歷史表明把哪一個條款展示給訪問者；優(yōu)選信息是指訪問者訪問的優(yōu)先等級；點擊流信息是訪問者點擊的超級鏈接的歷史信息；鏈接機會是指提供給訪問者的超級鏈接。訪問者——網(wǎng)站統(tǒng)計信息是指每次會話的信息，比如總的訪問時間、所瀏覽的網(wǎng)頁及每次會話的利潤等。訪問者——公司信息包括一個訪問者推薦客戶的數(shù)量、每個月的訪問次數(shù)及上一次的訪問時間等，還包括商標評價，即訪問者對商標正面或負面的評價，此信息可以通過周期性的廠商調(diào)查來獲得。

    列出目標

    —- 在網(wǎng)上進行交易的最大優(yōu)點是廠商可以更加有效地估計出訪問者的反應(yīng)。當(dāng)廠商有明確的且可以量化的目標時，采用數(shù)據(jù)挖掘技術(shù)的效果最好。廠商可以考慮這樣一些目標：增加每次會話的平均瀏覽頁數(shù)；增加每次結(jié)賬的平均利潤；減少退貨；增加顧客數(shù)量；提高商標知名度；提高回頭率（比如在30天內(nèi)重新回來的顧客的數(shù)量）；增加每次訪問的結(jié)賬次數(shù)。

    理解問題

    —- 解決問題的第一步是清楚地描述問題。通常，網(wǎng)絡(luò)廠商需要解決的問題是如何尋找合適的廣告人群、將網(wǎng)頁個性化、把同時購買的貨物放在同一個網(wǎng)頁上、自動地把商品分類，找出同一類訪問者的特征、估計貨物丟失的數(shù)據(jù)并預(yù)測未來行為。所有這一切都涉及尋找并支持各種不同的隱含模式。

    尋找目標

    —- 廠商采用目標尋找技術(shù)，選擇接收特定廣告的人群，以增加利潤，提高商標知名度，或增加其他可量化的收入。在網(wǎng)上進行目標尋找必須考慮各種不同的廣告費用。

    —- 在一個訪問者登記的網(wǎng)站上，登廣告者可以根據(jù)地理信息確定廣告目標。比如生活在一個國家不同地區(qū)或訪問不同網(wǎng)站的人們常常具有不同的購物傾向，像購買不同運動隊的隊服等。因此，如果廠商將廣告目標鎖定最可能購買某產(chǎn)品的人群，就可能降低廣告費用，并增加總利潤。

    —- 采用數(shù)據(jù)挖掘技術(shù)可以幫助用戶選定廣告活動的目標標準。網(wǎng)絡(luò)出版物有一套變量關(guān)系，通過它們可以選定廣告目標。由于在直接的郵購活動中，目標選擇被廣泛使用，因此有許多不同的數(shù)據(jù)挖掘工具支持目標定位。

    人格化

    —- 廠商采用人格化的方法選擇發(fā)給個人的廣告，以取得最大成果。需要指出的是，本文所談的“廣告”一詞泛指網(wǎng)站提供的任何建議或條款，即使一個簡單的超級鏈接，也可以被認為是廣告。

    —- 人格化與目標選擇相反。目標選擇功能是優(yōu)化查看廣告的人的類型，以降低廣告費用。它對尋找那些還沒有訪問廠商站點的人很有作用。但是，在廠商的網(wǎng)站上進行目標選擇是沒有用的，所以，不如將自己的產(chǎn)品展示給訪問網(wǎng)站的人看。

    —- 一些人格化網(wǎng)站需要廠商給訪問者寫下零售廣告的規(guī)則，我們稱之為基于規(guī)則的人格化系統(tǒng)。如果網(wǎng)站有歷史信息，廠商可以從第三方購買數(shù)據(jù)挖掘工具來產(chǎn)生規(guī)則。通常，在提供的產(chǎn)品或服務(wù)有限的情況下廠商使用基于規(guī)則的人格化系統(tǒng)，比如保險業(yè)和金融機構(gòu)。在那些地方，廠商只需寫下少量的規(guī)則即可。

    —- 其他的人格化系統(tǒng)強調(diào)提供自動且實時的條款選擇。這些系統(tǒng)常常在提供大量條款的情況下使用，比如服裝、娛樂、辦公設(shè)備和消費品等。廠商在面對成千上萬的條款時會變得束手無策，在這種情況下，使用自動的系統(tǒng)更加有效。從大量的目錄中進行人格化是非常復(fù)雜的，需要處理大量的數(shù)據(jù)。

    關(guān)聯(lián)

    —- 關(guān)聯(lián)是指確定在一次會話中最可能被購買或瀏覽的商品，又稱市場分析。如果網(wǎng)站在網(wǎng)頁中將這些條款放在一起，就可以提醒網(wǎng)站訪問者購買或瀏覽可能忘記了的商品。如果在關(guān)聯(lián)的一組商品中有某一項商品是特價，網(wǎng)站很可能會增加同組中其他商品的購買量。

    —- 當(dāng)網(wǎng)站使用靜態(tài)的目錄網(wǎng)頁時，也可以使用關(guān)聯(lián)。在這種情況下，網(wǎng)站會依賴廠商選擇的且是網(wǎng)站所要查看的第一頁目錄網(wǎng)頁，并提供相關(guān)的條款。

    知識管理

    —- 這些系統(tǒng)設(shè)法確定和支持自然語言文件中的模式。一個更加確切的詞是“文本分析”。第一步是將單詞和文本與高層的概念相關(guān)聯(lián)，可以通過使用相關(guān)概念標記了的文件來訓(xùn)練一個系統(tǒng)，并直接完成它。于是，系統(tǒng)為每一個概念建立了一個模式匹配器，當(dāng)遇到新的概念時，模式匹配器會確定文檔和那個概念的相關(guān)程度。

    —- 上述方法也可用于將未來的文檔分類到已預(yù)先定義好的目錄中。網(wǎng)站采用上述方法可為訪問者建立自動的網(wǎng)址索引，新聞網(wǎng)站采用上述方法可以降低分類費用，此外，一些系統(tǒng)也采用上述方法自動總結(jié)關(guān)鍵問題，尋找相關(guān)的參考文檔。

    —- 知識管理系統(tǒng)可以幫助網(wǎng)站創(chuàng)建自動的查詢系統(tǒng)。比如發(fā)給客戶支持E-mail信箱的請求可以被自動分類，從FAQ庫中可以自動發(fā)出應(yīng)答信息等。

    聚類

    —- 聚類有時也稱分段，是指將具有相同特征的人歸結(jié)為一組，將特征平均，以形成一個“特征矢量”或“矢心”。聚類系統(tǒng)通常使網(wǎng)站確定一組數(shù)據(jù)有多少類，并設(shè)法找出最能表示大多數(shù)數(shù)據(jù)的一組聚類。聚類被一些提供商用來直接提供不同訪問者特征的報告。

    估計和預(yù)測

    —- 估計用來猜測未知值，預(yù)測用來估計未來值。估計和預(yù)測可以使用同樣的算法。

    —- 估計通常用來填空。如果網(wǎng)站不知道某人的收入，可以通過與收入密切相關(guān)的量來估計，然后找到具有類似特征的其他人，利用他們來估計未知者的收入和信用值。

    —- 預(yù)測用來估計一個人重要的未來事項。在個性化應(yīng)用中，網(wǎng)站可以使用這些值。

    —- 廠商常收集信息，以了解客戶。即使從不同的方面來分析以往的事件，也可以提供許多有用的信息。這種簡單的收集方法被稱作在線分析處理（OLAP）系統(tǒng)。

    —- 預(yù)測可以和OLAP技術(shù)一起總結(jié)訪問某網(wǎng)站人群的特點，從而使得廠商對數(shù)據(jù)進行剖析，找出是哪個條款或網(wǎng)站特征引起了最有價值的客戶的注意力。

    決策樹

    —- 決策樹本質(zhì)上是導(dǎo)致做出某項決策的問題或數(shù)據(jù)點的流程圖。比如購買汽車的決策樹可以從是否需要2000年的新型汽車開始，接著詢問所需車型，然后詢問用戶需要動力型車還是經(jīng)濟型車等等，直到確定用戶所需要的最好的車為止。決策樹系統(tǒng)設(shè)法創(chuàng)建最優(yōu)路徑，將問題排序，這樣，經(jīng)過最少的步驟，便可以做出決定。

    —- 許多產(chǎn)品供應(yīng)商在自己的產(chǎn)品選擇系統(tǒng)中都制作了決策樹系統(tǒng)。這對帶著特定問題來訪問網(wǎng)站的人來說十分重要。一旦做出某項決定，問題的答案對以后的目標選擇或人格化作用便不大了。

    選擇答案

    —- 數(shù)據(jù)挖掘技術(shù)并不適合膽怯的人。網(wǎng)站要面對3個主要問題：第一，許多優(yōu)秀的數(shù)據(jù)挖掘專家是非常認真的；第二，很少有現(xiàn)成的解決方案；第三，有用的東西是非常昂貴的。

    —- 對于某個問題，可能有多種數(shù)據(jù)挖掘算法，但通常只有一個最好的算法。當(dāng)網(wǎng)站選擇了一個數(shù)據(jù)挖掘產(chǎn)品時，要弄清楚它的算法是否適合網(wǎng)站想解決的問題。

    —- 網(wǎng)絡(luò)數(shù)據(jù)挖掘的世界既是地雷陣，同時又是金礦。通過保存與訪問者、訪問內(nèi)容及交互操作相關(guān)的數(shù)據(jù)，至少可以保證網(wǎng)站以后可以使用它們。不管有多大困難，廠商可以從現(xiàn)在開始考慮評估和集成數(shù)據(jù)挖掘應(yīng)用。