數(shù)據(jù)挖掘七種常用的方法匯總

數(shù)據(jù)挖掘(Data Mining)就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過(guò)程。這個(gè)定義包括幾層含義：數(shù)據(jù)源必須是真實(shí)的、大量的、含噪聲的；發(fā)現(xiàn)的是用戶(hù)感興趣的知識(shí)；發(fā)現(xiàn)的知識(shí)要可接受、可理解、可運(yùn)用；并不要求發(fā)現(xiàn)放之四海皆準(zhǔn)的知識(shí)，僅支持特定的發(fā)現(xiàn)問(wèn)題。這里的知識(shí)一般指規(guī)則、概念、規(guī)律及模式等。
數(shù)據(jù)挖掘建模過(guò)程

定義挖掘目標(biāo)

針對(duì)具體的數(shù)據(jù)挖掘應(yīng)用需求，首先要非常清楚，本次挖掘的目標(biāo)是什么？系統(tǒng)完成后能達(dá)到什么樣的效果？因此我們必須分析應(yīng)用領(lǐng)域，包括應(yīng)用中的各種知識(shí)和應(yīng)用目標(biāo)。了解相關(guān)領(lǐng)域的有關(guān)情況，熟悉背景知識(shí)，弄清用戶(hù)需求。要想充分發(fā)揮數(shù)據(jù)挖掘的價(jià)值，必須要對(duì)目標(biāo)有一個(gè)清晰明確的定義，即決定到底想干什么。否則，很難得到正確的結(jié)果。
數(shù)據(jù)取樣

數(shù)據(jù)采集前首要考慮的問(wèn)題包括：哪些數(shù)據(jù)源可用，哪些數(shù)據(jù)與當(dāng)前挖掘目標(biāo)相關(guān)？如何保證取樣數(shù)據(jù)的質(zhì)量？是否在足夠范圍內(nèi)有代表性？數(shù)據(jù)樣本取多少合適？如何分類(lèi)(訓(xùn)練集、驗(yàn)證集、測(cè)試集)等等。

在明確了需要進(jìn)行數(shù)據(jù)挖掘的目標(biāo)后，接下來(lái)就需要從業(yè)務(wù)系統(tǒng)中抽取一個(gè)與挖掘目標(biāo)相關(guān)的樣本數(shù)據(jù)子集。抽取數(shù)據(jù)的標(biāo)準(zhǔn)，一是相關(guān)性，二是可靠性，三是最新性。

進(jìn)行數(shù)據(jù)取樣一定要嚴(yán)把質(zhì)量關(guān)，在任何時(shí)候都不要忽視數(shù)據(jù)的質(zhì)量，即使是從一個(gè)數(shù)據(jù)倉(cāng)庫(kù)中進(jìn)行數(shù)據(jù)取樣，也不要忘記檢查其質(zhì)量如何。因?yàn)?a href='/map/shujuwajue/' style='color:#000;font-size:inherit;'>數(shù)據(jù)挖掘是探索企業(yè)運(yùn)作的內(nèi)在規(guī)律，原始數(shù)據(jù)有誤，就很難從中探索規(guī)律性。
數(shù)據(jù)探索

當(dāng)拿到一個(gè)樣本數(shù)據(jù)集后，它是否達(dá)到我們?cè)瓉?lái)設(shè)想的要求，其中有沒(méi)有什么明顯的規(guī)律和趨勢(shì)，有沒(méi)有出現(xiàn)從未設(shè)想過(guò)的數(shù)據(jù)狀態(tài)，因素之間有什么相關(guān)性，它們可區(qū)分成怎樣一些類(lèi)別，這都是要首先探索的內(nèi)容。數(shù)據(jù)探索和預(yù)處理的目的是為了保證樣本數(shù)據(jù)的質(zhì)量，從而為保證預(yù)測(cè)質(zhì)量打下基礎(chǔ)。數(shù)據(jù)探索包括：異常值分析、缺失值分析、相關(guān)分析、周期性分析、樣本交叉驗(yàn)證等。
數(shù)據(jù)預(yù)處理和清洗

采樣數(shù)據(jù)維度過(guò)大，如何進(jìn)行降維處理，采用數(shù)據(jù)中的缺失值如何處理，這些都是數(shù)據(jù)預(yù)處理需要解決的問(wèn)題。數(shù)據(jù)預(yù)處理主要包含如下內(nèi)容：數(shù)據(jù)篩選，數(shù)據(jù)變量轉(zhuǎn)換，缺失值處理，壞數(shù)據(jù)處理，數(shù)據(jù)標(biāo)準(zhǔn)化，主成分分析，屬性選擇等。
數(shù)據(jù)挖掘模式發(fā)現(xiàn)

樣本抽取完成并經(jīng)預(yù)處理后，接下來(lái)要考慮的問(wèn)題是：本次建模屬于數(shù)據(jù)挖掘應(yīng)用中的哪類(lèi)問(wèn)題(分類(lèi)、聚類(lèi)、關(guān)聯(lián)規(guī)則或者時(shí)序分析)，選用哪種算法進(jìn)行模型構(gòu)建？

模型構(gòu)建的前提是在樣本數(shù)據(jù)集中發(fā)現(xiàn)模式，比如關(guān)聯(lián)規(guī)則、分類(lèi)預(yù)測(cè)、聚類(lèi)分析、時(shí)序模式等。在目標(biāo)進(jìn)一步明確化的基礎(chǔ)上，我們就可以按照問(wèn)題的具體要求來(lái)重新審視已經(jīng)采集的數(shù)據(jù)，看它是否適合挖掘的需要。

針對(duì)挖掘目標(biāo)的需要可能需要對(duì)數(shù)據(jù)進(jìn)行增刪，也可能按照對(duì)整個(gè)數(shù)據(jù)挖掘過(guò)程的新認(rèn)識(shí)，要組合或者新生成一些新的變量，以體現(xiàn)對(duì)狀態(tài)的有效的描述。在挖掘目標(biāo)進(jìn)一步明確，數(shù)據(jù)結(jié)構(gòu)和內(nèi)容進(jìn)一步調(diào)整的基礎(chǔ)上，下一步數(shù)據(jù)挖掘應(yīng)采用的技術(shù)手段就更加清晰、明確了。
數(shù)據(jù)挖掘模型構(gòu)建

模型構(gòu)建是反映的是采樣數(shù)據(jù)內(nèi)部結(jié)構(gòu)的一般特征，并與該采樣數(shù)據(jù)的具體結(jié)構(gòu)基本吻合。對(duì)于預(yù)測(cè)模型（包括分類(lèi)與回歸模型、時(shí)序預(yù)測(cè)模型）來(lái)說(shuō)，模型的具體化就是預(yù)測(cè)公式，公式可以產(chǎn)生與觀察值有類(lèi)似結(jié)構(gòu)的輸出，這就是預(yù)測(cè)值。預(yù)測(cè)模型是多種多樣的，可以適用于不同結(jié)構(gòu)的樣本數(shù)據(jù)。正確選擇預(yù)測(cè)模型是數(shù)據(jù)挖掘很關(guān)鍵的一步，有時(shí)由于模型選擇不當(dāng)，造成預(yù)測(cè)誤差過(guò)大，就需要改換模型。必要時(shí)，可同時(shí)采用幾種預(yù)測(cè)模型進(jìn)行運(yùn)算以便對(duì)比、選擇。對(duì)建立模型來(lái)說(shuō)，要記住最重要的就是它是一個(gè)反復(fù)的過(guò)程，需要仔細(xì)考察不同的模型以判斷哪個(gè)模型對(duì)解決問(wèn)題最有效。
預(yù)測(cè)模型的構(gòu)建通常包括模型建立、模型訓(xùn)練、模型驗(yàn)證和模型預(yù)測(cè) 4個(gè)步驟，但根據(jù)不同的數(shù)據(jù)挖掘分類(lèi)應(yīng)用會(huì)有細(xì)微的變化。
數(shù)據(jù)挖掘模型評(píng)價(jià)

評(píng)價(jià)的目的之一就是從這些模型中自動(dòng)找出一個(gè)最好的模型來(lái)，另外就是要針對(duì)業(yè)務(wù)對(duì)模型進(jìn)行解釋和應(yīng)用。預(yù)測(cè)模型評(píng)價(jià)和聚類(lèi)模型的評(píng)價(jià)方法是不同的。

預(yù)測(cè)模型對(duì)訓(xùn)練集進(jìn)行預(yù)測(cè)而得出的準(zhǔn)確率并不能很好地反映分類(lèi)模型未來(lái)的性能，為了能預(yù)測(cè)分類(lèi)模型在新數(shù)據(jù)上的性能表現(xiàn)，需要一組沒(méi)有參與分類(lèi)模型建立的數(shù)據(jù)集，并在該數(shù)據(jù)集上評(píng)價(jià)分類(lèi)器的準(zhǔn)確率，這組獨(dú)立的數(shù)據(jù)集就是測(cè)試集。這是一種基于驗(yàn)證的評(píng)估方法，常用的方法有保持法、隨機(jī)二次抽樣、自助法、交叉驗(yàn)證等。

聚類(lèi)分群效果可以用向量數(shù)據(jù)之間的相似度來(lái)衡量，向量數(shù)據(jù)之間的相似度定義為兩個(gè)向量之間的距離（實(shí)時(shí)向量數(shù)據(jù)與聚類(lèi)中心向量數(shù)據(jù)），距離越近則相似度越大，即該實(shí)時(shí)向量數(shù)據(jù)歸為某個(gè)聚類(lèi)。

數(shù)據(jù)挖掘方法

利用數(shù)據(jù)挖掘進(jìn)行數(shù)據(jù)分析常用的方法主要有分類(lèi)、回歸分析、聚類(lèi)、關(guān)聯(lián)規(guī)則、特征、變化和偏差分析、Web頁(yè)挖掘等， 它們分別從不同的角度對(duì)數(shù)據(jù)進(jìn)行挖掘。

分類(lèi)

分類(lèi)是找出數(shù)據(jù)庫(kù)中一組數(shù)據(jù)對(duì)象的共同特點(diǎn)并按照分類(lèi)模式將其劃分為不同的類(lèi)，其目的是通過(guò)分類(lèi)模型，將數(shù)據(jù)庫(kù)中的數(shù)據(jù)項(xiàng)映射到某個(gè)給定的類(lèi)別。

它可以應(yīng)用到客戶(hù)的分類(lèi)、客戶(hù)的屬性和特征分析、客戶(hù)滿(mǎn)意度分析、客戶(hù)的購(gòu)買(mǎi)趨勢(shì)預(yù)測(cè)等，如一個(gè)汽車(chē)零售商將客戶(hù)按照對(duì)汽車(chē)的喜好劃分成不同的類(lèi)，這樣營(yíng)銷(xiāo)人員就可以將新型汽車(chē)的廣告手冊(cè)直接郵寄到有這種喜好的客戶(hù)手中，從而大大增加了商業(yè)機(jī)會(huì)。

回歸分析

回歸分析方法反映的是事務(wù)數(shù)據(jù)庫(kù)中屬性值在時(shí)間上的特征，產(chǎn)生一個(gè)將數(shù)據(jù)項(xiàng)映射到一個(gè)實(shí)值預(yù)測(cè)變量的函數(shù)，發(fā)現(xiàn)變量或?qū)傩蚤g的依賴(lài)關(guān)系，其主要研究問(wèn)題包括數(shù)據(jù)序列的趨勢(shì)特征、數(shù)據(jù)序列的預(yù)測(cè)以及數(shù)據(jù)間的相關(guān)關(guān)系等。

它可以應(yīng)用到市場(chǎng)營(yíng)銷(xiāo)的各個(gè)方面，如客戶(hù)尋求、保持和預(yù)防客戶(hù)流失活動(dòng)、產(chǎn)品生命周期分析、銷(xiāo)售趨勢(shì)預(yù)測(cè)及有針對(duì)性的促銷(xiāo)活動(dòng)等。

聚類(lèi)

聚類(lèi)分析是把一組數(shù)據(jù)按照相似性和差異性分為幾個(gè)類(lèi)別，其目的是使得屬于同一類(lèi)別的數(shù)據(jù)間的相似性盡可能大，不同類(lèi)別中的數(shù)據(jù)間的相似性盡可能小。

它可以應(yīng)用到客戶(hù)群體的分類(lèi)、客戶(hù)背景分析、客戶(hù)購(gòu)買(mǎi)趨勢(shì)預(yù)測(cè)、市場(chǎng)的細(xì)分等。

關(guān)聯(lián)規(guī)則

關(guān)聯(lián)規(guī)則是描述數(shù)據(jù)庫(kù)中數(shù)據(jù)項(xiàng)之間所存在的關(guān)系的規(guī)則，即根據(jù)一個(gè)事務(wù)中某些項(xiàng)的出現(xiàn)可導(dǎo)出另一些項(xiàng)在同一事務(wù)中也出現(xiàn)，即隱藏在數(shù)據(jù)間的關(guān)聯(lián)或相互關(guān)系。

在客戶(hù)關(guān)系管理中，通過(guò)對(duì)企業(yè)的客戶(hù)數(shù)據(jù)庫(kù)里的大量數(shù)據(jù)進(jìn)行挖掘，可以從大量的記錄中發(fā)現(xiàn)有趣的關(guān)聯(lián)關(guān)系，找出影響市場(chǎng)營(yíng)銷(xiāo)效果的關(guān)鍵因素，為產(chǎn)品定位、定價(jià)與定制客戶(hù)群，客戶(hù)尋求、細(xì)分與保持，市場(chǎng)營(yíng)銷(xiāo)與推銷(xiāo)，營(yíng)銷(xiāo)風(fēng)險(xiǎn)評(píng)估和詐騙預(yù)測(cè)等決策支持提供參考依據(jù)。

特征分析

特征分析是從數(shù)據(jù)庫(kù)中的一組數(shù)據(jù)中提取出關(guān)于這些數(shù)據(jù)的特征式，這些特征式表達(dá)了該數(shù)據(jù)集的總體特征。如營(yíng)銷(xiāo)人員通過(guò)對(duì)客戶(hù)流失因素的特征提取，可以得到導(dǎo)致客戶(hù)流失的一系列原因和主要特征，利用這些特征可以有效地預(yù)防客戶(hù)的流失。

變化和偏差分析

偏差包括很大一類(lèi)潛在有趣的知識(shí)，如分類(lèi)中的反常實(shí)例，模式的例外，觀察結(jié)果對(duì)期望的偏差等，其目的是尋找觀察結(jié)果與參照量之間有意義的差別。在企業(yè)危機(jī)管理及其預(yù)警中，管理者更感興趣的是那些意外規(guī)則。意外規(guī)則的挖掘可以應(yīng)用到各種異常信息的發(fā)現(xiàn)、分析、識(shí)別、評(píng)價(jià)和預(yù)警等方面。

Web頁(yè)挖掘

隨著Internet的迅速發(fā)展及Web 的全球普及， 使得Web上的信息量無(wú)比豐富，通過(guò)對(duì)Web的挖掘，可以利用Web 的海量數(shù)據(jù)進(jìn)行分析，收集政治、經(jīng)濟(jì)、政策、科技、金融、各種市場(chǎng)、競(jìng)爭(zhēng)對(duì)手、供求信息、客戶(hù)等有關(guān)的信息，集中精力分析和處理那些對(duì)企業(yè)有重大或潛在重大影響的外部環(huán)境信息和內(nèi)部經(jīng)營(yíng)信息，并根據(jù)分析結(jié)果找出企業(yè)管理過(guò)程中出現(xiàn)的各種問(wèn)題和可能引起危機(jī)的先兆，對(duì)這些信息進(jìn)行分析和處理，以便識(shí)別、分析、評(píng)價(jià)和管理危機(jī)。

數(shù)據(jù)挖掘是一種決策支持過(guò)程，它通過(guò)高度自動(dòng)化地分析企業(yè)的數(shù)據(jù)，做出歸納性的推理，從中挖掘出潛在的模式，幫助決策者調(diào)整市場(chǎng)策略，減少風(fēng)險(xiǎn)，做出正確的決策。這對(duì)于一個(gè)企業(yè)的發(fā)展十分重要。