數(shù)據(jù)挖掘七種常用的方法匯總

數(shù)據(jù)挖掘(Data Mining)就是從大量的、不完全的、有噪聲的、模糊的、隨機的實際應用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。這個定義包括幾層含義：數(shù)據(jù)源必須是真實的、大量的、含噪聲的；發(fā)現(xiàn)的是用戶感興趣的知識；發(fā)現(xiàn)的知識要可接受、可理解、可運用；并不要求發(fā)現(xiàn)放之四海皆準的知識，僅支持特定的發(fā)現(xiàn)問題。這里的知識一般指規(guī)則、概念、規(guī)律及模式等。
數(shù)據(jù)挖掘建模過程

定義挖掘目標

針對具體的數(shù)據(jù)挖掘應用需求，首先要非常清楚，本次挖掘的目標是什么？系統(tǒng)完成后能達到什么樣的效果？因此我們必須分析應用領(lǐng)域，包括應用中的各種知識和應用目標。了解相關(guān)領(lǐng)域的有關(guān)情況，熟悉背景知識，弄清用戶需求。要想充分發(fā)揮數(shù)據(jù)挖掘的價值，必須要對目標有一個清晰明確的定義，即決定到底想干什么。否則，很難得到正確的結(jié)果。
數(shù)據(jù)取樣

數(shù)據(jù)采集前首要考慮的問題包括：哪些數(shù)據(jù)源可用，哪些數(shù)據(jù)與當前挖掘目標相關(guān)？如何保證取樣數(shù)據(jù)的質(zhì)量？是否在足夠范圍內(nèi)有代表性？數(shù)據(jù)樣本取多少合適？如何分類(訓練集、驗證集、測試集)等等。

在明確了需要進行數(shù)據(jù)挖掘的目標后，接下來就需要從業(yè)務系統(tǒng)中抽取一個與挖掘目標相關(guān)的樣本數(shù)據(jù)子集。抽取數(shù)據(jù)的標準，一是相關(guān)性，二是可靠性，三是最新性。

進行數(shù)據(jù)取樣一定要嚴把質(zhì)量關(guān)，在任何時候都不要忽視數(shù)據(jù)的質(zhì)量，即使是從一個數(shù)據(jù)倉庫中進行數(shù)據(jù)取樣，也不要忘記檢查其質(zhì)量如何。因為數(shù)據(jù)挖掘是探索企業(yè)運作的內(nèi)在規(guī)律，原始數(shù)據(jù)有誤，就很難從中探索規(guī)律性。
數(shù)據(jù)探索

當拿到一個樣本數(shù)據(jù)集后，它是否達到我們原來設想的要求，其中有沒有什么明顯的規(guī)律和趨勢，有沒有出現(xiàn)從未設想過的數(shù)據(jù)狀態(tài)，因素之間有什么相關(guān)性，它們可區(qū)分成怎樣一些類別，這都是要首先探索的內(nèi)容。數(shù)據(jù)探索和預處理的目的是為了保證樣本數(shù)據(jù)的質(zhì)量，從而為保證預測質(zhì)量打下基礎。數(shù)據(jù)探索包括：異常值分析、缺失值分析、相關(guān)分析、周期性分析、樣本交叉驗證等。
數(shù)據(jù)預處理和清洗

采樣數(shù)據(jù)維度過大，如何進行降維處理，采用數(shù)據(jù)中的缺失值如何處理，這些都是數(shù)據(jù)預處理需要解決的問題。數(shù)據(jù)預處理主要包含如下內(nèi)容：數(shù)據(jù)篩選，數(shù)據(jù)變量轉(zhuǎn)換，缺失值處理，壞數(shù)據(jù)處理，數(shù)據(jù)標準化，主成分分析，屬性選擇等。
數(shù)據(jù)挖掘模式發(fā)現(xiàn)

樣本抽取完成并經(jīng)預處理后，接下來要考慮的問題是：本次建模屬于數(shù)據(jù)挖掘應用中的哪類問題(分類、聚類、關(guān)聯(lián)規(guī)則或者時序分析)，選用哪種算法進行模型構(gòu)建？

模型構(gòu)建的前提是在樣本數(shù)據(jù)集中發(fā)現(xiàn)模式，比如關(guān)聯(lián)規(guī)則、分類預測、聚類分析、時序模式等。在目標進一步明確化的基礎上，我們就可以按照問題的具體要求來重新審視已經(jīng)采集的數(shù)據(jù)，看它是否適合挖掘的需要。

針對挖掘目標的需要可能需要對數(shù)據(jù)進行增刪，也可能按照對整個數(shù)據(jù)挖掘過程的新認識，要組合或者新生成一些新的變量，以體現(xiàn)對狀態(tài)的有效的描述。在挖掘目標進一步明確，數(shù)據(jù)結(jié)構(gòu)和內(nèi)容進一步調(diào)整的基礎上，下一步數(shù)據(jù)挖掘應采用的技術(shù)手段就更加清晰、明確了。
數(shù)據(jù)挖掘模型構(gòu)建

模型構(gòu)建是反映的是采樣數(shù)據(jù)內(nèi)部結(jié)構(gòu)的一般特征，并與該采樣數(shù)據(jù)的具體結(jié)構(gòu)基本吻合。對于預測模型（包括分類與回歸模型、時序預測模型）來說，模型的具體化就是預測公式，公式可以產(chǎn)生與觀察值有類似結(jié)構(gòu)的輸出，這就是預測值。預測模型是多種多樣的，可以適用于不同結(jié)構(gòu)的樣本數(shù)據(jù)。正確選擇預測模型是數(shù)據(jù)挖掘很關(guān)鍵的一步，有時由于模型選擇不當，造成預測誤差過大，就需要改換模型。必要時，可同時采用幾種預測模型進行運算以便對比、選擇。對建立模型來說，要記住最重要的就是它是一個反復的過程，需要仔細考察不同的模型以判斷哪個模型對解決問題最有效。
預測模型的構(gòu)建通常包括模型建立、模型訓練、模型驗證和模型預測 4個步驟，但根據(jù)不同的數(shù)據(jù)挖掘分類應用會有細微的變化。
數(shù)據(jù)挖掘模型評價

評價的目的之一就是從這些模型中自動找出一個最好的模型來，另外就是要針對業(yè)務對模型進行解釋和應用。預測模型評價和聚類模型的評價方法是不同的。

預測模型對訓練集進行預測而得出的準確率并不能很好地反映分類模型未來的性能，為了能預測分類模型在新數(shù)據(jù)上的性能表現(xiàn)，需要一組沒有參與分類模型建立的數(shù)據(jù)集，并在該數(shù)據(jù)集上評價分類器的準確率，這組獨立的數(shù)據(jù)集就是測試集。這是一種基于驗證的評估方法，常用的方法有保持法、隨機二次抽樣、自助法、交叉驗證等。

聚類分群效果可以用向量數(shù)據(jù)之間的相似度來衡量，向量數(shù)據(jù)之間的相似度定義為兩個向量之間的距離（實時向量數(shù)據(jù)與聚類中心向量數(shù)據(jù)），距離越近則相似度越大，即該實時向量數(shù)據(jù)歸為某個聚類。

數(shù)據(jù)挖掘方法

利用數(shù)據(jù)挖掘進行數(shù)據(jù)分析常用的方法主要有分類、回歸分析、聚類、關(guān)聯(lián)規(guī)則、特征、變化和偏差分析、Web頁挖掘等， 它們分別從不同的角度對數(shù)據(jù)進行挖掘。

分類

分類是找出數(shù)據(jù)庫中一組數(shù)據(jù)對象的共同特點并按照分類模式將其劃分為不同的類，其目的是通過分類模型，將數(shù)據(jù)庫中的數(shù)據(jù)項映射到某個給定的類別。

它可以應用到客戶的分類、客戶的屬性和特征分析、客戶滿意度分析、客戶的購買趨勢預測等，如一個汽車零售商將客戶按照對汽車的喜好劃分成不同的類，這樣營銷人員就可以將新型汽車的廣告手冊直接郵寄到有這種喜好的客戶手中，從而大大增加了商業(yè)機會。

回歸分析

回歸分析方法反映的是事務數(shù)據(jù)庫中屬性值在時間上的特征，產(chǎn)生一個將數(shù)據(jù)項映射到一個實值預測變量的函數(shù)，發(fā)現(xiàn)變量或?qū)傩蚤g的依賴關(guān)系，其主要研究問題包括數(shù)據(jù)序列的趨勢特征、數(shù)據(jù)序列的預測以及數(shù)據(jù)間的相關(guān)關(guān)系等。

它可以應用到市場營銷的各個方面，如客戶尋求、保持和預防客戶流失活動、產(chǎn)品生命周期分析、銷售趨勢預測及有針對性的促銷活動等。

聚類

聚類分析是把一組數(shù)據(jù)按照相似性和差異性分為幾個類別，其目的是使得屬于同一類別的數(shù)據(jù)間的相似性盡可能大，不同類別中的數(shù)據(jù)間的相似性盡可能小。

它可以應用到客戶群體的分類、客戶背景分析、客戶購買趨勢預測、市場的細分等。

關(guān)聯(lián)規(guī)則

關(guān)聯(lián)規(guī)則是描述數(shù)據(jù)庫中數(shù)據(jù)項之間所存在的關(guān)系的規(guī)則，即根據(jù)一個事務中某些項的出現(xiàn)可導出另一些項在同一事務中也出現(xiàn)，即隱藏在數(shù)據(jù)間的關(guān)聯(lián)或相互關(guān)系。

在客戶關(guān)系管理中，通過對企業(yè)的客戶數(shù)據(jù)庫里的大量數(shù)據(jù)進行挖掘，可以從大量的記錄中發(fā)現(xiàn)有趣的關(guān)聯(lián)關(guān)系，找出影響市場營銷效果的關(guān)鍵因素，為產(chǎn)品定位、定價與定制客戶群，客戶尋求、細分與保持，市場營銷與推銷，營銷風險評估和詐騙預測等決策支持提供參考依據(jù)。

特征分析

特征分析是從數(shù)據(jù)庫中的一組數(shù)據(jù)中提取出關(guān)于這些數(shù)據(jù)的特征式，這些特征式表達了該數(shù)據(jù)集的總體特征。如營銷人員通過對客戶流失因素的特征提取，可以得到導致客戶流失的一系列原因和主要特征，利用這些特征可以有效地預防客戶的流失。

變化和偏差分析

偏差包括很大一類潛在有趣的知識，如分類中的反常實例，模式的例外，觀察結(jié)果對期望的偏差等，其目的是尋找觀察結(jié)果與參照量之間有意義的差別。在企業(yè)危機管理及其預警中，管理者更感興趣的是那些意外規(guī)則。意外規(guī)則的挖掘可以應用到各種異常信息的發(fā)現(xiàn)、分析、識別、評價和預警等方面。

Web頁挖掘

隨著Internet的迅速發(fā)展及Web 的全球普及， 使得Web上的信息量無比豐富，通過對Web的挖掘，可以利用Web 的海量數(shù)據(jù)進行分析，收集政治、經(jīng)濟、政策、科技、金融、各種市場、競爭對手、供求信息、客戶等有關(guān)的信息，集中精力分析和處理那些對企業(yè)有重大或潛在重大影響的外部環(huán)境信息和內(nèi)部經(jīng)營信息，并根據(jù)分析結(jié)果找出企業(yè)管理過程中出現(xiàn)的各種問題和可能引起危機的先兆，對這些信息進行分析和處理，以便識別、分析、評價和管理危機。

數(shù)據(jù)挖掘是一種決策支持過程，它通過高度自動化地分析企業(yè)的數(shù)據(jù)，做出歸納性的推理，從中挖掘出潛在的模式，幫助決策者調(diào)整市場策略，減少風險，做出正確的決策。這對于一個企業(yè)的發(fā)展十分重要。