你真的知道數(shù)據(jù)挖掘的定義嗎

我對做事的流程非常感興趣。我想要知道一些可以把事情做好的好方法，甚至在可能的情況下可以知道做這些事情的最好方式。就算你的技能不強(qiáng)，理解相關(guān)方面的知識不深，這個過程也可以幫你在后面長時間的過程中解決這些問題。它可以指引你如何變得更有技能，同時對相關(guān)知識有深層次的了解。至少，我曾經(jīng)就是用這樣的方式完成了很多的工作。

我認(rèn)為學(xué)習(xí)數(shù)據(jù)挖掘是很有用的，正如它以從數(shù)據(jù)中進(jìn)行發(fā)現(xiàn)的過程的形式展現(xiàn)出來的那樣。在這篇文章中，你會從相關(guān)的教材和論文中探索一些關(guān)于“數(shù)據(jù)挖掘”的官方定義。就像數(shù)據(jù)挖掘是一個過程那樣，數(shù)據(jù)挖掘的定義會包括好幾個關(guān)于這個過程的解釋。

比較權(quán)威的教材

在這部分當(dāng)中，我們會從兩本涉及數(shù)據(jù)挖掘領(lǐng)域的權(quán)威教材中尋找關(guān)于“數(shù)據(jù)挖掘”的定義。

數(shù)據(jù)挖掘：使用的機(jī)器學(xué)習(xí)工具和方法

這是一本由Lan Witten和Eibe Frank編寫的教材。

在這本書的序言中，作者是這樣作序的：

“數(shù)據(jù)挖掘是對一些含蓄的、我們事先不知道的而又是非常有用的信息數(shù)據(jù)的提取過程。它的思想則是編一套程序，這套程序幫助我們動態(tài)的篩選數(shù)據(jù)集，尋找其中相關(guān)的規(guī)律和模型。如果能找到一個很好的模型，它更有可能會推廣到對未來的數(shù)據(jù)進(jìn)行準(zhǔn)確的預(yù)測……機(jī)器學(xué)習(xí)則會基于數(shù)據(jù)挖掘提供相應(yīng)的方法。這用于從一個包含未經(jīng)處理的數(shù)據(jù)集中提取相關(guān)的信息….”

在這本書的第一章中，作者是這樣寫的：

“數(shù)據(jù)挖掘是一個被定義為從數(shù)據(jù)中發(fā)現(xiàn)相關(guān)的模型的過程。這個過程必須是自動的(通常是這種情況)或者是半自動的。而這些被發(fā)現(xiàn)的模型必須在它可以給我們帶來一些好處，尤其是經(jīng)濟(jì)利益的時候才有意義，因?yàn)閿?shù)據(jù)總是大量的存在?！?/span>

在我早期入行就讀了這本書，而且這本書講到關(guān)于數(shù)據(jù)挖掘的定義和它與機(jī)器學(xué)習(xí)的聯(lián)系與我當(dāng)時工作聯(lián)系十分緊密。每當(dāng)我使用機(jī)器學(xué)習(xí)方法的時候，我總會使用一個與數(shù)據(jù)挖掘類似的過程，除非我沒有從本質(zhì)上嘗試去發(fā)現(xiàn)一個模型，這時我更偏向于針對一個定義的問題尋找一個“足夠好”的解決方案。

數(shù)據(jù)挖掘：概念和方法

這是由韓家煒(美國伊利諾伊大學(xué)香檳分校計(jì)算機(jī)系正教授)和Mucheline Kamber編寫的教材。

這本教材的序言是這樣的：

“數(shù)據(jù)挖掘，很多人又把它稱作是對數(shù)據(jù)的知識發(fā)現(xiàn)(KDD)，是一個動態(tài)和簡便的抓取方式，而其中相關(guān)模型所展現(xiàn)出的復(fù)雜的知識是從大的數(shù)據(jù)集、數(shù)據(jù)倉庫、網(wǎng)頁，以及其它一些大型的信息庫或數(shù)據(jù)流中被存儲或抓取起來?！?/span>

這里和知識發(fā)現(xiàn)的定義有一點(diǎn)點(diǎn)不錯，在我看來主要是涉及這一領(lǐng)域的一些準(zhǔn)則。我相信一個更能被人接受的KDD定義是被稱作數(shù)據(jù)集中的知識發(fā)現(xiàn)。

在教材的第一章中，作者概括了知識發(fā)現(xiàn)的過程(在書本的7到8頁)：

l 數(shù)據(jù)清洗：移除一些不完整的和對結(jié)果有影響的數(shù)據(jù)。

l 數(shù)據(jù)整合：把多個數(shù)據(jù)源的數(shù)據(jù)進(jìn)行組合。

l 數(shù)據(jù)選擇：哪里的數(shù)據(jù)和我們的分析任務(wù)相關(guān)，我們從那個數(shù)據(jù)集里找出這些數(shù)據(jù)。

l 數(shù)據(jù)選擇：當(dāng)數(shù)據(jù)已經(jīng)經(jīng)過轉(zhuǎn)換處理并形成一個合適的數(shù)據(jù)挖掘形式以后，我們需要在此進(jìn)行歸納和整合操作。

l 數(shù)據(jù)挖掘：這是應(yīng)用智能方法來提取數(shù)據(jù)并建立模型的核心過程。

l 模型預(yù)測：確認(rèn)一個真正有趣的模型，這個模型是基于興趣展現(xiàn)出相關(guān)的知識。

l 知識展示：通過可視化操作和知識展現(xiàn)的方法給用戶展示通過挖掘得出的信息。

在這本書中，作者注釋到：數(shù)據(jù)挖掘通常來說可能更加傾向于整個知識挖掘的過程，因?yàn)樗且粋€短期的過程。

具有共識性的文章

在這部分，我們會在這一領(lǐng)域一些具有共識性的文章來探索數(shù)據(jù)庫方面的知識挖掘這一過程。這些文章都是repreitable方法的雜志而不是過往的期刊。因此，一些不太正式的口味被用到了一個高級話題的有用的討論中。

數(shù)據(jù)庫中從數(shù)據(jù)挖掘到知識發(fā)現(xiàn)

這是一篇由Usama Fayyad，Gregory Piatetsky-Shapiro和Padhraic Smyth寫的，并在1996年刊登在AL雜志的文章。

他們把KDD看作是數(shù)據(jù)庫的知識挖掘，而下面的這個定義我們則更加熟悉： “KDD領(lǐng)域是隨著數(shù)據(jù)的了解的方法和技能的發(fā)展，而這個過程的核心則是特殊的數(shù)據(jù)挖掘的方法在模型的發(fā)現(xiàn)和提取方面的應(yīng)用?！?/span>

還有：

“KDD被用于從數(shù)據(jù)中發(fā)現(xiàn)有用的知識的整個過程，而且數(shù)據(jù)挖掘在這個過程中是很多人都會使用的一個特殊的步驟。數(shù)據(jù)挖掘是采用特殊的算法從數(shù)據(jù)中提取出相關(guān)模型的應(yīng)用。”

作者在一張含有一個函數(shù)實(shí)體的箱子，以及這個過程里箱子被轉(zhuǎn)化為箱子的圖片提供了一個很好的歸納。下面是這樣歸納的：我一般對于使用圖片來解釋說明都抱有謹(jǐn)慎的態(tài)度，不好意思，如果這個時候正式出版就比較困難了。

第一步：選擇(從數(shù)據(jù)中找到目標(biāo)數(shù)據(jù))。

第二步：預(yù)處理過程(對目標(biāo)數(shù)據(jù)進(jìn)行處理)。

第三步：轉(zhuǎn)換(把預(yù)處理過的數(shù)據(jù)進(jìn)行轉(zhuǎn)化處理)。

第四步：數(shù)據(jù)挖掘(對經(jīng)過轉(zhuǎn)換處理的數(shù)據(jù)進(jìn)行建模)。

第五步：從知識的角度分析和評估這個模型。

這個過程很簡單，而且我喜歡把這個模型用到我遇到的問題中。

從大量數(shù)據(jù)中提取有用的知識的過程

這是一篇由 Usama Fayyad、Gregory Piatetsky-Shapiro和Padhraic Smyth在1996年在ACM通信上面的文章。

在這篇文章中，作者對KDD過程作了一個更詳細(xì)的歸納。這篇涉及更多細(xì)節(jié)的版本的文章是“從數(shù)據(jù)挖掘……”，但我覺得這篇文章表達(dá)的內(nèi)容不夠清晰。這篇涉及更多關(guān)于KDD過程的細(xì)節(jié)的文章經(jīng)過一點(diǎn)修改如下：

明白其中的應(yīng)用領(lǐng)域和這個過程的目標(biāo)。

對所以可行的數(shù)據(jù)建立一個數(shù)據(jù)集子集。

數(shù)據(jù)清洗和數(shù)據(jù)預(yù)處理可以去除其中的雜質(zhì)、處理錯誤的數(shù)據(jù)和極端值。

數(shù)據(jù)的簡化和預(yù)測是為了能把焦點(diǎn)集中到與問題相關(guān)的功能上。

這是一個數(shù)據(jù)挖掘方法匹配其相應(yīng)目的的過程。決定這個模型使用的目的，比如歸納和分類。

選擇一個可以與相應(yīng)模型使用的目的匹配的數(shù)據(jù)挖掘的算法(第五步的延續(xù))。

數(shù)據(jù)挖掘，即，在數(shù)據(jù)上運(yùn)行算法。

挖掘模型的解釋是為了能讓用戶更好的明白其中的結(jié)果，諸如采用歸納和可視化操作的方法。

在已發(fā)現(xiàn)的知識上進(jìn)行操作，諸如報告和決策。

我喜歡在這個過程中看到信息。這應(yīng)了我的需要去明白使用這個過程的目的，以及可以持續(xù)的運(yùn)行一個算法從而選出可以與這個目的匹配的模型。

總結(jié)歸納

通過閱讀這篇文章，你已經(jīng)知道了數(shù)據(jù)挖掘是一個對現(xiàn)有的數(shù)據(jù)進(jìn)行知識發(fā)現(xiàn)和挖掘出一個模型的過程。你也從中知道了這個過程通常包括幾個步驟包含了數(shù)據(jù)的展現(xiàn)、算法的運(yùn)行和結(jié)果的展現(xiàn)。

你從中學(xué)到了機(jī)器學(xué)習(xí)是用于數(shù)據(jù)挖掘的工具，而數(shù)據(jù)挖掘又是在數(shù)據(jù)庫進(jìn)行知識發(fā)現(xiàn)或KDD的一個很重要的步驟，而這兩者又是在這個術(shù)語中是相提并論的，因?yàn)檫@樣比較容易表達(dá)。

你也知道了當(dāng)你在你的項(xiàng)目運(yùn)用機(jī)器學(xué)習(xí)的時候，你可能會運(yùn)行一些KDD過程的模式，而這個過程是有目的的解決一個問題而不是只是做知識發(fā)現(xiàn)。