數(shù)據(jù)挖掘與數(shù)據(jù)建模的九大定律(1)

數(shù)據(jù)挖掘是利用業(yè)務(wù)知識(shí)從數(shù)據(jù)中發(fā)現(xiàn)和解釋知識(shí)（或稱(chēng)為模式）的過(guò)程，這種知識(shí)是以自然或者人工形式創(chuàng)造的新知識(shí)。 

當(dāng)前的數(shù)據(jù)挖掘形式，是在20世紀(jì)90年代實(shí)踐領(lǐng)域誕生的，是在集成數(shù)據(jù)挖掘算法平臺(tái)發(fā)展的支撐下適合商業(yè)分析的一種形式。也許是因?yàn)?a href='/map/shujuwajue/' style='color:#000;font-size:inherit;'>數(shù)據(jù)挖掘源于實(shí)踐而非 理論，在其過(guò)程的理解上不太引人注意。20世紀(jì)90年代晚期發(fā)展的CRISP-DM，逐漸成為數(shù)據(jù)挖掘過(guò)程的一種標(biāo)準(zhǔn)化過(guò)程，被越來(lái)越多的數(shù)據(jù)挖掘實(shí)踐者 成功運(yùn)用和遵循。 

雖然CRISP-DM能夠指導(dǎo)如何實(shí)施數(shù)據(jù)挖掘，但是它不能解釋數(shù)據(jù)挖掘是什么或者為什么適合這樣做。在本文中我將闡述我提出數(shù)據(jù)挖掘的九種準(zhǔn)則或“定律”（其中大多數(shù)為實(shí)踐者所熟知）以及另外其它一些熟知的解釋。開(kāi)始從理論上（不僅僅是描述上）來(lái)解釋數(shù)據(jù)挖掘過(guò)程。 

我的目的不是評(píng)論CRISP-DM，但CRISP-DM的許多概念對(duì)于理解數(shù)據(jù)挖掘是至關(guān)重要的，本文也將依賴(lài)于CRISP-DM的常見(jiàn)術(shù)語(yǔ)。CRISP-DM僅僅是論述這個(gè)過(guò)程的開(kāi)始。 

第一，目標(biāo)律：業(yè)務(wù)目標(biāo)是所有數(shù)據(jù)解決方案的源頭。 

它定義了數(shù)據(jù)挖掘的主題：數(shù)據(jù)挖掘關(guān)注解決業(yè)務(wù)業(yè)問(wèn)題和實(shí)現(xiàn)業(yè)務(wù)目標(biāo)。數(shù)據(jù)挖掘主要不是一種技術(shù)，而是一個(gè)過(guò)程，業(yè)務(wù)目標(biāo)是它的的核心。 沒(méi)有業(yè)務(wù)目標(biāo)，沒(méi)有數(shù)據(jù)挖掘（不管這種表述是否清楚）。因此這個(gè)準(zhǔn)則也可以說(shuō)成：數(shù)據(jù)挖掘是業(yè)務(wù)過(guò)程。 

第二，知識(shí)律：業(yè)務(wù)知識(shí)是數(shù)據(jù)挖掘過(guò)程每一步的核心。 

這里定義了數(shù)據(jù)挖掘過(guò)程的一個(gè)關(guān)鍵特征。CRISP-DM的一種樸素的解讀是業(yè)務(wù)知識(shí)僅僅作用于數(shù)據(jù)挖掘過(guò)程開(kāi)始的目標(biāo)的定義與最后的結(jié)果的實(shí)施，這將錯(cuò)過(guò)數(shù)據(jù)挖掘過(guò)程的一個(gè)關(guān)鍵屬性，即業(yè)務(wù)知識(shí)是每一步的核心。

為了方便理解，我使用CRISP-DM階段來(lái)說(shuō)明： 

商業(yè)理解必須基于業(yè)務(wù)知識(shí)，所以數(shù)據(jù)挖掘目標(biāo)必須是業(yè)務(wù)目標(biāo)的映射（這種映射也基于數(shù)據(jù)知識(shí)和數(shù)據(jù)挖掘知識(shí)）； 

數(shù)據(jù)理解使用業(yè)務(wù)知識(shí)理解與業(yè)務(wù)問(wèn)題相關(guān)的數(shù)據(jù)，以及它們是如何相關(guān)的； 

數(shù)據(jù)預(yù)處理就是利用業(yè)務(wù)知識(shí)來(lái)塑造數(shù)據(jù)，使得業(yè)務(wù)問(wèn)題可以被提出和解答（更詳盡的第三條—準(zhǔn)備律）； 

建模是使用數(shù)據(jù)挖掘算法創(chuàng)建預(yù)測(cè)模型，同時(shí)解釋模型和業(yè)務(wù)目標(biāo)的特點(diǎn)，也就是說(shuō)理解它們之間的業(yè)務(wù)相關(guān)性；

評(píng)估是模型對(duì)理解業(yè)務(wù)的影響； 

實(shí)施是將數(shù)據(jù)挖掘結(jié)果作用于業(yè)務(wù)過(guò)程；

 總之，沒(méi)有業(yè)務(wù)知識(shí)，數(shù)據(jù)挖掘過(guò)程的每一步都是無(wú)效的，也沒(méi)有“純粹的技術(shù)”步驟。 業(yè)務(wù)知識(shí)指導(dǎo)過(guò)程產(chǎn)生有益的結(jié)果，并使得那些有益的結(jié)果得到認(rèn)可。數(shù)據(jù)挖掘是一個(gè)反復(fù)的過(guò)程，業(yè)務(wù)知識(shí)是它的核心，驅(qū)動(dòng)著結(jié)果的持續(xù)改善。 

這背后的原因可以用“鴻溝的表現(xiàn)”（chasm of representation）來(lái)解釋?zhuān)?/span>Alan Montgomery在20世紀(jì)90年代對(duì)數(shù)據(jù)挖掘提出的一個(gè)觀點(diǎn)）。Montgomery指出數(shù)據(jù)挖掘目標(biāo)涉及到現(xiàn)實(shí)的業(yè)務(wù)，然而數(shù)據(jù)僅能表示現(xiàn)實(shí)的一 部分；數(shù)據(jù)和現(xiàn)實(shí)世界是有差距（或“鴻溝”）的。在數(shù)據(jù)挖掘過(guò)程中，業(yè)務(wù)知識(shí)來(lái)彌補(bǔ)這一差距，在數(shù)據(jù)中無(wú)論發(fā)現(xiàn)什么，只有使用業(yè)務(wù)知識(shí)解釋才能顯示其重要 性，數(shù)據(jù)中的任何遺漏必須通過(guò)業(yè)務(wù)知識(shí)彌補(bǔ)。只有業(yè)務(wù)知識(shí)才能彌補(bǔ)這種缺失，這是業(yè)務(wù)知識(shí)為什么是數(shù)據(jù)挖掘過(guò)程每一步驟的核心的原因。 

第三，準(zhǔn)備律：數(shù)據(jù)預(yù)處理比數(shù)據(jù)挖掘其他任何一個(gè)過(guò)程都重要。 

這是數(shù)據(jù)挖掘著名的格言，數(shù)據(jù)挖掘項(xiàng)目中最費(fèi)力的事是數(shù)據(jù)獲取和預(yù)處理。非正式估計(jì)，其占用項(xiàng)目的時(shí)間為50%-80%。最簡(jiǎn)單的解釋可以概括為“數(shù)據(jù)是困 難的”，經(jīng)常采用自動(dòng)化減輕這個(gè)“問(wèn)題”的數(shù)據(jù)獲取、數(shù)據(jù)清理、數(shù)據(jù)轉(zhuǎn)換等數(shù)據(jù)預(yù)處理各部分的工作量。雖然自動(dòng)化技術(shù)是有益的，支持者相信這項(xiàng)技術(shù)可以減 少數(shù)據(jù)預(yù)處理過(guò)程中的大量的工作量，但這也是誤解數(shù)據(jù)預(yù)處理在數(shù)據(jù)挖掘過(guò)程中是必須的原因。 

數(shù)據(jù)預(yù)處理的目的是把數(shù)據(jù)挖掘問(wèn)題轉(zhuǎn)化為格式化的數(shù)據(jù)，使得分析技術(shù)（如數(shù)據(jù)挖掘算法）更容易利用它。數(shù)據(jù)任何形式的變化（包括清理、最大最小值轉(zhuǎn)換、增長(zhǎng) 等）意味著問(wèn)題空間的變化，因此這種分析必須是探索性的。 這是數(shù)據(jù)預(yù)處理重要的原因，并且在數(shù)據(jù)挖掘過(guò)程中占有如此大的工作量，這樣數(shù)據(jù)挖掘者可以從容 地操縱問(wèn)題空間，使得容易找到適合分析他們的方法。 

有兩種方法“塑造”這個(gè)問(wèn)題 空間。第一種方法是將數(shù)據(jù)轉(zhuǎn)化為可以分析的完全格式化的數(shù)據(jù)，比如，大多數(shù)數(shù)據(jù)挖掘算法需要單一表格形式的數(shù)據(jù)，一個(gè)記錄就是一個(gè)樣例。數(shù)據(jù)挖掘者都知道 什么樣的算法需要什么樣的數(shù)據(jù)形式，因此可以將數(shù)據(jù)轉(zhuǎn)化為一個(gè)合適的格式。第二種方法是使得數(shù)據(jù)能夠含有業(yè)務(wù)問(wèn)題的更多的信息，例如，某些領(lǐng)域的一些數(shù)據(jù) 挖掘問(wèn)題，數(shù)據(jù)挖掘者可以通過(guò)業(yè)務(wù)知識(shí)和數(shù)據(jù)知識(shí)知道這些。 通過(guò)這些領(lǐng)域的知識(shí)，數(shù)據(jù)挖掘者通過(guò)操縱問(wèn)題空間可能更容易找到一個(gè)合適的技術(shù)解決方案。 

因此，通過(guò)業(yè)務(wù)知識(shí)、數(shù)據(jù)知識(shí)、數(shù)據(jù)挖掘知識(shí)從根本上使得數(shù)據(jù)預(yù)處理更加得心應(yīng)手。 數(shù)據(jù)預(yù)處理的這些方面并不能通過(guò)簡(jiǎn)單的自動(dòng)化實(shí)現(xiàn)。 

這個(gè)定律也解釋了一個(gè)有疑義的現(xiàn)象，也就是雖然經(jīng)過(guò)數(shù)據(jù)獲取、清理、融合等方式創(chuàng)建一個(gè)數(shù)據(jù)倉(cāng)庫(kù)，但是數(shù)據(jù)預(yù)處理仍然是必不可少的，仍然占有數(shù)據(jù)挖掘過(guò)程一 半以上的工作量。此外，就像CRISP-DM展示的那樣，即使經(jīng)過(guò)了主要的數(shù)據(jù)預(yù)處理階段，在創(chuàng)建一個(gè)有用的模型的反復(fù)過(guò)程中，進(jìn)一步的數(shù)據(jù)預(yù)處理的必要的。 

第四，試驗(yàn)律（NFL律：No Free Lunch）：對(duì)于數(shù)據(jù)挖掘者來(lái)說(shuō)，天下沒(méi)有免費(fèi)的午餐，一個(gè)正確的模型只有通過(guò)試驗(yàn)（experiment）才能被發(fā)現(xiàn)。 

機(jī)器學(xué)習(xí)有一個(gè)原則：如果我們充分了解一個(gè)問(wèn)題空間（problem space），我們可以選擇或設(shè)計(jì)一個(gè)找到最優(yōu)方案的最有效的算法。一個(gè)卓越算法的參數(shù)依賴(lài)于數(shù)據(jù)挖掘問(wèn)題空間一組特定的屬性集，這些屬性可以通過(guò)分析發(fā) 現(xiàn)或者算法創(chuàng)建。但是，這種觀點(diǎn)來(lái)自于一個(gè)錯(cuò)誤的思想，在數(shù)據(jù)挖掘過(guò)程中數(shù)據(jù)挖掘者將問(wèn)題公式化，然后利用算法找到解決方法。事實(shí)上，數(shù)據(jù)挖掘者將問(wèn)題公 式化和尋找解決方法是同時(shí)進(jìn)行的—–算法僅僅是幫助數(shù)據(jù)挖掘者的一個(gè)工具。 

有五種因素說(shuō)明試驗(yàn)對(duì)于尋找數(shù)據(jù)挖掘解決方案是必要的：

 數(shù)據(jù)挖掘項(xiàng)目的業(yè)務(wù)目標(biāo)定義了興趣范圍（定義域），數(shù)據(jù)挖掘目標(biāo)反映了這一點(diǎn)； 

與業(yè)務(wù)目標(biāo)相關(guān)的數(shù)據(jù)及其相應(yīng)的數(shù)據(jù)挖掘目標(biāo)是在這個(gè)定義域上的數(shù)據(jù)挖掘過(guò)程產(chǎn)生的； 

這些過(guò)程受規(guī)則限制，而這些過(guò)程產(chǎn)生的數(shù)據(jù)反映了這些規(guī)則； 

在這些過(guò)程中，數(shù)據(jù)挖掘的目的是通過(guò)模式發(fā)現(xiàn)技術(shù)（數(shù)據(jù)挖掘算法）和可以解釋這個(gè)算法結(jié)果的業(yè)務(wù)知識(shí)相結(jié)合的方法來(lái)揭示這個(gè)定義域上的規(guī)則； 

數(shù)據(jù)挖掘需要在這個(gè)域上生成相關(guān)數(shù)據(jù)，這些數(shù)據(jù)含有的模式不可避免地受到這些規(guī)則的限制。 

在這里強(qiáng)調(diào)一下最后一點(diǎn)，在數(shù)據(jù)挖掘中改變業(yè)務(wù)目標(biāo)，CRISP-DM有所暗示，但經(jīng)常不易被覺(jué)察到。廣為所知的CRISP-DM過(guò)程不是下一個(gè)步驟僅接著上一個(gè)步驟的“瀑布”式的過(guò)程。事實(shí)上，在項(xiàng)目中的任何地方都可以進(jìn)行任何CRISP-DM步驟，同樣商業(yè)理解也可以存在于任何一個(gè)步驟。業(yè)務(wù)目標(biāo)不是簡(jiǎn) 單地在開(kāi)始就給定，它貫穿于整個(gè)過(guò)程。這也許可以解釋一些數(shù)據(jù)挖掘者在沒(méi)有清晰的業(yè)務(wù)目標(biāo)的情況下開(kāi)始項(xiàng)目，他們知道業(yè)務(wù)目標(biāo)也是數(shù)據(jù)挖掘的一個(gè)結(jié)果，不是靜態(tài)地給定。

Wolpert的“沒(méi)有免費(fèi)的午餐”理論已經(jīng)應(yīng)用于機(jī)器學(xué)習(xí)領(lǐng)域，無(wú)偏的狀態(tài)好于（如一個(gè)具體的算法）任何其他可能的問(wèn)題（數(shù)據(jù)集）出現(xiàn)的平均狀態(tài)。這是因?yàn)?，如果我們考慮所有可能的問(wèn)題，他們的解決方法是均勻分布的，以至于一個(gè)算法（或偏倚）對(duì)一個(gè)子集是有利的，而對(duì)另一個(gè)子集是不利的。這與數(shù)據(jù)挖掘者所知的具有驚人的相似性，沒(méi)有一個(gè)算法適合每一個(gè)問(wèn)題。但是經(jīng) 過(guò)數(shù)據(jù)挖掘處理的問(wèn)題或數(shù)據(jù)集絕不是隨機(jī)的，也不是所有可能問(wèn)題的均勻分布，他們代表的是一個(gè)有偏差的樣本，那么為什么要應(yīng)用NFL的結(jié)論？答案涉及到上 面提到的因素：?jiǎn)栴}空間初始是未知的，多重問(wèn)題空間可能和每一個(gè)數(shù)據(jù)挖掘目標(biāo)相關(guān)，問(wèn)題空間可能被數(shù)據(jù)預(yù)處理所操縱，模型不能通過(guò)技術(shù)手段評(píng)估，業(yè)務(wù)問(wèn)題本身可能會(huì)變化。由于這些原因，數(shù)據(jù)挖掘問(wèn)題空間在數(shù)據(jù)挖掘過(guò)程中展開(kāi)，并且在這個(gè)過(guò)程中是不斷變化的，以至于在有條件的約束下，用算法模擬一個(gè)隨機(jī)選擇的數(shù)據(jù)集是有效的。對(duì)于數(shù)據(jù)挖掘者來(lái)說(shuō)：沒(méi)有免費(fèi)的午餐。 

這大體上描述了數(shù)據(jù) 挖掘過(guò)程。但是，在有條件限制某些情況下，比如業(yè)務(wù)目標(biāo)是穩(wěn)定的，數(shù)據(jù)和其預(yù)處理是穩(wěn)定的，一個(gè)可接受的算法或算法組合可以解決這個(gè)問(wèn)題。在這些情況下， 一般的數(shù)據(jù)挖掘過(guò)程中的步驟將會(huì)減少。 但是，如果這種情況穩(wěn)定是持續(xù)的，數(shù)據(jù)挖掘者的午餐是免費(fèi)的，或者至少相對(duì)便宜的。像這樣的穩(wěn)定性是臨時(shí)的，因?yàn)?對(duì)數(shù)據(jù)的業(yè)務(wù)理解（第二律）和對(duì)問(wèn)題的理解（第九律）都會(huì)變化的。  

第五，模式律（大衛(wèi)律）：數(shù)據(jù)中總含有模式。 

這條規(guī)律最早由David Watkins提出。 我們可能預(yù)料到一些數(shù)據(jù)挖掘項(xiàng)目會(huì)失敗，因?yàn)榻鉀Q業(yè)務(wù)問(wèn)題的模式并不存在于數(shù)據(jù)中，但是這與數(shù)據(jù)挖掘者的實(shí)踐經(jīng)驗(yàn)并不相關(guān)。

前文的闡述已經(jīng)提到，這是因?yàn)椋涸谝粋€(gè)與業(yè)務(wù)相關(guān)的數(shù)據(jù)集中總會(huì)發(fā)現(xiàn)一些有趣的東西，以至于即使一些期望的模式不能被發(fā)現(xiàn)，但其他的一些有用的東西可能會(huì)被 發(fā)現(xiàn)（這與數(shù)據(jù)挖掘者的實(shí)踐經(jīng)驗(yàn)是相關(guān)的）；除非業(yè)務(wù)專(zhuān)家期望的模式存在，否則數(shù)據(jù)挖掘項(xiàng)目不會(huì)進(jìn)行，這不應(yīng)感到奇怪，因?yàn)闃I(yè)務(wù)專(zhuān)家通常是對(duì)的。 

然而，Watkins提出一個(gè)更簡(jiǎn)單更直接的觀點(diǎn)：“數(shù)據(jù)中總含有模式?！边@與數(shù)據(jù)挖掘者的經(jīng)驗(yàn)比前面的闡述更一致。這個(gè)觀點(diǎn)后來(lái)經(jīng)過(guò)Watkins修正，基于客戶(hù)關(guān)系的數(shù)據(jù)挖掘項(xiàng)目，總是存在著這樣的模式即客戶(hù)未來(lái)的行為總是和先前的行為相關(guān)，顯然這些模式是有利可圖的（Watkins的客戶(hù)關(guān)系管理定律）。但是，數(shù)據(jù)挖掘者的經(jīng)驗(yàn)不僅僅局限于客戶(hù)關(guān)系管理問(wèn)題，任何數(shù)據(jù)挖掘問(wèn)題都會(huì)存在模式（Watkins的通用律）。 

Watkins的通用律解釋如下： 

數(shù)據(jù)挖掘項(xiàng)目的業(yè)務(wù)目標(biāo)定義了興趣范圍（定義域），數(shù)據(jù)挖掘目標(biāo)反映了這一點(diǎn)； 

與業(yè)務(wù)目標(biāo)相關(guān)的數(shù)據(jù)及其相應(yīng)的數(shù)據(jù)挖掘目標(biāo)是在這個(gè)定義域上的數(shù)據(jù)挖掘過(guò)程產(chǎn)生的； 

這些過(guò)程受規(guī)則限制，而這些過(guò)程產(chǎn)生的數(shù)據(jù)反映了這些規(guī)則； 

在這些過(guò)程中，數(shù)據(jù)挖掘的目的是通過(guò)模式發(fā)現(xiàn)技術(shù)（數(shù)據(jù)挖掘算法）和可以解釋這個(gè)算法結(jié)果的業(yè)務(wù)知識(shí)相結(jié)合的方法來(lái)揭示這個(gè)定義域上的規(guī)則； 

數(shù)據(jù)挖掘需要在這個(gè)域上生成相關(guān)數(shù)據(jù)，這些數(shù)據(jù)含有的模式不可避免地受到這些規(guī)則的限制。 

總結(jié)這一觀點(diǎn)：數(shù)據(jù)中總存在模式，因?yàn)樵谶@過(guò)程中不可避免產(chǎn)生數(shù)據(jù)這樣的副產(chǎn)品。為了發(fā)掘模式，過(guò)程從（你已經(jīng)知道它）—–業(yè)務(wù)知識(shí)開(kāi)始。 

利用業(yè)務(wù)知識(shí)發(fā)現(xiàn)模式也是一個(gè)反復(fù)的過(guò)程；這些模式也對(duì)業(yè)務(wù)知識(shí)有貢獻(xiàn)，同時(shí)業(yè)務(wù)知識(shí)是解釋模式的主要因素。在這種反復(fù)的過(guò)程中，數(shù)據(jù)挖掘算法簡(jiǎn)單地連接了業(yè)務(wù)知識(shí)和隱藏的模式。

 如果這個(gè)解釋是正確的，那么大衛(wèi)律是完全通用的。除非沒(méi)有相關(guān)的數(shù)據(jù)的保證，否則在每個(gè)定義域的每一個(gè)數(shù)據(jù)挖掘問(wèn)題總是存在模式的。