數(shù)據(jù)挖掘：挖掘九律

數(shù)據(jù)挖掘又譯為數(shù)據(jù)采礦，它是數(shù)據(jù)庫知識發(fā)現(xiàn)中的一個步驟。數(shù)據(jù)挖掘一般是指從大量的數(shù)據(jù)中自動搜索隱藏于其中的有著特殊關(guān)系性的信息的過程。如今，“數(shù)據(jù)挖掘”被到處亂用，從業(yè)務(wù)人員用一個現(xiàn)代的模式識別方法到數(shù)據(jù)庫分析員用SQL做查詢。

最近，我看到不少關(guān)于挖掘九律的帖子和討論，但他們并沒有提到其創(chuàng)始人，那個將數(shù)據(jù)挖掘簡潔地描述出來并在整個社區(qū)流傳開來的人。這令人遺憾，因為我們可以從挖掘九律中受益良多，并且Khabaza本身就是個你該知道的創(chuàng)造者。他是最早的數(shù)據(jù)挖掘專家，任職于克萊門汀數(shù)據(jù)挖掘工作組的開發(fā)者之一。當你聽說數(shù)據(jù)挖掘已廣泛應(yīng)用于電信和執(zhí)法之中時，你該知道其奠基人就是是Khabaza。
下面是Tom Khabaza的“挖掘九律”介紹
挖掘九律之一，“業(yè)務(wù)目標律”：業(yè)務(wù)目標是所有數(shù)據(jù)挖掘解決方案的本源
我們探索數(shù)據(jù)，發(fā)掘信息，來幫助我們更好的處理業(yè)務(wù)。 這難道不是所有業(yè)務(wù)分析的圣歌嗎？很明確，這就該是第一律。每個人都該理解數(shù)據(jù)挖掘是一個有目標的流程。真的挖掘人員不會在泥沼里打滾，他們有條不紊的按照流程來將有價值的東西暴露出來。數(shù)據(jù)挖掘人員也是要有條不紊地尋找對他們有價值的信息。
引用Tom Khabaza的話：“數(shù)據(jù)挖掘，首先它不是技術(shù)，而是流程，其中有著一個或多個業(yè)務(wù)目標。沒有業(yè)務(wù)目標的話……就沒有數(shù)據(jù)挖掘?！?br /> 挖掘九律之二，“業(yè)務(wù)知識律”：業(yè)務(wù)知識是數(shù)據(jù)挖掘每一步的核心
我們周圍有著一個普遍且嚴重的誤解——數(shù)據(jù)挖掘不需要 研究人員了解任何事。這是對真正的數(shù)據(jù)挖掘理論的誤讀，即從數(shù)據(jù)中發(fā)掘有用的模式，能夠也應(yīng)該交由沒有經(jīng)過正規(guī)統(tǒng)計學(xué)訓(xùn)練的業(yè)務(wù)人員。數(shù)據(jù)挖掘是要讓人 ——應(yīng)用業(yè)務(wù)知識、經(jīng)驗和洞察力，并依靠數(shù)據(jù)挖掘方法的業(yè)務(wù)人員——變得強大，來找到隱含于數(shù)據(jù)中的意義。
挖掘九律之三，“數(shù)據(jù)準備律”：數(shù)據(jù)準備能讓數(shù)據(jù)挖掘流程事半功倍
這一點對于那些和數(shù)據(jù)打過交道的人來說毫無意外，無論你是數(shù)據(jù)挖掘專家，分析人員或者其他職位。然而，還有其他的神話圍繞著數(shù)據(jù)挖掘，說數(shù)據(jù)挖掘會克服數(shù)據(jù)質(zhì)量和完整性的問題。這一神話被那些長期被遺忘的數(shù)據(jù)挖掘產(chǎn)品供應(yīng)商所傳播，但數(shù)據(jù)挖掘社區(qū)依然努力讓數(shù)據(jù)記錄更加正常，數(shù)據(jù)挖掘需要良好的數(shù)據(jù)。
當然，僅僅有良好的數(shù)據(jù)是不夠的。對數(shù)據(jù)的操作是挖掘過程的重要環(huán)節(jié)，Tom Khabaza解釋道：
“原理要比數(shù)據(jù)的狀態(tài)更深入：隨著數(shù)據(jù)的準備，數(shù)據(jù)挖掘人員要定義問題空間。有兩個關(guān)于“問題空間”的觀點。第一個是數(shù)據(jù)挖掘人員將數(shù)據(jù)轉(zhuǎn)換成適合于算法應(yīng)用的形式就夠了——對于絕大多數(shù)算法來說，這意味著一個樣本一行記錄。第二個是數(shù)據(jù)挖掘人員要通過利用有用的信息來優(yōu)化數(shù)據(jù)或者將信息轉(zhuǎn)化為更有效的形式，從而易于讓算法找到解決方案。如樣本包含了計算項，分級，和計算日期時間差?！?br /> 挖掘 九律之四，“天下沒有免費的午餐”：只有通過實驗才能發(fā)現(xiàn)給定應(yīng)用的正確模型
（NFL-DM = “There is No Free Lunch for the Data Miner”）
現(xiàn)在我們可以開始些有趣的討論。在本文的最后，我將指導(dǎo)你到那些可以讀到、參與到的相關(guān)討論中?，F(xiàn)在，最重要的是，你要認識到實驗是數(shù)據(jù)挖掘理論和實踐的核心。
挖掘九律之五，“沃特金斯定律”：總會有模式存在
數(shù)據(jù)挖掘人員的實踐經(jīng)驗就是，當探索數(shù)據(jù)的時候，總能發(fā)現(xiàn)有用的模式。
（沃特金斯，Watkins，即David Watkins，也是克萊門汀的知名數(shù)據(jù)挖掘開發(fā)者。）
挖掘九律之六： 數(shù)據(jù)挖掘將業(yè)務(wù)領(lǐng)域的感知放大
這一條的意思是，得益于數(shù)據(jù)挖掘算法和流程——是它們照亮了數(shù)據(jù)中的那些可能會被埋沒的模式。
挖掘九律之七，“預(yù)測定律”：預(yù)測將信息從局部擴散到整體
這是我最難在腦海中理清的一條，但它意味著：
數(shù)據(jù)挖掘提供給我們一種途徑，來看到那些未知的結(jié)果，并找到那些已知的相似情況（原文：Data mining offers us ways to look at a case whose outcome is unknown, and find similarities to past cases where the outcome is known）。通過理解這些相似性，我們獲得了推測未來的信息。
挖掘九律之八，“價值定律”：數(shù)據(jù)挖掘的結(jié)果的價值并不取決于預(yù)測模型的精度和穩(wěn)定性
流程的真正價值在于滿足了業(yè)務(wù)需要，當然，模型的精度和穩(wěn)定是好的，但較之于業(yè)務(wù)預(yù)測的價值，有意義的洞察力之價值，或者應(yīng)用預(yù)測于實際的價值來講要小得多。
挖掘九律之九，“變化律” ：所有的模式都會受到變化
今天還能帶來業(yè)務(wù)價值的模型，可能明天就過時了。