數(shù)據(jù)挖掘：挖掘九律

數(shù)據(jù)挖掘又譯為數(shù)據(jù)采礦，它是數(shù)據(jù)庫(kù)知識(shí)發(fā)現(xiàn)中的一個(gè)步驟。數(shù)據(jù)挖掘一般是指從大量的數(shù)據(jù)中自動(dòng)搜索隱藏于其中的有著特殊關(guān)系性的信息的過(guò)程。如今，“數(shù)據(jù)挖掘”被到處亂用，從業(yè)務(wù)人員用一個(gè)現(xiàn)代的模式識(shí)別方法到數(shù)據(jù)庫(kù)分析員用SQL做查詢。

最近，我看到不少關(guān)于挖掘九律的帖子和討論，但他們并沒(méi)有提到其創(chuàng)始人，那個(gè)將數(shù)據(jù)挖掘簡(jiǎn)潔地描述出來(lái)并在整個(gè)社區(qū)流傳開(kāi)來(lái)的人。這令人遺憾，因?yàn)槲覀兛梢詮耐诰蚓怕芍惺芤媪级啵⑶襅habaza本身就是個(gè)你該知道的創(chuàng)造者。他是最早的數(shù)據(jù)挖掘專家，任職于克萊門(mén)汀數(shù)據(jù)挖掘工作組的開(kāi)發(fā)者之一。當(dāng)你聽(tīng)說(shuō)數(shù)據(jù)挖掘已廣泛應(yīng)用于電信和執(zhí)法之中時(shí)，你該知道其奠基人就是是Khabaza。
下面是Tom Khabaza的“挖掘九律”介紹
挖掘九律之一，“業(yè)務(wù)目標(biāo)律”：業(yè)務(wù)目標(biāo)是所有數(shù)據(jù)挖掘解決方案的本源
我們探索數(shù)據(jù)，發(fā)掘信息，來(lái)幫助我們更好的處理業(yè)務(wù)。 這難道不是所有業(yè)務(wù)分析的圣歌嗎？很明確，這就該是第一律。每個(gè)人都該理解數(shù)據(jù)挖掘是一個(gè)有目標(biāo)的流程。真的挖掘人員不會(huì)在泥沼里打滾，他們有條不紊的按照流程來(lái)將有價(jià)值的東西暴露出來(lái)。數(shù)據(jù)挖掘人員也是要有條不紊地尋找對(duì)他們有價(jià)值的信息。
引用Tom Khabaza的話：“數(shù)據(jù)挖掘，首先它不是技術(shù)，而是流程，其中有著一個(gè)或多個(gè)業(yè)務(wù)目標(biāo)。沒(méi)有業(yè)務(wù)目標(biāo)的話……就沒(méi)有數(shù)據(jù)挖掘?！?br /> 挖掘九律之二，“業(yè)務(wù)知識(shí)律”：業(yè)務(wù)知識(shí)是數(shù)據(jù)挖掘每一步的核心
我們周?chē)兄粋€(gè)普遍且嚴(yán)重的誤解——數(shù)據(jù)挖掘不需要 研究人員了解任何事。這是對(duì)真正的數(shù)據(jù)挖掘理論的誤讀，即從數(shù)據(jù)中發(fā)掘有用的模式，能夠也應(yīng)該交由沒(méi)有經(jīng)過(guò)正規(guī)統(tǒng)計(jì)學(xué)訓(xùn)練的業(yè)務(wù)人員。數(shù)據(jù)挖掘是要讓人 ——應(yīng)用業(yè)務(wù)知識(shí)、經(jīng)驗(yàn)和洞察力，并依靠數(shù)據(jù)挖掘方法的業(yè)務(wù)人員——變得強(qiáng)大，來(lái)找到隱含于數(shù)據(jù)中的意義。
挖掘九律之三，“數(shù)據(jù)準(zhǔn)備律”：數(shù)據(jù)準(zhǔn)備能讓數(shù)據(jù)挖掘流程事半功倍
這一點(diǎn)對(duì)于那些和數(shù)據(jù)打過(guò)交道的人來(lái)說(shuō)毫無(wú)意外，無(wú)論你是數(shù)據(jù)挖掘專家，分析人員或者其他職位。然而，還有其他的神話圍繞著數(shù)據(jù)挖掘，說(shuō)數(shù)據(jù)挖掘會(huì)克服數(shù)據(jù)質(zhì)量和完整性的問(wèn)題。這一神話被那些長(zhǎng)期被遺忘的數(shù)據(jù)挖掘產(chǎn)品供應(yīng)商所傳播，但數(shù)據(jù)挖掘社區(qū)依然努力讓數(shù)據(jù)記錄更加正常，數(shù)據(jù)挖掘需要良好的數(shù)據(jù)。
當(dāng)然，僅僅有良好的數(shù)據(jù)是不夠的。對(duì)數(shù)據(jù)的操作是挖掘過(guò)程的重要環(huán)節(jié)，Tom Khabaza解釋道：
“原理要比數(shù)據(jù)的狀態(tài)更深入：隨著數(shù)據(jù)的準(zhǔn)備，數(shù)據(jù)挖掘人員要定義問(wèn)題空間。有兩個(gè)關(guān)于“問(wèn)題空間”的觀點(diǎn)。第一個(gè)是數(shù)據(jù)挖掘人員將數(shù)據(jù)轉(zhuǎn)換成適合于算法應(yīng)用的形式就夠了——對(duì)于絕大多數(shù)算法來(lái)說(shuō)，這意味著一個(gè)樣本一行記錄。第二個(gè)是數(shù)據(jù)挖掘人員要通過(guò)利用有用的信息來(lái)優(yōu)化數(shù)據(jù)或者將信息轉(zhuǎn)化為更有效的形式，從而易于讓算法找到解決方案。如樣本包含了計(jì)算項(xiàng)，分級(jí)，和計(jì)算日期時(shí)間差?！?br /> 挖掘 九律之四，“天下沒(méi)有免費(fèi)的午餐”：只有通過(guò)實(shí)驗(yàn)才能發(fā)現(xiàn)給定應(yīng)用的正確模型
（NFL-DM = “There is No Free Lunch for the Data Miner”）
現(xiàn)在我們可以開(kāi)始些有趣的討論。在本文的最后，我將指導(dǎo)你到那些可以讀到、參與到的相關(guān)討論中?，F(xiàn)在，最重要的是，你要認(rèn)識(shí)到實(shí)驗(yàn)是數(shù)據(jù)挖掘理論和實(shí)踐的核心。
挖掘九律之五，“沃特金斯定律”：總會(huì)有模式存在
數(shù)據(jù)挖掘人員的實(shí)踐經(jīng)驗(yàn)就是，當(dāng)探索數(shù)據(jù)的時(shí)候，總能發(fā)現(xiàn)有用的模式。
（沃特金斯，Watkins，即David Watkins，也是克萊門(mén)汀的知名數(shù)據(jù)挖掘開(kāi)發(fā)者。）
挖掘九律之六： 數(shù)據(jù)挖掘將業(yè)務(wù)領(lǐng)域的感知放大
這一條的意思是，得益于數(shù)據(jù)挖掘算法和流程——是它們照亮了數(shù)據(jù)中的那些可能會(huì)被埋沒(méi)的模式。
挖掘九律之七，“預(yù)測(cè)定律”：預(yù)測(cè)將信息從局部擴(kuò)散到整體
這是我最難在腦海中理清的一條，但它意味著：
數(shù)據(jù)挖掘提供給我們一種途徑，來(lái)看到那些未知的結(jié)果，并找到那些已知的相似情況（原文：Data mining offers us ways to look at a case whose outcome is unknown, and find similarities to past cases where the outcome is known）。通過(guò)理解這些相似性，我們獲得了推測(cè)未來(lái)的信息。
挖掘九律之八，“價(jià)值定律”：數(shù)據(jù)挖掘的結(jié)果的價(jià)值并不取決于預(yù)測(cè)模型的精度和穩(wěn)定性
流程的真正價(jià)值在于滿足了業(yè)務(wù)需要，當(dāng)然，模型的精度和穩(wěn)定是好的，但較之于業(yè)務(wù)預(yù)測(cè)的價(jià)值，有意義的洞察力之價(jià)值，或者應(yīng)用預(yù)測(cè)于實(shí)際的價(jià)值來(lái)講要小得多。
挖掘九律之九，“變化律” ：所有的模式都會(huì)受到變化
今天還能帶來(lái)業(yè)務(wù)價(jià)值的模型，可能明天就過(guò)時(shí)了。