教你如何合理有效地選擇數(shù)據(jù)挖掘工具_(dá)數(shù)據(jù)分析師考試

數(shù)據(jù)挖掘作為一項(xiàng)從海量數(shù)據(jù)中提取知識(shí)的信息技術(shù)引起了國(guó)內(nèi)外學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛關(guān)注，它在商業(yè)方面的成功應(yīng)用使得軟件開(kāi)發(fā)商不斷開(kāi)發(fā)新的數(shù)據(jù)挖掘工具，改進(jìn)現(xiàn)有的數(shù)據(jù)挖掘工具，一時(shí)之間數(shù)據(jù)挖掘工具可謂琳瑯滿目，于是出現(xiàn)了如何合理選擇挖掘工具的問(wèn)題。鑒于此，本文提出并討論了五點(diǎn)關(guān)于合理選擇數(shù)據(jù)挖掘工具的技巧。 

數(shù)據(jù)倉(cāng)庫(kù) 隨著數(shù)據(jù)庫(kù)和計(jì)算機(jī)網(wǎng)絡(luò)的廣泛應(yīng)用，加上先進(jìn)的數(shù)據(jù)自動(dòng)生成和采集工具的使用，人們擁有的數(shù)據(jù)量急劇增大。然而數(shù)據(jù)的極速增長(zhǎng)與數(shù)據(jù)分析方法的改進(jìn)并不成正比，一方面人們希望在已有的大量數(shù)據(jù)的基礎(chǔ)上進(jìn)行科學(xué)研究、商業(yè)決策、企業(yè)管理，另一方面?zhèn)鹘y(tǒng)的數(shù)據(jù)分析工具很難令人滿意的對(duì)數(shù)據(jù)進(jìn)行深層次的處理，這樣二者之間的矛盾日益突出，正是在這種狀況下，數(shù)據(jù)挖掘應(yīng)運(yùn)而生。數(shù)據(jù)挖掘作為一項(xiàng)從海量數(shù)據(jù)中提取知識(shí)的信息技術(shù)是一個(gè)"以發(fā)現(xiàn)為驅(qū)動(dòng)"的過(guò)程，已經(jīng)引起了學(xué)術(shù)界和產(chǎn)業(yè)界的極大重視。

特別是從1989年8月在美國(guó)底特律召開(kāi)的第11屆國(guó)際人工智能聯(lián)合會(huì)議上首次出現(xiàn)數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)概念以來(lái)，數(shù)據(jù)挖掘在國(guó)際國(guó)內(nèi)都受到了前所未有的重視，目前數(shù)據(jù)挖掘廣泛應(yīng)用于各個(gè)領(lǐng)域，如地理學(xué)、地質(zhì)學(xué)、生物醫(yī)學(xué)等等，總之數(shù)據(jù)挖掘的出現(xiàn)使數(shù)據(jù)庫(kù)技術(shù)進(jìn)入了一個(gè)更高級(jí)的階段，不僅能對(duì)過(guò)去的數(shù)據(jù)進(jìn)行查詢(xún)和遍歷，還能夠找出以往數(shù)據(jù)間潛在的聯(lián)系，促進(jìn)信息的傳播。

 數(shù)據(jù)挖掘技術(shù)概述

 1、數(shù)據(jù)挖掘的定義 數(shù)據(jù)挖掘是一個(gè)從數(shù)據(jù)中提取模式的過(guò)程，是一個(gè)受多個(gè)學(xué)科影響的交叉領(lǐng)域,包括數(shù)據(jù)庫(kù)系統(tǒng)、統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)、可視化和信息科學(xué)等；數(shù)據(jù)挖掘反復(fù)使用多種數(shù)據(jù)挖掘算法從觀測(cè)數(shù)據(jù)中確定模式或合理模型，是一種決策支持過(guò)程。通過(guò)預(yù)測(cè)客戶的行為，幫助企業(yè)的決策者調(diào)整市場(chǎng)策略，減少風(fēng)險(xiǎn)，做出正確的決策。由于傳統(tǒng)的事物型工具（如查詢(xún)工具、報(bào)表工具）無(wú)法回答事先未定義的綜合性問(wèn)題或跨部門(mén)/機(jī)構(gòu)的問(wèn)題，因此其用戶必須清楚地了解問(wèn)題的目的。數(shù)據(jù)挖掘就可以回答事先未加定義的綜合性問(wèn)題或跨部門(mén)/機(jī)構(gòu)的問(wèn)題，挖掘潛在的模式并預(yù)測(cè)未來(lái)的趨勢(shì)，用戶不必提出確切的問(wèn)題，而且模糊問(wèn)題更有利于發(fā)現(xiàn)未知的事實(shí)。

 2、數(shù)據(jù)挖掘的主要方法和途徑 數(shù)據(jù)挖掘有很多種分類(lèi)方法，如按發(fā)現(xiàn)的知識(shí)種類(lèi)，挖掘的數(shù)據(jù)庫(kù)類(lèi)型，挖掘方法，挖掘途徑，所采用的技術(shù)等等。下面只討論四個(gè)應(yīng)用比較廣泛的方法： ?關(guān)聯(lián)規(guī)則（Association Rule） 在數(shù)據(jù)挖掘領(lǐng)域中，關(guān)聯(lián)規(guī)則應(yīng)用最為廣泛，是重要的研究方向。表示數(shù)據(jù)庫(kù)中一組對(duì)象之間某種關(guān)聯(lián)關(guān)系的規(guī)則，一般來(lái)講，可以用多個(gè)參數(shù)來(lái)描述一個(gè)關(guān)聯(lián)規(guī)則的屬性，常用的有：可信度，支持度，興趣度，期望可信度，作用度。 ?離群數(shù)據(jù)（Outlier） 離群數(shù)據(jù)就是明顯偏離其他數(shù)據(jù)、不滿足數(shù)據(jù)的一般模式或行為、與存在的其他數(shù)據(jù)不一致的數(shù)據(jù)。

數(shù)據(jù)挖掘的大部分研究忽視了離群數(shù)據(jù)的存在和意義，現(xiàn)有的方法往往研究如何減少離群數(shù)據(jù)對(duì)正常數(shù)據(jù)的影響，或僅僅把其當(dāng)作噪音來(lái)對(duì)待。這些離群數(shù)據(jù)可能來(lái)源于計(jì)算機(jī)錄入錯(cuò)誤、人為錯(cuò)誤等，也可能就是數(shù)據(jù)的真實(shí)反映。 ?基于案例的推理（case-based reasoning, CBR） 基于案例的推理來(lái)源于人類(lèi)的認(rèn)知心理活動(dòng)，它屬于類(lèi)比推理方法。其基本思想是基于人們?cè)趩?wèn)題求解中習(xí)慣于過(guò)去處理類(lèi)似問(wèn)題的經(jīng)驗(yàn)和獲取的知識(shí)，在針對(duì)新舊情況的差異作相應(yīng)的調(diào)整，從而得到新問(wèn)題的解并形成新的案例。

CBR方法的應(yīng)用越來(lái)越受到人們的重視，在許多領(lǐng)域都有較好的推廣前景，例如，在氣象、環(huán)保、地震、農(nóng)業(yè)、醫(yī)療、商業(yè)、CAD等領(lǐng)域；CBR也可用在計(jì)算機(jī)軟硬件的生產(chǎn)中，如軟件及硬件的故障檢測(cè)；CBR方法尤其在不易總結(jié)出專(zhuān)家知識(shí)的領(lǐng)域中，應(yīng)用越來(lái)越普遍，也越來(lái)越深入。 ?支持向量機(jī)（Support Vector Machine，SVM） 支持向量機(jī)是近幾年發(fā)展起來(lái)的新型通用的知識(shí)發(fā)現(xiàn)方法，在分類(lèi)方面具有良好的性能。SVM是建立在計(jì)算學(xué)習(xí)理論的結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則之上，主要思想是針對(duì)兩類(lèi)分類(lèi)問(wèn)題在高位空間中尋找一個(gè)超平面作為兩類(lèi)的分割，以保證最小的分類(lèi)錯(cuò)誤率。

 數(shù)據(jù)挖掘工具 

伴隨越來(lái)越多的軟件供應(yīng)商加入數(shù)據(jù)挖掘這一行列，使得現(xiàn)有的挖掘工具的性能得到進(jìn)一步的增強(qiáng)，使用更加便捷，也使得其價(jià)格門(mén)檻迅速降低，為應(yīng)用的普及帶來(lái)了可能。當(dāng)然數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的發(fā)展同樣功不可沒(méi)。數(shù)據(jù)倉(cāng)庫(kù)是將海量復(fù)雜的客戶行為數(shù)據(jù)集中起來(lái)建立的一個(gè)整合的、結(jié)構(gòu)化的數(shù)據(jù)模型，是實(shí)施數(shù)據(jù)挖掘的基礎(chǔ)，這里不作為討論的重點(diǎn)。

 1、數(shù)據(jù)挖掘工具分類(lèi) 一般來(lái)講，數(shù)據(jù)挖掘工具根據(jù)其適用的范圍分為兩類(lèi)：專(zhuān)用數(shù)據(jù)挖掘工具和通用數(shù)據(jù)挖掘工具。專(zhuān)用數(shù)據(jù)挖掘工具是針對(duì)某個(gè)特定領(lǐng)域的問(wèn)題提供解決方案，在涉及算法的時(shí)候充分考慮了數(shù)據(jù)、需求的特殊性，并作了優(yōu)化；而通用數(shù)據(jù)挖掘工具不區(qū)分具體數(shù)據(jù)的含義，采用通用的挖掘算法，處理常見(jiàn)的數(shù)據(jù)類(lèi)型。

 2、數(shù)據(jù)挖掘工具的選擇 數(shù)據(jù)挖掘是一個(gè)過(guò)程，只有將數(shù)據(jù)挖掘工具提供的技術(shù)和實(shí)施經(jīng)驗(yàn)與企業(yè)的業(yè)務(wù)邏輯和需求緊密結(jié)合，并在實(shí)施的過(guò)程中不斷的磨合，才能取得成功，因此我們?cè)谶x擇數(shù)據(jù)挖掘工具的時(shí)候，要全面考慮多方面的因素，主要包括以下幾點(diǎn)： 數(shù)據(jù)挖掘的功能和方法 即是否可以完成各種數(shù)據(jù)挖掘的任務(wù)，如：關(guān)聯(lián)分析、分類(lèi)分析、序列分析、回歸分析、聚類(lèi)分析、自動(dòng)預(yù)測(cè)等。我們知道數(shù)據(jù)挖掘的過(guò)程一般包括數(shù)據(jù)抽樣、數(shù)據(jù)描述和預(yù)處理、數(shù)據(jù)變換、模型的建立、模型評(píng)估和發(fā)布等，因此一個(gè)好的數(shù)據(jù)挖掘工具應(yīng)該能夠?yàn)槊總€(gè)步驟提供相應(yīng)的功能集。數(shù)據(jù)挖掘工具還應(yīng)該能夠方便的導(dǎo)出挖掘的模型，從而在以后的應(yīng)用中使用該模型。 

數(shù)據(jù)挖掘工具的可伸縮性 也就是說(shuō)解決復(fù)雜問(wèn)題的能力，一個(gè)好的數(shù)據(jù)挖掘工具應(yīng)該可以處理盡可能大的數(shù)據(jù)量，可以處理盡可能多的數(shù)據(jù)類(lèi)型，可以盡可能高的提高處理的效率，盡可能使處理的結(jié)果有效。如果在數(shù)據(jù)量和挖掘維數(shù)增加的情況下，挖掘的時(shí)間呈線性增長(zhǎng)，那么可以認(rèn)為該挖掘工具的伸縮性較好。

操作的簡(jiǎn)易性 一個(gè)好的數(shù)據(jù)挖掘工具應(yīng)該為用戶提供友好的可視化操作界面和圖形化報(bào)表工具，在進(jìn)行數(shù)據(jù)挖掘的過(guò)程中應(yīng)該盡可能提高自動(dòng)化運(yùn)行程度?？傊敲嫦驈V大用戶的而不是熟練的專(zhuān)業(yè)人員。 ?數(shù)據(jù)挖掘工具的可視化 這包括源數(shù)據(jù)的可視化、挖掘模型的可視化、挖掘過(guò)程的可視化、挖掘結(jié)果的可視化，可視化的程度、質(zhì)量和交互的靈活性都將嚴(yán)重影響到數(shù)據(jù)挖掘系統(tǒng)的使用和解釋能力。畢竟人們接受外界信息的80%是通過(guò)視覺(jué)獲得的，自然數(shù)據(jù)挖掘工具的可視化能力就相當(dāng)重要。 

數(shù)據(jù)挖掘工具的開(kāi)放性 即數(shù)據(jù)挖掘工具與數(shù)據(jù)庫(kù)的結(jié)合能力。好的數(shù)據(jù)挖掘工具應(yīng)該可以連接盡可能多的數(shù)據(jù)庫(kù)管理系統(tǒng)和其他的數(shù)據(jù)資源，應(yīng)盡可能的與其他工具進(jìn)行集成；盡管數(shù)據(jù)挖掘并不要求一定要在數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)之上進(jìn)行，但數(shù)據(jù)挖掘的數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)變換等等將耗費(fèi)巨大的時(shí)間和資源，因此數(shù)據(jù)挖掘工具必須要與數(shù)據(jù)庫(kù)緊密結(jié)合，減少數(shù)據(jù)轉(zhuǎn)換的時(shí)間，充分利用整個(gè)的數(shù)據(jù)和數(shù)據(jù)倉(cāng)庫(kù)的處理能力，在數(shù)據(jù)倉(cāng)庫(kù)內(nèi)直接進(jìn)行數(shù)據(jù)挖掘，而且開(kāi)發(fā)模型，測(cè)試模型，部署模型都要充分利用數(shù)據(jù)倉(cāng)庫(kù)的處理能力，另外，多個(gè)數(shù)據(jù)挖掘項(xiàng)目可以同時(shí)進(jìn)行。 當(dāng)然，上述的只是一些通用的參考指標(biāo)，具體選擇挖掘工具時(shí)還需要從實(shí)際情況出發(fā)具體分析。

 數(shù)據(jù)挖掘工具的現(xiàn)狀

 比較著名的有IBM Intelligent Miner、SAS Enterprise Miner、SPSS Clementine等，它們都能夠提供常規(guī)的挖掘過(guò)程和挖掘模式。 1、Intelligent Miner 由美國(guó)IBM公司開(kāi)發(fā)的數(shù)據(jù)挖掘軟件Intelligent Miner是一種分別面向數(shù)據(jù)庫(kù)和文本信息進(jìn)行數(shù)據(jù)挖掘的軟件系列,它包括Intelligent Miner for Data和Intelligent Miner for Text。Intelligent Miner for Data可以挖掘包含在數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)中心中的隱含信息,幫助用戶利用傳統(tǒng)數(shù)據(jù)庫(kù)或普通文件中的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘。

它已經(jīng)成功應(yīng)用于市場(chǎng)分析、詐騙行為監(jiān)測(cè)及客戶聯(lián)系管理等；Intelligent Miner for Text允許企業(yè)從文本信息進(jìn)行數(shù)據(jù)挖掘，文本數(shù)據(jù)源可以是文本文件、Web頁(yè)面、電子郵件、Lotus Notes數(shù)據(jù)庫(kù)等等。 

2、Enterprise Miner 這是一種在我國(guó)的企業(yè)中得到采用的數(shù)據(jù)挖掘工具，比較典型的包括上海寶鋼配礦系統(tǒng)應(yīng)用和鐵路部門(mén)在春運(yùn)客運(yùn)研究中的應(yīng)用。SAS Enterprise Miner是一種通用的數(shù)據(jù)挖掘工具，按照"抽樣--探索--轉(zhuǎn)換--建模--評(píng)估"的方法進(jìn)行數(shù)據(jù)挖掘?？梢耘cSAS數(shù)據(jù)倉(cāng)庫(kù)和OLAP集成，實(shí)現(xiàn)從提出數(shù)據(jù)、抓住數(shù)據(jù)到得到解答的"端到端"知識(shí)發(fā)現(xiàn)。

 3、SPSS Clementine SPSS Clementine是一個(gè)開(kāi)放式數(shù)據(jù)挖掘工具，曾兩次獲得英國(guó)政府SMART 創(chuàng)新獎(jiǎng)，它不但支持整個(gè)數(shù)據(jù)挖掘流程，從數(shù)據(jù)獲取、轉(zhuǎn)化、建模、評(píng)估到最終部署的全部過(guò)程，還支持數(shù)據(jù)挖掘的行業(yè)標(biāo)準(zhǔn)--CRISP-DM。Clementine的可視化數(shù)據(jù)挖掘使得"思路"分析成為可能，即將集中精力在要解決的問(wèn)題本身，而不是局限于完成一些技術(shù)性工作（比如編寫(xiě)代碼）。

提供了多種圖形化技術(shù)，有助理解數(shù)據(jù)間的關(guān)鍵性聯(lián)系，指導(dǎo)用戶以最便捷的途徑找到問(wèn)題的最終解決辦法。 其它常用的數(shù)據(jù)挖掘工具還有LEVEL5 Quest 、MineSet (SGI) 、Partek 、SE-Learn 、SPSS 的數(shù)據(jù)挖掘軟件Snob、Ashraf Azmy 的SuperQuery 、WINROSA 、XmdvTool 等。 

結(jié)束語(yǔ) 經(jīng)過(guò)十多年的發(fā)展，數(shù)據(jù)挖掘工具的性能獲得了顯著的改善，不論是自動(dòng)化程度還是適用范圍都發(fā)生了巨大變化，價(jià)格的門(mén)檻迅速降低，對(duì)于推進(jìn)數(shù)據(jù)挖掘在企業(yè)和電子商務(wù)中的應(yīng)用具有特殊的意義。但是還應(yīng)該看到，現(xiàn)在的數(shù)據(jù)挖掘工具還存在許多的不足，1999年的調(diào)查顯示多數(shù)的數(shù)據(jù)挖掘工具只使用了有限的幾種技術(shù)，且集中在比較簡(jiǎn)單的數(shù)據(jù)挖掘技術(shù)種類(lèi)上。 所以我們呼吁每個(gè)企業(yè)都必須結(jié)合自己的實(shí)際情況，充分考慮本企業(yè)在數(shù)據(jù)挖掘領(lǐng)域的實(shí)施經(jīng)驗(yàn)，避免踏進(jìn)僅僅是"選擇工具"的陷阱，從而獲得一個(gè)完善的數(shù)據(jù)挖掘解決方案，真正把數(shù)據(jù)挖掘融入到企業(yè)的經(jīng)營(yíng)決策中。