數(shù)據(jù)挖掘語言及其標準化研究進展

 數(shù)據(jù)挖掘包含范圍廣泛的任務(wù)，從數(shù)據(jù)描述到挖掘關(guān)聯(lián)規(guī)則、數(shù)據(jù)分類和演化分析，所以，設(shè)計一個全面的數(shù)據(jù)挖掘語言是富有挑戰(zhàn)性的，因為每個任務(wù)有不同的要求。一個設(shè)計有效的數(shù)據(jù)挖掘查詢語言需要具有對不同種類數(shù)據(jù)挖掘任務(wù)的能力、限制和根本機制的深入理解。定義一個數(shù)據(jù)挖掘查詢形式的數(shù)據(jù)挖掘任務(wù)的過程如下：選擇要挖掘的與任務(wù)相關(guān)的數(shù)據(jù)和要挖掘的知識類型、在挖掘過程中需要的背景知識、對模式評估的衡量標準和閾值、可視化發(fā)現(xiàn)模式的預(yù)期表現(xiàn)、數(shù)據(jù)增長的動態(tài)性；以及特殊的挖掘任務(wù)比如有針對性的項目集挖掘，流數(shù)據(jù)挖掘，分布式和分區(qū)數(shù)據(jù)挖掘。

1 數(shù)據(jù)挖掘語言

數(shù)據(jù)挖掘語言根據(jù)功能和不同的側(cè)重點可以分為3種：數(shù)據(jù)挖掘查詢語言、數(shù)據(jù)挖掘建模語言、通用數(shù)據(jù)挖掘語言。

1.1 數(shù)據(jù)挖掘查詢語言

每個用戶的數(shù)據(jù)挖掘任務(wù)都不盡相同，一個數(shù)據(jù)挖掘任務(wù)可以用一個數(shù)據(jù)挖掘查詢指定，查詢作為數(shù)據(jù)挖掘系統(tǒng)的輸入，數(shù)據(jù)挖掘查詢用以下原語形式定義。

（1）任務(wù)相關(guān)數(shù)據(jù)。

（2）要挖掘的知識種類。

（3）背景知識。

（4）興趣度的度量。

（5）獲取模式的可視化表示。

（6）數(shù)據(jù)維護。

（7）特殊類型的挖掘。

1.2 數(shù)據(jù)挖掘建模語言

數(shù)據(jù)挖掘建模語言是對數(shù)據(jù)挖掘進行定義和描述的語言，為了使不同系統(tǒng)之間共享模型而不是以往的孤立形式，需要開發(fā)出一種標準的建模語言，使數(shù)據(jù)挖掘系統(tǒng)在模型定義和描述方面都遵循它，同樣，為了解決無法發(fā)現(xiàn)孤立知識的問題，也可以在其他應(yīng)用系統(tǒng)中嵌入數(shù)據(jù)挖掘模型，目前主流的數(shù)據(jù)挖掘建模語言包括PMML（Predictive Model Markup Language）與CWM（Common Warehouse Metamodel）兩種。

1.2.1 PMML

PMML是一種基于XML的定義預(yù)言模型的語言，允許應(yīng)用程序和OLAP工具可以不用獨立開發(fā)數(shù)據(jù)挖掘模塊，直接從數(shù)據(jù)挖掘系統(tǒng)中獲得模型：此外，PMML還可以收集使用大量的潛在模型，并統(tǒng)一管理各種模型集合。

PMML對那些需要分布式學(xué)習(xí)、全部學(xué)習(xí)和部分學(xué)習(xí)的應(yīng)用程序特別有效，因為它提供了一個靈活的機制來定義預(yù)言模型的模式，并同時支持涉及多個預(yù)言模型的模型選擇和模型平衡，此外，在它的支持下，不同應(yīng)用程序和系統(tǒng)之間可以很便捷地移動預(yù)言模型。

使用PMML進行模型定義包括以下幾部分：（1）頭文件；（2）數(shù)據(jù)模式；（3）數(shù)據(jù)挖掘模式；（4）預(yù)言模型模式；（5）預(yù)言模型定義；（6）全體模型定義；（7）選擇和聯(lián)合模型及全體模型的規(guī)則；（8）異常處理的規(guī)則。

其中預(yù)言模型定義是必備的，此外必須定義預(yù)言模型的模式。PMML標準版提供了一個文檔類型定義集合（DTD）來詳細說明決策樹和多項式回歸模型的實體與屬性。使用標準的XML解析器對PMML進行解析，應(yīng)用程序可以決定模型的詳細格式、輸入輸出的數(shù)據(jù)類型、并且使用標準的數(shù)據(jù)挖掘術(shù)語解釋模型結(jié)果。并且，使用PMML可以使挖掘模型與應(yīng)用平臺和操作系統(tǒng)無關(guān)，無需關(guān)心模型的創(chuàng)建過程。

1.2.2 CWM（Common Warehouse Metamodel）

公共倉庫元模型CWM由OMG（Object Management Group，對象管理組織）制定，其主要目的是在異構(gòu)環(huán)境下輔助不同平臺、不同的數(shù)據(jù)倉庫工具和元數(shù)據(jù)知識庫進行元數(shù)據(jù)交換，CWM模型包括元數(shù)據(jù)（技術(shù)類與商業(yè)類）存儲與元數(shù)據(jù)交換。

CWM標準定義了數(shù)據(jù)倉庫和商業(yè)智能工具之間共享元數(shù)據(jù)的語法規(guī)范，包括4個方面：描述數(shù)據(jù)倉庫系統(tǒng)的CWM元模型，CWM元模型的XML表示，數(shù)據(jù)倉庫和商業(yè)智能工具共享元數(shù)據(jù)的DTD交換格式，以及數(shù)據(jù)倉庫和商業(yè)智能工具共享元數(shù)據(jù)的API（應(yīng)用程序接口）。

CWM元模型規(guī)范由以下5個包組成，分別定義了各領(lǐng)域的元模型：

（1）對象模型包，是構(gòu)造和描述其他包中元模型類的基礎(chǔ)，是UML的子集。

（2）基礎(chǔ)包，包括表示CWM概念和結(jié)構(gòu)的各種模型元素，可被其他CWM包共享。

（3）資源包，用于描述數(shù)據(jù)資源，包括關(guān)系數(shù)據(jù)資源、XML數(shù)據(jù)資源、記錄式數(shù)據(jù)資源以及多維數(shù)據(jù)資源。

（4）分析包，包括數(shù)據(jù)轉(zhuǎn)換、OLAP、數(shù)據(jù)挖掘、信息可視化和商業(yè)術(shù)語五個子包。

（5）管理包，用于描述數(shù)據(jù)倉庫管理，包含兩個子包：數(shù)據(jù)倉庫過程、數(shù)據(jù)倉庫操作。

1.3 通用數(shù)據(jù)挖掘語言

數(shù)據(jù)挖掘建模語言一定程度上解決了目前數(shù)據(jù)挖掘系統(tǒng)的一些問題，但是也有缺點，比如沒有將模型與數(shù)據(jù)真正地分離、需要進行大量的數(shù)據(jù)轉(zhuǎn)換才能建模、沒有被所有的數(shù)據(jù)挖掘軟件商采用等等。因此，有必要開發(fā)出一種更為通用的數(shù)據(jù)挖掘語言。通用數(shù)據(jù)挖掘語言合并了上述兩者的特點，它可以定義模型，也可以作為查詢語言與數(shù)據(jù)挖掘系統(tǒng)進行通信，進行特殊的交互式的挖掘。

微軟推出的一款數(shù)據(jù)挖掘語言，命名為OLE DB for DM，是OLE DB的一個擴展，制定這一規(guī)范的目的是使來自不同數(shù)據(jù)挖掘軟件商的數(shù)據(jù)挖掘算法輕松地嵌入到用戶應(yīng)用程序中。

OLE DB for DM定義了一些重要的新概念和特點，以填補傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)和目前關(guān)系數(shù)據(jù)庫管理系統(tǒng)之間的空白，包括以下幾點：

（1）數(shù)據(jù)挖掘模型DMM（Data Mining Model），DMM類似于一個關(guān)系表，但是包含一些特殊列，由數(shù)據(jù)挖掘中的數(shù)據(jù)訓(xùn)練和預(yù)言制定使用，DMM既可以用來創(chuàng)建預(yù)言模型，又可以產(chǎn)生預(yù)言，DMM存儲被數(shù)據(jù)挖掘算法發(fā)現(xiàn)的模式，這點與標準的關(guān)系表中存儲原始數(shù)據(jù)不同，其所有結(jié)構(gòu)與內(nèi)容都可以用XML字符串表示。

（2）預(yù)言聯(lián)接操作（Predication Join Operation），與SQL語法中的聯(lián)接操作類似，通過映射一個在訓(xùn)練好的數(shù)據(jù)挖掘模型和設(shè)計的輸人數(shù)據(jù)源之間聯(lián)接查詢，使開發(fā)人員較容易地得到確切符合商業(yè)需求的自定義預(yù)言結(jié)果。

（3）OLE DB for DM模式行集合（Schema Rowsets），這些特殊目的的模式行集合允許使用者發(fā)現(xiàn)諸如可用的挖掘服務(wù)、挖掘模型、挖掘列模型等臨界信息內(nèi)容，數(shù)據(jù)挖掘提供者在模型創(chuàng)建和訓(xùn)練階段裝入模式行集合。

2 分析與評價

數(shù)據(jù)挖掘查詢語言與數(shù)據(jù)挖掘系統(tǒng)進行通信，提供獨立于應(yīng)用的操作原語，進行交互和特殊的挖掘，但是，由于各查詢語言目前沒有形成統(tǒng)一標準，因此并沒有實質(zhì)性解決數(shù)據(jù)挖掘系統(tǒng)之間相互孤立的問題。

PMML提供了一個簡單開放的框架以處理和交換預(yù)言模型，使用戶可以更迅速地使用挖掘出的信息，更容易實現(xiàn)商業(yè)智能。PMML使用戶可以將模型與應(yīng)用程序分離，即在一個應(yīng)用程序中開發(fā)模型，而在其他應(yīng)用程序中進行模型的可視化、分析、估值等操作、或以其他方式使用模型，從而使在不同模型之間無縫交換模型成為可能，解決了上文提到的系統(tǒng)彼此孤立的問題。但PMML還不能算是一種完整的數(shù)據(jù)挖掘模型定義語言，而只是預(yù)言模型標記語言，因為它不包括預(yù)言模型和描述模型。

3 結(jié)語

介紹了數(shù)據(jù)挖掘語言及其標準化方面的研究進展，對目前較為流行的幾種數(shù)據(jù)挖掘語言的特點進行了分析比較，可以看出，數(shù)據(jù)挖掘語言發(fā)展的必然趨勢是標準化方向，但也需要一定的理論基礎(chǔ)支持，比如基于高階邏輯和Rough Set理論的數(shù)據(jù)挖掘問題的分類描述理論，正如SQL語言的創(chuàng)立是因為有關(guān)系代數(shù)理論的支持一樣。