處理不確定數(shù)據(jù)的方法研究

成果簡介：不確定性是客觀存在的大量現(xiàn)象和事物的特征，其表現(xiàn)形式也具有多樣性，如隨機性、模糊性、粗糙性以及多重不確定性等。隨著研究范圍的擴大、研究內容的深入，對不確定現(xiàn)象與事物的研究及其數(shù)據(jù)處理方法也亟待突破和落地應用。本研究針對不確定性的數(shù)學理論、算法及應用開展了多層次研究：數(shù)據(jù)分析師,在隨機性數(shù)據(jù)處理方面，應用已有的成熟算法對實際生活中常見的不確定性現(xiàn)象開展分析，包括了多維標度法在親屬關系中的分析應用、Bayes判別法在醫(yī)學領中的分析應用；在粗糙性數(shù)據(jù)處理方面，發(fā)展了若干處理不確定性數(shù)據(jù)的新方法，包括了合成集值信息系統(tǒng)的屬性特征分析方法以及基于包含度的結構粗糙集近似方法研究。

成果內容提要：

隨著信息技術的日星月異，一些具有海量、高維、動態(tài)等特征的大規(guī)模復雜數(shù)據(jù)不對涌現(xiàn)，這些數(shù)據(jù)以數(shù)字、語言、聲音、圖像等形式進行存儲，并形成了大量的復雜信息系統(tǒng)，人們迫切需要去分析處理這些復雜數(shù)據(jù)，從中找到有價值的信息和知識。然而，(數(shù)據(jù)分析師)由于這些數(shù)據(jù)帶有的高度不確定性，直接對這些數(shù)據(jù)進行處理面臨著嚴重的計算問題。瞎子摸象的故事就反映了在信息不確定性下進行應用推理會產生認知的偏差。因此，如何有效、快速地處理不確定性數(shù)據(jù)，并提取出隱含其中、潛在有用的知識，一直是智能信息處理領域的一個研究熱點。

作為知識獲取和數(shù)據(jù)挖掘的重要理論，概率論與包含度理論是處理隨機性和粗糙性數(shù)據(jù)工具的基礎理論。本作品針對若干不確定性的數(shù)學理論、算法及應用開展了多層次研究，在隨機和粗糙性數(shù)據(jù)處理方面取得了以下兩方面的研究成果，對推動不確定性數(shù)據(jù)處理的理論、方法和實際應用研究具體重要的現(xiàn)實意義。

1、在隨機性數(shù)據(jù)處理方面，應用基于概率論的統(tǒng)計分析算法對實際生活的常見不確定性現(xiàn)象開展分析。

（1）多維標度法在親屬關系中的分析應用：簡單地介紹了多維標度法和加權多維標度法的理論及原理，對親屬關系間的不確定現(xiàn)象進行建模，采用多維標度法分析了親屬關系的親密程度，展示了15種親屬關系可分為五大類，并由此得到在人們心中親屬的分類情況，最終根據(jù)這些分類來解釋一些親屬間的關系，理解人際關系中的一些社會現(xiàn)象，幫助緩和彼此之間的一些矛盾。

（2）Bayes判別法在醫(yī)學領中的分析應用：Bayes判別在進行判別分析時考慮到各總體出現(xiàn)的先驗概率、預報的先驗概率及錯判造成的損失，其判別效能優(yōu)于其他判別方法。在對Bayes判別方法詳細介紹基礎上，本研究利用R軟件對一組舒張壓和膽固醇數(shù)據(jù)分別進行Bayes判別分析、Fisher判別分析和基于距離的判別分析，對比三種不同方法下得到的判別結果。結果表明，Bayes判別分析得到的分類結果精度較高，在醫(yī)學領域有較好的應用前景。

2、在粗糙性數(shù)據(jù)處理方面，發(fā)展了基于包含度理論的若干粗糙性數(shù)據(jù)處理新理論和新方法。

（1）合成集值信息系統(tǒng)的屬性特征：屬性特征是描述數(shù)據(jù)的重要表征，也是研究信息系統(tǒng)中屬性重要性的方法之一。對一個信息系統(tǒng)而言，知識庫中的屬性并不是同等重要的，其中有些屬性是冗余的，即不必要屬性，而有些屬性是必需的，即必要屬性。而當信息系統(tǒng)中的數(shù)據(jù)是隨機采集時，其冗余性更為普遍。因此，研究信息系統(tǒng)中屬性的重要性即屬性特征具有重要的理論與實際意義。本研究基于集值信息系統(tǒng)中的擬序關系，給出了對象合成、屬性合成集值信息系統(tǒng)，討論了集值信息系統(tǒng)與合成集值信息系統(tǒng)的協(xié)調集、屬性特征之間的關系，進而定義了對象(屬性)子集值信息系統(tǒng)，研究了子集值信息系統(tǒng)與原集值信息系統(tǒng)等的必要屬性及不必要屬性之間的關系。

（2）(數(shù)據(jù)分析師)基于包含度的結構粗糙集近似方法研究：基于包含度理論的粗糙集是一種處理不確定性和不完整性的數(shù)學工具，不僅能有效地分析不完整、不一致、不精確等不完備的信息，還能對數(shù)據(jù)進行分析與推理，從中發(fā)現(xiàn)隱含的的知識，揭示其潛在的規(guī)律。本研究在Pawlak下、上近似和Bryniarski下、上近似的基礎上，研究了結構粗糙集近似及其性質，主要包括基于概率粗糙集近似研究及其性質，利用包含度度量等價類和被近似集之間的包含程度，基于包含度的粗糙集近似及其性質，以及基于包含度的結構粗糙集近似。

綜上，上述兩方面的理論和應用研究，有助于隨機和粗糙性數(shù)據(jù)的合成、傳播和修正，為不確定數(shù)據(jù)處理理論和應用研究提供了借鑒，同時也對產生新的不確定推理技術有著明顯的指導作用。

社會反映：

當今世界處在一個信息時代，信息是人類社會認識世界和改造世界的知識源泉，人們接觸到的各種各樣的信息有時候是確定的，更多的時候是不確定的。信息本身的確定或不確定屬性無所謂好壞，問題在于我們怎樣去正視不確定性、認識不確定性、把握不確定性，確定與不確定揭示和反映事物變化發(fā)展過程中的必然與偶然、清晰與模糊、精確與近似之間的關系，確定性是指客觀事物聯(lián)系和發(fā)展過程中有規(guī)律的、必然的、清晰的、精確的屬性，不確定性是指客觀事物聯(lián)系和發(fā)展的過程中無序的、或然的、模糊的、近似的屬性，確定與不確定，既有本質區(qū)別，又有內在聯(lián)系，兩者之間的關系是辯證統(tǒng)一的。

不確定性的數(shù)據(jù)分析研究是在概率論、可信性理論、包含度理論等基礎理論支撐逐漸開展的，是指對決策受到各種事前無法控制的外部因素變化與影響所進行的研究和估計，可以盡量弄清和減少不確定性因素對關注問題的影響。本研究旨在提供處理若干不確定性問題的理論分析和數(shù)學工具，內容包括隨機性數(shù)據(jù)與粗糙性數(shù)據(jù)的處理兩大方面，部分反映了不確定性數(shù)據(jù)處理的最新研究成果、研究方法和研究動向，在理論體系和方法上均有所創(chuàng)新。本作品可作為應用數(shù)學、運籌學、管理科學、計算機科學、系統(tǒng)科學、信息科學與工程技術等專業(yè)師生和研究人員探討分析不確定性數(shù)據(jù)處理的參考資料，也可作為相關專業(yè)的教師和研究人員的參考書。

（1）多維標度法在親屬關系中的分析應用

（2）Bayes判別分析在醫(yī)學中的應用

判別分析是用以判別個體所屬群體的一種統(tǒng)計學方法，它產生于20世紀30年代，近年來，在許多自然科學的各個分支和技術部門中，得到了廣泛應用。判別分析假設訓練樣本由一個因變量和個自變量的個樣本點構成依據(jù)這樣的訓練樣本，判別分析建立起因變量與自變量之間的關系，稱為判別規(guī)則，然后依據(jù)這種判別規(guī)則針對待判樣本的每一個樣品做出該樣本點應歸屬與哪一類判別分析的方法很多，大致上分為兩大類，一類是以距離為判別準則； 另一類是以概率為判別準則的Bayes判別。距離判別最簡單、最直觀的一種判別方法，但其存在不足，在實際中常用的是基于概率的Bayes判別。本研究對Bayes判別分析進行了詳細的研究，給出了Bayes判別思想并且應用R軟件程序對一個醫(yī)學實例進行Bayes判別分析，同時將Bayes判別分析與Fisher判別分析以及基于距離的判別分析方法得到的結果進行了比較，說明了Bayes判別分析的分類結果精度高。由此判斷，Bayes判別分析在病例診斷等醫(yī)學領域應用中可以發(fā)揮不可估量的作用，隨著數(shù)據(jù)庫技術的飛速發(fā)展以及人們獲取數(shù)據(jù)手段的多樣化，計算機輔助診斷將會有廣泛的應用前景和發(fā)展空間。

（3）合成集值信息系統(tǒng)的屬性特征

Pawlak粗糙集理論以論域中的對象在任意屬性下取值為單個值的信息系統(tǒng)為研究對象，以等價關系為基礎研究概念近似(上下近似)和屬性約簡。近年來，許多學者將Pawlak粗糙集進行了推廣，提出了基于不同二元關系的粗糙集理論模型。然而，一方面，現(xiàn)實世界中的信息系統(tǒng)形式復雜多樣，要保證每個對象的所有屬性值的完整性和唯一性往往是非常困難的。在不確定信息或缺省信息，即不完備信息的情況下，就需要研究不完備信息系統(tǒng)。另一方面，數(shù)據(jù)庫的合成與分解是實際應用中非常重要的一個問題，它所對應的數(shù)學模型是信息系統(tǒng)的合成與分解，而實際處理數(shù)據(jù)時，經(jīng)常要研究基于取值為集合的集值信息系統(tǒng)，所以研究集值信息系統(tǒng)的合成與分解就變得非常必要。

屬性特征是研究信息系統(tǒng)中屬性重要性的一種重要方法。由于任意一個信息系統(tǒng)的知識庫都是確定的，故可根據(jù)不同的要求對信息系統(tǒng)進行分類、知識獲取和規(guī)則提取。在實際應用中，經(jīng)常會出現(xiàn)在原信息系統(tǒng)上添加對象、增加或刪除屬性，進而在新的信息系統(tǒng)上進行分類、獲取知識等。故而研究新的信息系統(tǒng)與原信息系統(tǒng)在知識庫、知識獲取、分類及規(guī)則提取等方面的關系是一個值得研究的問題。鑒于現(xiàn)實中存在著大量的信息是不確定、不完備或者是多值的系統(tǒng)，而等價關系又極大的限制了粗糙集的屬性約簡等方法的研究與應用。故而，本研究將上述單值信息系統(tǒng)的合成方法推廣到集值信息系統(tǒng)中，研究合成的集值信息系統(tǒng)的屬性特征。具體是研究了集值信息系統(tǒng)上擬序關系的性質，給出了集值信息系統(tǒng)的合成——對象合成集值信息系統(tǒng)與屬性合成集值信息系統(tǒng)，研究了這兩種合成集值信息系統(tǒng)與原集值信息系統(tǒng)的協(xié)調集及屬性特征之間的關系；進而討論了集值信息系統(tǒng)的分解問題，給出了對象及屬性子集值信息系統(tǒng)，討論了集值信息系統(tǒng)與其子集值信息系統(tǒng)的屬性特征——必要屬性與不必要屬性之間的關系。上述理論的研究提供了一種處理不精確和不完全知識的工具，一定程度上解決了刻畫粗糙集理論中屬性重要性的核心問題。

（4）合成集值信息系統(tǒng)的屬性特征

Zadeh L A于1965年提出的模糊集是對“經(jīng)典集合”的擴充，從而刻畫了“對象”的不確定性，包含度理論是對“包含關系”的擴充，從而包容了“關系”的不確定性。模糊集理論與包含度理論相輔相成，成為研究不確定性的重要工具，在各種關系型數(shù)據(jù)庫中有著直接的應用。在包含度理論基礎上，Pawlak在粗糙集理論中提出的上、下近似是利用等價關系產生的等價類與被近似集之間的關系來刻畫未知的知識。1989年Bryniarski提出了利用等價類刻畫未知知識的帶有結構特征的下、上近似，它保留了Pawlak下、上近似中等價類與被近似集之間的關系，但給出了滿足上述關系的結構信息。本研究是在Pawlak下、上近似和Bryniarski下、上近似的基礎上，總結了近年來我國不確定系統(tǒng)研究工作者的最新成果，研究了結構粗糙集近似及其性質，發(fā)展了基于包含度的粒計算的理論與方法，對于人工智能、專家系統(tǒng)、模式識別、管理決策都有重要意義。數(shù)據(jù)分析師培訓