判別分析的基本思想以及常見(jiàn)的判別分析方法

判別分析的基本概念及應(yīng)用

從統(tǒng)計(jì)的角度來(lái)看，判別分析可以描述為：已知有個(gè)總體，現(xiàn)有樣本y，要根據(jù)這k個(gè)總體和當(dāng)前樣本的特征，判定該樣本y屬于哪一個(gè)總體。其主要工作是根據(jù)對(duì)已知總體的理解，建立判別規(guī)則（又稱判別函數(shù)），然后根據(jù)該判別規(guī)則對(duì)新的樣本屬于哪個(gè)總體做出判斷。

判別分析在現(xiàn)實(shí)中有著廣泛的應(yīng)用。例如，在金融業(yè)，根據(jù)客戶的信息對(duì)其信用等級(jí)的分類；在人力部門(mén)，根據(jù)已有的員工類別及特征對(duì)求職者進(jìn)行相應(yīng)的分類；在醫(yī)學(xué)上，根據(jù)臨床特征對(duì)是否染上某種疾病做出診斷；在市場(chǎng)營(yíng)銷上，根據(jù)調(diào)查資料來(lái)判斷下個(gè)時(shí)間段（月、季度或年）產(chǎn)品是滯銷、平常還是暢銷；在環(huán)境科學(xué)上，根據(jù)大氣中各種顆粒的指標(biāo)來(lái)判斷地區(qū)是嚴(yán)重污染、中度污染還是無(wú)污染；在體育運(yùn)動(dòng)科學(xué)中，根據(jù)運(yùn)動(dòng)員的各項(xiàng)生理指標(biāo)及運(yùn)動(dòng)指標(biāo)判斷運(yùn)動(dòng)員適合短跑競(jìng)技還是長(zhǎng)跑競(jìng)技，等等。

判別分析是一種多元統(tǒng)計(jì)方法。在判別分析中，往往需要研究考查對(duì)象的多個(gè)指標(biāo)或變量，也就是說(shuō)要有多個(gè)判別變量，才能建立合理的判別規(guī)則，即判別函數(shù)。例如在上面信用卡的例子中，要正確地判定信用等級(jí)，往往需要研究持卡人的職業(yè)、年齡、收入、交易歷史等多個(gè)信息。

判別分析的假設(shè)條件

進(jìn)行判別分析會(huì)涉及下述假設(shè)條件，但并不是說(shuō)，這些假設(shè)條件不滿足，就不能進(jìn)行判別分析了，而是要根據(jù)這些假設(shè)條件來(lái)選擇合適的分析方法，或者是通過(guò)這些假設(shè)條件來(lái)了解它們對(duì)判別函數(shù)或判別效果產(chǎn)生的影響。

每一個(gè)判別變量都不能是其他判別變量的線性組合。當(dāng)一個(gè)判別變量與另外一個(gè)判別變量高度相關(guān)時(shí)，雖然能求解，但是誤差將會(huì)很大。

各判別變量之間具有多元正態(tài)分布，即每個(gè)變量對(duì)于其他變量的固定值有正態(tài)分布。當(dāng)多元正態(tài)分布假設(shè)滿足時(shí)，可以使用參數(shù)方法，反之，則可以使用非參數(shù)方法，例如本章后面會(huì)提到的核方法和近鄰法。

在多元正態(tài)假設(shè)條件滿足的前提下，使用參數(shù)法可以計(jì)算出判別函數(shù)。更進(jìn)一步，如果已知類別里變量的協(xié)方差矩陣相等，那么判別函數(shù)為一次函數(shù)；反之，判別函數(shù)為二次函數(shù)。

判別分析常見(jiàn)的方法

判別分析常見(jiàn)的方法有距離判別、Bayes判別和Fisher判別法等。理解判別上述幾種判別分析方法的思想原理對(duì)于正確設(shè)定判別分析過(guò)程步中的選項(xiàng)是很有幫助的。

1. 距離判別

距離判別是最簡(jiǎn)單、也是最基本的判別方法，其基本思想是根據(jù)樣本和不同總體的距離判定該樣品所屬的類別。樣本和總體的距離由距離函數(shù)來(lái)度量。

進(jìn)一步，可以定義判別函數(shù)，判別規(guī)則如下：

如果W(X)<0，那么X與B的距離較近，進(jìn)而認(rèn)為X是由設(shè)備B生產(chǎn)的；

如果W(X)>=0，那么認(rèn)為X是設(shè)備A生產(chǎn)的。

根據(jù)上述規(guī)則，由于W(X)<0，因此可以判定X屬于B類設(shè)備生產(chǎn)的產(chǎn)品。

這種將距離和分散性結(jié)合起來(lái)考慮的方法也稱馬氏距離（Mahalanobis Distance），該距離由印度數(shù)學(xué)家Mahalanobis于1936年基于協(xié)方差矩陣提出。假設(shè)總體G=(G1, G2, ..., Gk)為m維（考察的類別有k個(gè)，對(duì)應(yīng)k個(gè)類別的子總體為Gk，指標(biāo)有m個(gè)），均值向量，協(xié)方差矩陣為，那么樣本與總體G的馬氏距離定義為

馬氏距離是最常見(jiàn)的距離函數(shù)之一，也是SAS用于判別分析過(guò)程步的選項(xiàng)之一。根據(jù)馬氏距離定義的判別函數(shù)W(X)為線性函數(shù)或二次函數(shù)：

當(dāng)G1, G2, ..., Gk的協(xié)方差矩陣相等時(shí)，W(X)為線性函數(shù)。

當(dāng)G1, G2, ..., Gk的協(xié)方差矩陣不全相等時(shí)，W(X)為二次函數(shù)。

2. Bayes判別法

距離判別法簡(jiǎn)單、實(shí)用，但是該方法也有缺點(diǎn)：

未考慮各個(gè)總體的分布，以及樣本出現(xiàn)在各個(gè)G1, G2, ..., Gk總體的概率（該概率在判別分析前出現(xiàn)，也稱先驗(yàn)概率）。

沒(méi)有考慮錯(cuò)判造成的損失。

Bayes判別法正是為了解決上述缺點(diǎn)而提出的。它將Bayes統(tǒng)計(jì)思想用在了判別分析上：假設(shè)已知樣本出現(xiàn)在各個(gè)總體Gi的概率即先驗(yàn)概率P(Gi)的，在此基礎(chǔ)上根據(jù)樣本的信息，確定所觀察到的樣本屬于各個(gè)總體Gi的概率（即后驗(yàn)概率）。該判別法根據(jù)后驗(yàn)概率對(duì)樣本進(jìn)行歸類。

以下兩種情形計(jì)算出來(lái)的判別函數(shù)是一致的：

在Bayes判別法中，考慮錯(cuò)判造成的損失均等。

馬氏判別法中，考慮先驗(yàn)概率以及協(xié)方差矩陣不全相等。

因此，Bayes判別法中的距離函數(shù)可以看作是馬氏距離的推廣。在SAS判別分析的過(guò)程步的輸出結(jié)果中，又將上述推廣的馬氏距離稱為廣義平方距離。

使用Bayes方法需要提前輸入先驗(yàn)概率。常見(jiàn)的先驗(yàn)概率有以下幾種：

等概率

概率與樣本容量成比例

根據(jù)歷史資料與經(jīng)驗(yàn)進(jìn)行估計(jì)

下文會(huì)在介紹SAS判別分析的過(guò)程步時(shí)，逐一介紹上述幾種概率的設(shè)置方法。

3. Fisher判別法

Fisher判別法的基本思想是投影，具體地說(shuō)，就是將k維數(shù)據(jù)投影到某一個(gè)方向，使得投影后類間的差異最大。在判定類間差異的問(wèn)題上，F(xiàn)isher借鑒了一元方差的基本思想。由于Fisher判別法對(duì)總體的分布沒(méi)有任何要求，因此該判別法也被稱為典型判別法。

為了更好地理解Fisher判別法，現(xiàn)在考慮兩類總體的判別。如圖14.1所示，訓(xùn)練樣本有兩個(gè)類別，若將其沿著坐標(biāo)的X或Y方向投影，它們之間的區(qū)別都不是很顯著（在實(shí)際計(jì)算中，可以通過(guò)不同類別間均值差異來(lái)衡量區(qū)分效果）?？墒侨绻麑⒆鴺?biāo)旋轉(zhuǎn)至X'Y'方向，將樣本沿著X'方向投影于Y'軸上，可以看出，投影后類別間的區(qū)分效果就比較好了。

圖14.1兩類總體的Fisher判別

把上述過(guò)程推廣到多維的情形。在多維的情形下，好的投影是使得變換（即幾何上的旋轉(zhuǎn)坐標(biāo)軸）后同類別的點(diǎn)盡可能在一起，不同類別的樣本點(diǎn)盡可能的分離。Fisher判別法的實(shí)質(zhì)是在尋找一個(gè)最能反映類與類之間差異的投影方向，即線性判別函數(shù)。一個(gè)好的線形判別函數(shù)U(X)=C'X，在k個(gè)總體G1, G2, ..., Gk中去求均值，所得到的k個(gè)值，應(yīng)當(dāng)有較大的離差，這就是Fisher準(zhǔn)則。這里，離差的意義如下：

其中，為來(lái)自k個(gè)總體的樣本（即來(lái)自這些總體的一維或多維隨機(jī)向量）；Ei和Di表示在第i個(gè)總體中的均值和方差。

當(dāng)確定線形判別函數(shù)U(X)之后，計(jì)算U(X)到各個(gè)總體的距離，判定為來(lái)自距離最小的那個(gè)總體。

當(dāng)訓(xùn)練樣本數(shù)據(jù)集中的類數(shù)太多時(shí)，一個(gè)判別函數(shù)可能不能很好地區(qū)別類別，這時(shí)候就需要尋找第二個(gè)甚至更多的判別函數(shù)。一般認(rèn)為，當(dāng)前所有的判別函數(shù)的效率達(dá)到85%以上即可。