判別分析的基本思想以及常見的判別分析方法

判別分析的基本概念及應(yīng)用

從統(tǒng)計的角度來看，判別分析可以描述為：已知有個總體，現(xiàn)有樣本y，要根據(jù)這k個總體和當(dāng)前樣本的特征，判定該樣本y屬于哪一個總體。其主要工作是根據(jù)對已知總體的理解，建立判別規(guī)則（又稱判別函數(shù)），然后根據(jù)該判別規(guī)則對新的樣本屬于哪個總體做出判斷。

判別分析在現(xiàn)實中有著廣泛的應(yīng)用。例如，在金融業(yè)，根據(jù)客戶的信息對其信用等級的分類；在人力部門，根據(jù)已有的員工類別及特征對求職者進(jìn)行相應(yīng)的分類；在醫(yī)學(xué)上，根據(jù)臨床特征對是否染上某種疾病做出診斷；在市場營銷上，根據(jù)調(diào)查資料來判斷下個時間段（月、季度或年）產(chǎn)品是滯銷、平常還是暢銷；在環(huán)境科學(xué)上，根據(jù)大氣中各種顆粒的指標(biāo)來判斷地區(qū)是嚴(yán)重污染、中度污染還是無污染；在體育運動科學(xué)中，根據(jù)運動員的各項生理指標(biāo)及運動指標(biāo)判斷運動員適合短跑競技還是長跑競技，等等。

判別分析是一種多元統(tǒng)計方法。在判別分析中，往往需要研究考查對象的多個指標(biāo)或變量，也就是說要有多個判別變量，才能建立合理的判別規(guī)則，即判別函數(shù)。例如在上面信用卡的例子中，要正確地判定信用等級，往往需要研究持卡人的職業(yè)、年齡、收入、交易歷史等多個信息。

判別分析的假設(shè)條件

進(jìn)行判別分析會涉及下述假設(shè)條件，但并不是說，這些假設(shè)條件不滿足，就不能進(jìn)行判別分析了，而是要根據(jù)這些假設(shè)條件來選擇合適的分析方法，或者是通過這些假設(shè)條件來了解它們對判別函數(shù)或判別效果產(chǎn)生的影響。

每一個判別變量都不能是其他判別變量的線性組合。當(dāng)一個判別變量與另外一個判別變量高度相關(guān)時，雖然能求解，但是誤差將會很大。

各判別變量之間具有多元正態(tài)分布，即每個變量對于其他變量的固定值有正態(tài)分布。當(dāng)多元正態(tài)分布假設(shè)滿足時，可以使用參數(shù)方法，反之，則可以使用非參數(shù)方法，例如本章后面會提到的核方法和近鄰法。

在多元正態(tài)假設(shè)條件滿足的前提下，使用參數(shù)法可以計算出判別函數(shù)。更進(jìn)一步，如果已知類別里變量的協(xié)方差矩陣相等，那么判別函數(shù)為一次函數(shù)；反之，判別函數(shù)為二次函數(shù)。

判別分析常見的方法

判別分析常見的方法有距離判別、Bayes判別和Fisher判別法等。理解判別上述幾種判別分析方法的思想原理對于正確設(shè)定判別分析過程步中的選項是很有幫助的。

1. 距離判別

距離判別是最簡單、也是最基本的判別方法，其基本思想是根據(jù)樣本和不同總體的距離判定該樣品所屬的類別。樣本和總體的距離由距離函數(shù)來度量。

進(jìn)一步，可以定義判別函數(shù)，判別規(guī)則如下：

如果W(X)<0，那么X與B的距離較近，進(jìn)而認(rèn)為X是由設(shè)備B生產(chǎn)的；

如果W(X)>=0，那么認(rèn)為X是設(shè)備A生產(chǎn)的。

根據(jù)上述規(guī)則，由于W(X)<0，因此可以判定X屬于B類設(shè)備生產(chǎn)的產(chǎn)品。

這種將距離和分散性結(jié)合起來考慮的方法也稱馬氏距離（Mahalanobis Distance），該距離由印度數(shù)學(xué)家Mahalanobis于1936年基于協(xié)方差矩陣提出。假設(shè)總體G=(G1, G2, ..., Gk)為m維（考察的類別有k個，對應(yīng)k個類別的子總體為Gk，指標(biāo)有m個），均值向量，協(xié)方差矩陣為，那么樣本與總體G的馬氏距離定義為

馬氏距離是最常見的距離函數(shù)之一，也是SAS用于判別分析過程步的選項之一。根據(jù)馬氏距離定義的判別函數(shù)W(X)為線性函數(shù)或二次函數(shù)：

當(dāng)G1, G2, ..., Gk的協(xié)方差矩陣相等時，W(X)為線性函數(shù)。

當(dāng)G1, G2, ..., Gk的協(xié)方差矩陣不全相等時，W(X)為二次函數(shù)。

2. Bayes判別法

距離判別法簡單、實用，但是該方法也有缺點：

未考慮各個總體的分布，以及樣本出現(xiàn)在各個G1, G2, ..., Gk總體的概率（該概率在判別分析前出現(xiàn)，也稱先驗概率）。

沒有考慮錯判造成的損失。

Bayes判別法正是為了解決上述缺點而提出的。它將Bayes統(tǒng)計思想用在了判別分析上：假設(shè)已知樣本出現(xiàn)在各個總體Gi的概率即先驗概率P(Gi)的，在此基礎(chǔ)上根據(jù)樣本的信息，確定所觀察到的樣本屬于各個總體Gi的概率（即后驗概率）。該判別法根據(jù)后驗概率對樣本進(jìn)行歸類。

以下兩種情形計算出來的判別函數(shù)是一致的：

在Bayes判別法中，考慮錯判造成的損失均等。

馬氏判別法中，考慮先驗概率以及協(xié)方差矩陣不全相等。

因此，Bayes判別法中的距離函數(shù)可以看作是馬氏距離的推廣。在SAS判別分析的過程步的輸出結(jié)果中，又將上述推廣的馬氏距離稱為廣義平方距離。

使用Bayes方法需要提前輸入先驗概率。常見的先驗概率有以下幾種：

等概率

概率與樣本容量成比例

根據(jù)歷史資料與經(jīng)驗進(jìn)行估計

下文會在介紹SAS判別分析的過程步時，逐一介紹上述幾種概率的設(shè)置方法。

3. Fisher判別法

Fisher判別法的基本思想是投影，具體地說，就是將k維數(shù)據(jù)投影到某一個方向，使得投影后類間的差異最大。在判定類間差異的問題上，F(xiàn)isher借鑒了一元方差的基本思想。由于Fisher判別法對總體的分布沒有任何要求，因此該判別法也被稱為典型判別法。

為了更好地理解Fisher判別法，現(xiàn)在考慮兩類總體的判別。如圖14.1所示，訓(xùn)練樣本有兩個類別，若將其沿著坐標(biāo)的X或Y方向投影，它們之間的區(qū)別都不是很顯著（在實際計算中，可以通過不同類別間均值差異來衡量區(qū)分效果）。可是如果將坐標(biāo)旋轉(zhuǎn)至X'Y'方向，將樣本沿著X'方向投影于Y'軸上，可以看出，投影后類別間的區(qū)分效果就比較好了。

圖14.1兩類總體的Fisher判別

把上述過程推廣到多維的情形。在多維的情形下，好的投影是使得變換（即幾何上的旋轉(zhuǎn)坐標(biāo)軸）后同類別的點盡可能在一起，不同類別的樣本點盡可能的分離。Fisher判別法的實質(zhì)是在尋找一個最能反映類與類之間差異的投影方向，即線性判別函數(shù)。一個好的線形判別函數(shù)U(X)=C'X，在k個總體G1, G2, ..., Gk中去求均值，所得到的k個值，應(yīng)當(dāng)有較大的離差，這就是Fisher準(zhǔn)則。這里，離差的意義如下：

其中，為來自k個總體的樣本（即來自這些總體的一維或多維隨機(jī)向量）；Ei和Di表示在第i個總體中的均值和方差。

當(dāng)確定線形判別函數(shù)U(X)之后，計算U(X)到各個總體的距離，判定為來自距離最小的那個總體。

當(dāng)訓(xùn)練樣本數(shù)據(jù)集中的類數(shù)太多時，一個判別函數(shù)可能不能很好地區(qū)別類別，這時候就需要尋找第二個甚至更多的判別函數(shù)。一般認(rèn)為，當(dāng)前所有的判別函數(shù)的效率達(dá)到85%以上即可。