在機(jī)器學(xué)習(xí)分類中如何處理訓(xùn)練集中不平衡問題

很多機(jī)器學(xué)習(xí)任務(wù)中，訓(xùn)練集中可能會(huì)存在某個(gè)或某些類別下的樣本數(shù)遠(yuǎn)大于另一些類別下的樣本數(shù)目。即類別不平衡，為了使得學(xué)習(xí)達(dá)到更好的效果，因此需要解決該類別不平衡問題。

??當(dāng)你在對(duì)一個(gè)類別不均衡的數(shù)據(jù)集進(jìn)行分類時(shí)得到了90%的準(zhǔn)確度（Accuracy）。當(dāng)你進(jìn)一步分析發(fā)現(xiàn)，數(shù)據(jù)集的90%的樣本是屬于同一個(gè)類，并且分類器將所有的樣本都分類為該類。在這種情況下，顯然該分類器是無效的。并且這種無效是由于訓(xùn)練集中類別不均衡而導(dǎo)致的。
??首先舉幾個(gè)所收到的郵件中關(guān)于類別不均衡的例子：
    在一個(gè)二分類問題中，訓(xùn)練集中class 1的樣本數(shù)比class 2的樣本數(shù)是60:1。使用邏輯回歸進(jìn)行分類，最后結(jié)果是其忽略了class 2，即其將所有的訓(xùn)練樣本都分類為class 1。
    在分類任務(wù)的數(shù)據(jù)集中，有三個(gè)類別，分別為A，B，C。在訓(xùn)練集中，A類的樣本占70%，B類的樣本占25%，C類的樣本占5%。最后我的分類器對(duì)類A的樣本過擬合了，而對(duì)其它兩個(gè)類別的樣本欠擬合。
什么是類別不均衡問題
??類別數(shù)據(jù)不均衡是分類任務(wù)中一個(gè)典型的存在的問題。簡(jiǎn)而言之，即數(shù)據(jù)集中，每個(gè)類別下的樣本數(shù)目相差很大。例如，在一個(gè)二分類問題中，共有100個(gè)樣本（100行數(shù)據(jù)，每一行數(shù)據(jù)為一個(gè)樣本的表征），其中80個(gè)樣本屬于class 1，其余的20個(gè)樣本屬于class 2，class 1:class2=80:20=4:1，這便屬于類別不均衡。當(dāng)然，類別不均衡問同樣會(huì)發(fā)生在多分類任務(wù)中。它們的解決方法是一樣的。因此，為了便于討論與理解，我們從二分類任務(wù)入手進(jìn)行講解。
類別不均衡問題是現(xiàn)實(shí)中很常見的問題
??大部分分類任務(wù)中，各類別下的數(shù)據(jù)個(gè)數(shù)基本上不可能完全相等，但是一點(diǎn)點(diǎn)差異是不會(huì)產(chǎn)生任何影響與問題的。
??在現(xiàn)實(shí)中有很多類別不均衡問題，它是常見的，并且也是合理的，符合人們期望的。如，在欺詐交易識(shí)別中，屬于欺詐交易的應(yīng)該是很少部分，即絕大部分交易是正常的，只有極少部分的交易屬于欺詐交易。這就是一個(gè)正常的類別不均衡問題。又如，在客戶流失的數(shù)據(jù)集中，絕大部分的客戶是會(huì)繼續(xù)享受其服務(wù)的（非流失對(duì)象），只有極少數(shù)部分的客戶不會(huì)再繼續(xù)享受其服務(wù)（流失對(duì)象）。一般而已，如果類別不平衡比例超過4:1，那么其分類器會(huì)大大地因?yàn)閿?shù)據(jù)不平衡性而無法滿足分類要求的。因此在構(gòu)建分類模型之前，需要對(duì)分類不均衡性問題進(jìn)行處理。
??在前面，我們使用準(zhǔn)確度這個(gè)指標(biāo)來評(píng)價(jià)分類質(zhì)量，可以看出，在類別不均衡時(shí)，準(zhǔn)確度這個(gè)評(píng)價(jià)指標(biāo)并不能work。因?yàn)榉诸惼鲗⑺械臉颖径挤诸惖酱箢愊旅鏁r(shí)，該指標(biāo)值仍然會(huì)很高。即，該分類器偏向了大類這個(gè)類別的數(shù)據(jù)。
八大解決方法
    可以擴(kuò)大數(shù)據(jù)集嗎？
    ??當(dāng)遇到類別不均衡問題時(shí)，首先應(yīng)該想到，是否可能再增加數(shù)據(jù)（一定要有小類樣本數(shù)據(jù)），更多的數(shù)據(jù)往往戰(zhàn)勝更好的算法。因?yàn)?a href='/map/jiqixuexi/' style='color:#000;font-size:inherit;'>機(jī)器學(xué)習(xí)是使用現(xiàn)有的數(shù)據(jù)多整個(gè)數(shù)據(jù)的分布進(jìn)行估計(jì)，因此更多的數(shù)據(jù)往往能夠得到更多的分布信息，以及更好分布估計(jì)。即使再增加小類樣本數(shù)據(jù)時(shí)，又增加了大類樣本數(shù)據(jù)，也可以使用放棄一部分大類數(shù)據(jù)（即對(duì)大類數(shù)據(jù)進(jìn)行欠采樣）來解決。
    嘗試其它評(píng)價(jià)指標(biāo)
    ??從前面的分析可以看出，準(zhǔn)確度這個(gè)評(píng)價(jià)指標(biāo)在類別不均衡的分類任務(wù)中并不能work，甚至進(jìn)行誤導(dǎo)（分類器不work，但是從這個(gè)指標(biāo)來看，該分類器有著很好的評(píng)價(jià)指標(biāo)得分）。因此在類別不均衡分類任務(wù)中，需要使用更有說服力的評(píng)價(jià)指標(biāo)來對(duì)分類器進(jìn)行評(píng)價(jià)。如何對(duì)不同的問題選擇有效的評(píng)價(jià)指標(biāo)參見這里。
    ??上面的超鏈接中的文章，講述了如何對(duì)乳腺癌患者復(fù)發(fā)類別不均衡數(shù)據(jù)進(jìn)行分類。在文中，推薦了幾個(gè)比傳統(tǒng)的準(zhǔn)確度更有效的評(píng)價(jià)指標(biāo)：
        混淆矩陣(Confusion Matrix)：使用一個(gè)表格對(duì)分類器所預(yù)測(cè)的類別與其真實(shí)的類別的樣本統(tǒng)計(jì)，分別為：TP、FN、FP與TN。
        精確度(Precision)
        召回率(Recall)
        F1得分(F1 Score)：精確度與找召回率的加權(quán)平均。
    ??特別是：
        Kappa (Cohen kappa)
        ROC曲線(ROC Curves)：見Assessing and Comparing Classifier Performance with ROC Curves
    對(duì)數(shù)據(jù)集進(jìn)行重采樣
    ??可以使用一些策略該減輕數(shù)據(jù)的不平衡程度。該策略便是采樣(sampling)，主要有兩種采樣方法來降低數(shù)據(jù)的不平衡性。
        對(duì)小類的數(shù)據(jù)樣本進(jìn)行采樣來增加小類的數(shù)據(jù)樣本個(gè)數(shù)，即過采樣（over-sampling ，采樣的個(gè)數(shù)大于該類樣本的個(gè)數(shù)）。
        對(duì)大類的數(shù)據(jù)樣本進(jìn)行采樣來減少該類數(shù)據(jù)樣本的個(gè)數(shù)，即欠采樣（under-sampling，采樣的次數(shù)少于該類樣本的個(gè)素）。

    ??采樣算法往往很容易實(shí)現(xiàn)，并且其運(yùn)行速度快，并且效果也不錯(cuò)。更詳細(xì)的內(nèi)容參見這里。
    ??一些經(jīng)驗(yàn)法則：
        考慮對(duì)大類下的樣本（超過1萬、十萬甚至更多）進(jìn)行欠采樣，即刪除部分樣本；
        考慮對(duì)小類下的樣本（不足1為甚至更少）進(jìn)行過采樣，即添加部分樣本的副本；
        考慮嘗試隨機(jī)采樣與非隨機(jī)采樣兩種采樣方法；
        考慮對(duì)各類別嘗試不同的采樣比例，比一定是1:1，有時(shí)候1:1反而不好，因?yàn)榕c現(xiàn)實(shí)情況相差甚遠(yuǎn)；
        考慮同時(shí)使用過采樣與欠采樣。
    嘗試產(chǎn)生人工數(shù)據(jù)樣本
    ??一種簡(jiǎn)單的人工樣本數(shù)據(jù)產(chǎn)生的方法便是，對(duì)該類下的所有樣本每個(gè)屬性特征的取值空間中隨機(jī)選取一個(gè)組成新的樣本，即屬性值隨機(jī)采樣。你可以使用基于經(jīng)驗(yàn)對(duì)屬性值進(jìn)行隨機(jī)采樣而構(gòu)造新的人工樣本，或者使用類似樸素貝葉斯方法假設(shè)各屬性之間互相獨(dú)立進(jìn)行采樣，這樣便可得到更多的數(shù)據(jù)，但是無法保證屬性之前的線性關(guān)系（如果本身是存在的）。
    ??有一個(gè)系統(tǒng)的構(gòu)造人工數(shù)據(jù)樣本的方法SMOTE(Synthetic Minority Over-sampling Technique)。SMOTE是一種過采樣算法，它構(gòu)造新的小類樣本而不是產(chǎn)生小類中已有的樣本的副本，即該算法構(gòu)造的數(shù)據(jù)是新樣本，原數(shù)據(jù)集中不存在的。該基于距離度量選擇小類別下兩個(gè)或者更多的相似樣本，然后選擇其中一個(gè)樣本，并隨機(jī)選擇一定數(shù)量的鄰居樣本對(duì)選擇的那個(gè)樣本的一個(gè)屬性增加噪聲，每次處理一個(gè)屬性。這樣就構(gòu)造了更多的新生數(shù)據(jù)。具體可以參見原始論文。
    ??這里有SMOTE算法的多個(gè)不同語言的實(shí)現(xiàn)版本：
        Python: UnbalancedDataset模塊提供了SMOTE算法的多種不同實(shí)現(xiàn)版本，以及多種重采樣算法。
        R: DMwR package。
        Weka: SMOTE supervised filter。
    嘗試不同的分類算法
    ??強(qiáng)烈建議不要對(duì)待每一個(gè)分類都使用自己喜歡而熟悉的分類算法。應(yīng)該使用不同的算法對(duì)其進(jìn)行比較，因?yàn)椴煌乃惴ㄊ褂糜诓煌娜蝿?wù)與數(shù)據(jù)。具體可以參見“Why you should be Spot-Checking Algorithms on your Machine Learning Problems”。
    ??決策樹往往在類別不均衡數(shù)據(jù)上表現(xiàn)不錯(cuò)。它使用基于類變量的劃分規(guī)則去創(chuàng)建分類樹，因此可以強(qiáng)制地將不同類別的樣本分開。目前流行的決策樹算法有：C4.5、C5.0、CART和Random Forest等?；赗編寫的決策樹參見這里?；赑ython的Scikit-learn的CART使用參見這里。
    嘗試對(duì)模型進(jìn)行懲罰
    ??你可以使用相同的分類算法，但是使用一個(gè)不同的角度，比如你的分類任務(wù)是識(shí)別那些小類，那么可以對(duì)分類器的小類樣本數(shù)據(jù)增加權(quán)值，降低大類樣本的權(quán)值（這種方法其實(shí)是產(chǎn)生了新的數(shù)據(jù)分布，即產(chǎn)生了新的數(shù)據(jù)集，譯者注），從而使得分類器將重點(diǎn)集中在小類樣本身上。一個(gè)具體做法就是，在訓(xùn)練分類器時(shí)，若分類器將小類樣本分錯(cuò)時(shí)額外增加分類器一個(gè)小類樣本分錯(cuò)代價(jià)，這個(gè)額外的代價(jià)可以使得分類器更加“關(guān)心”小類樣本。如penalized-SVM和penalized-LDA算法。
    ??Weka中有一個(gè)懲罰模型的通用框架CostSensitiveClassifier，它能夠?qū)θ魏畏诸惼鬟M(jìn)行封裝，并且使用一個(gè)自定義的懲罰矩陣對(duì)分錯(cuò)的樣本進(jìn)行懲罰。
    ??如果你鎖定一個(gè)具體的算法時(shí)，并且無法通過使用重采樣來解決不均衡性問題而得到較差的分類結(jié)果。這樣你便可以使用懲罰模型來解決不平衡性問題。但是，設(shè)置懲罰矩陣是一個(gè)復(fù)雜的事，因此你需要根據(jù)你的任務(wù)嘗試不同的懲罰矩陣，并選取一個(gè)較好的懲罰矩陣。
    嘗試一個(gè)新的角度理解問題
    ??我們可以從不同于分類的角度去解決數(shù)據(jù)不均衡性問題，我們可以把那些小類的樣本作為異常點(diǎn)(outliers)，因此該問題便轉(zhuǎn)化為異常點(diǎn)檢測(cè)(anomaly detection)與變化趨勢(shì)檢測(cè)問題(change detection)。
    ??異常點(diǎn)檢測(cè)即是對(duì)那些罕見事件進(jìn)行識(shí)別。如通過機(jī)器的部件的振動(dòng)識(shí)別機(jī)器故障，又如通過系統(tǒng)調(diào)用序列識(shí)別惡意程序。這些事件相對(duì)于正常情況是很少見的。
    ??變化趨勢(shì)檢測(cè)類似于異常點(diǎn)檢測(cè)，不同在于其通過檢測(cè)不尋常的變化趨勢(shì)來識(shí)別。如通過觀察用戶模式或銀行交易來檢測(cè)用戶行為的不尋常改變。
    ??將小類樣本作為異常點(diǎn)這種思維的轉(zhuǎn)變，可以幫助考慮新的方法去分離或分類樣本。這兩種方法從不同的角度去思考，讓你嘗試新的方法去解決問題。
    嘗試創(chuàng)新
    ??仔細(xì)對(duì)你的問題進(jìn)行分析與挖掘，是否可以將你的問題劃分成多個(gè)更小的問題，而這些小問題更容易解決。你可以從這篇文章In classification, how do you handle an unbalanced training set?中得到靈感。例如：
        將你的大類壓縮成小類；
        使用One Class分類器（將小類作為異常點(diǎn)）；
        使用集成方式，訓(xùn)練多個(gè)分類器，然后聯(lián)合這些分類器進(jìn)行分類；
        ….
??這些想法只是冰山一角，你可以想到更多的有趣的和有創(chuàng)意的想法去解決問題。更多的想法參加Reddit的文章http://www.quora.com/In-classification-how-do-you-handle-an-unbalanced-training-set。
選擇某一種方法并使用它
??你不必成為一個(gè)精通所有算法的算法奇才或者一個(gè)建立準(zhǔn)確而可靠的處理數(shù)據(jù)不平衡的模型的統(tǒng)計(jì)學(xué)家，你只需要根據(jù)你的問題的實(shí)際情況從上述算法或方法中去選擇一種或兩種方法去使用。希望上述的某些方法能夠解決你的問題。例如使用其它評(píng)價(jià)指標(biāo)或重采樣算法速度快并且有效。
總結(jié)
??記住，其實(shí)并不知道哪種方法最適合你的任務(wù)與數(shù)據(jù)，你可以使用一些啟發(fā)式規(guī)則或經(jīng)驗(yàn)去選擇某一個(gè)較優(yōu)算法。當(dāng)然最好的方法測(cè)試每一種算法，然后選擇最好的方法。最重要的是，從點(diǎn)滴開始做起，根據(jù)自己現(xiàn)有的知識(shí)，并不斷學(xué)習(xí)去一步步完善。