邏輯回歸與決策樹在分類上的一些區(qū)別

 營銷預(yù)測模型的目標(biāo)變量很多為一種狀態(tài)或類型，如客戶“買”還是“不買”、客戶選擇上網(wǎng)方式為 “寬帶”還是“撥號”、營銷戰(zhàn)通道是郵件、電話、還是網(wǎng)絡(luò)。我們把這類問題統(tǒng)稱為 “分類”。決策樹和邏輯回歸都是解決“分類”問題的高手。用不同的算法解答同樣的問題，自然引出了兩者孰優(yōu)孰劣的討論，但迄今為止，仍然沒有一個(gè)明確的結(jié)論。出現(xiàn)這種情況是意料之中的，因?yàn)閮烧叩木唧w表現(xiàn)取決于數(shù)據(jù)狀況和挖掘人員的水平。從算法本身看，決策樹和回歸各有優(yōu)勢，因此最好的應(yīng)用不是兩者擇一，而是相互取舍，利用一方的長處彌補(bǔ)另一方的不足。
      

     在進(jìn)一步討論之前，讓我們來看一下邏輯回歸和決策樹的主要差別。

     有些分歧是表面的，例如決策樹可以對付缺失值，而邏輯回歸需要挖掘人員預(yù)先對缺失數(shù)據(jù)進(jìn)行處理。但實(shí)際上決策樹同樣要對缺失值做出某種假設(shè)和處理。例如CART在遇到一個(gè)變量中有缺失情況時(shí)，是用次級變量進(jìn)行替換切分。這種做法在邏輯回歸中也可以辦到，但需要單獨(dú)的編程。而在決策樹中，這一步已經(jīng)嵌入軟件的算法引擎。

從實(shí)質(zhì)上看，決策樹和邏輯回歸的分歧是：
1．邏輯回歸對數(shù)據(jù)整體結(jié)構(gòu)的分析優(yōu)于決策樹，而決策樹對局部結(jié)構(gòu)的分析優(yōu)于邏輯回歸。
2．邏輯回歸擅長分析線性關(guān)系，而決策樹對線性關(guān)系的把握較差。雖然對付非線性關(guān)系是決策樹的強(qiáng)項(xiàng)，但是很多非線性關(guān)系完全可以用線性關(guān)系作為近似，而且效果很好。線性關(guān)系在實(shí)踐中有很多優(yōu)點(diǎn)：簡潔，易理解，可以在一定程度上防止對數(shù)據(jù)的過度擬合。
3．邏輯回歸對極值比較敏感，容易受極端值的影響，而決策樹在這方面表現(xiàn)較好。

    兩者的差別主要來自算法邏輯。決策樹由于采用分割的方法，所以能夠深入數(shù)據(jù)細(xì)部，但同時(shí)失去了對全局的把握。一個(gè)分層一旦形成，它和別的層面或節(jié)點(diǎn)的關(guān)系就被切斷了，以后的挖掘只能在局部中進(jìn)行。同時(shí)由于切分，樣本數(shù)量不斷萎縮，所以無法支持對多變量的同時(shí)檢驗(yàn)。而邏輯回歸，始終著眼整個(gè)數(shù)據(jù)的擬合，所以對全局把握較好。但無法兼顧局部數(shù)據(jù)，或者說缺乏探查局部結(jié)構(gòu)的內(nèi)在機(jī)制。

      除外，邏輯回歸和決策樹還有一些應(yīng)用上的區(qū)別。決策樹的結(jié)果和邏輯回歸相比略顯粗糙。邏輯回歸原則上可以提供數(shù)據(jù)中每個(gè)觀察點(diǎn)的概率，而決策樹只能把挖掘?qū)ο蠓譃橛邢薜母怕式M群。比如決策樹確定17個(gè)節(jié)點(diǎn)，全部人口就只能有17個(gè)概率，在應(yīng)用上受到一定限制。就操作來說，決策樹比較容易上手，需要的數(shù)據(jù)預(yù)處理較少，而邏輯回歸則要求一定的訓(xùn)練和技巧。

    對于兩者間互補(bǔ)或增強(qiáng)，主要思路是利用決策樹對局部數(shù)據(jù)結(jié)構(gòu)優(yōu)越的把握能力增加邏輯回歸的效力。在具體做法上有幾種，一種是從決策樹分析中找出數(shù)據(jù)局部結(jié)構(gòu)，作為在邏輯回歸中構(gòu)建依變量（interaction)的依據(jù)。另一種是在需要對預(yù)測因子進(jìn)行離散化處理時(shí)，利用決策樹分析決定最佳切分點(diǎn)。還有一種是把決策樹分類的最終結(jié)果作為預(yù)測變量，和其他協(xié)變量一起代入回歸模型，又稱為“嫁接式模型”。從理論上講，嫁接模型綜合了決策樹和邏輯回歸的優(yōu)點(diǎn)。最終節(jié)點(diǎn)包含了數(shù)據(jù)中重要的局部結(jié)構(gòu)，而協(xié)變量可以拾補(bǔ)被決策樹遺漏的數(shù)據(jù)整體結(jié)構(gòu)。

     嫁接模型是一個(gè)很巧妙的設(shè)計(jì)，但是在實(shí)踐中并沒有得到普遍的認(rèn)同。由于決策樹已經(jīng)對數(shù)據(jù)進(jìn)行了最大限度的擬合，所以留給協(xié)變量的余地很小。換句話說，把決策樹的最終節(jié)點(diǎn)作為預(yù)測因子，就可能找不出還有獨(dú)立作用的協(xié)變量。而沒有協(xié)變量，邏輯回歸實(shí)際只是決策樹的重復(fù)。再有，由于節(jié)點(diǎn)是多個(gè)屬性的綜合，不易解釋。每個(gè)節(jié)點(diǎn)到底代表什么不明確，由此限制了這種方法的推廣。