邏輯回歸與決策樹在分類上的區(qū)別

在討論之前，讓我們來看一下邏輯回歸和決策樹的主要差別：

有些分歧是表面的，例如決策樹可以對(duì)付缺失值，而邏輯回歸需要挖掘人員預(yù)先對(duì)缺失數(shù)據(jù)進(jìn)行處理。但實(shí)際上決策樹同樣要對(duì)缺失值做出某種假設(shè)和處理。例如CART在遇到一個(gè)變量中有缺失情況時(shí)，是用次級(jí)變量進(jìn)行替換切分。這種做法在邏輯回歸中也可以辦到，但需要單獨(dú)的編程。而在決策樹中，這一步已經(jīng)嵌入軟件的算法引擎。

從實(shí)質(zhì)上看，決策樹和邏輯回歸的分歧是：

1．邏輯回歸對(duì)數(shù)據(jù)整體結(jié)構(gòu)的分析優(yōu)于決策樹，而決策樹對(duì)局部結(jié)構(gòu)的分析優(yōu)于邏輯回歸。

2．邏輯回歸擅長(zhǎng)分析線性關(guān)系，而決策樹對(duì)線性關(guān)系的把握較差。雖然對(duì)付非線性關(guān)系是決策樹的強(qiáng)項(xiàng)，但是很多非線性關(guān)系完全可以用線性關(guān)系作為近似，而且效果很好。線性關(guān)系在實(shí)踐中有很多優(yōu)點(diǎn)：簡(jiǎn)潔，易理解，可以在一定程度上防止對(duì)數(shù)據(jù)的過度擬合。

3．邏輯回歸對(duì)極值比較敏感，容易受極端值的影響，而決策樹在這方面表現(xiàn)較好。

兩者的差別主要來自算法邏輯。決策樹由于采用分割的方法，所以能夠深入數(shù)據(jù)細(xì)部，但同時(shí)失去了對(duì)全局的把握。一個(gè)分層一旦形成，它和別的層面或節(jié)點(diǎn)的關(guān)系就被切斷了，以后的挖掘只能在局部中進(jìn)行。同時(shí)由于切分，樣本數(shù)量不斷萎縮，所以無法支持對(duì)多變量的同時(shí)檢驗(yàn)。而邏輯回歸，始終著眼整個(gè)數(shù)據(jù)的擬合，所以對(duì)全局把握較好。但無法兼顧局部數(shù)據(jù)，或者說缺乏探查局部結(jié)構(gòu)的內(nèi)在機(jī)制。

除外，邏輯回歸和決策樹還有一些應(yīng)用上的區(qū)別。決策樹的結(jié)果和邏輯回歸相比略顯粗糙。邏輯回歸原則上可以提供數(shù)據(jù)中每個(gè)觀察點(diǎn)的概率，而決策樹只能把挖掘?qū)ο蠓譃橛邢薜母怕式M群。比如決策樹確定17個(gè)節(jié)點(diǎn)，全部人口就只能有17個(gè)概率，在應(yīng)用上受到一定限制。就操作來說，決策樹比較容易上手，需要的數(shù)據(jù)預(yù)處理較少，而邏輯回歸則要求一定的訓(xùn)練和技巧。

對(duì)于兩者間互補(bǔ)或增強(qiáng)，主要思路是利用決策樹對(duì)局部數(shù)據(jù)結(jié)構(gòu)優(yōu)越的把握能力增加邏輯回歸的效力。在具體做法上有幾種，一種是從決策樹分析中找出數(shù)據(jù)局部結(jié)構(gòu)，作為在邏輯回歸中構(gòu)建依變量（interaction)的依據(jù)。另一種是在需要對(duì)預(yù)測(cè)因子進(jìn)行離散化處理時(shí)，利用決策樹分析決定最佳切分點(diǎn)。還有一種是把決策樹分類的最終結(jié)果作為預(yù)測(cè)變量，和其他協(xié)變量一起代入回歸模型，又稱為“嫁接式模型”。從理論上講，嫁接模型綜合了決策樹和邏輯回歸的優(yōu)點(diǎn)。最終節(jié)點(diǎn)包含了數(shù)據(jù)中重要的局部結(jié)構(gòu)，而協(xié)變量可以拾補(bǔ)被決策樹遺漏的數(shù)據(jù)整體結(jié)構(gòu)。

嫁接模型是一個(gè)很巧妙的設(shè)計(jì)，但是在實(shí)踐中并沒有得到普遍的認(rèn)同。由于決策樹已經(jīng)對(duì)數(shù)據(jù)進(jìn)行了最大限度的擬合，所以留給協(xié)變量的余地很小。換句話說，把決策樹的最終節(jié)點(diǎn)作為預(yù)測(cè)因子，就可能找不出還有獨(dú)立作用的協(xié)變量。而沒有協(xié)變量，邏輯回歸實(shí)際只是決策樹的重復(fù)。再有，由于節(jié)點(diǎn)是多個(gè)屬性的綜合，不易解釋。每個(gè)節(jié)點(diǎn)到底代表什么不明確，由此限制了這種方法的推廣。