邏輯回歸、決策樹、支持向量機(jī)算法三巨頭

1 邏輯回歸

首先邏輯回歸是線性回歸衍生過來的，假設(shè)在二維空間上，本質(zhì)上還是一條線，那么在三維空間，他就是一個(gè)平面。把數(shù)據(jù)分成兩邊，就是直的不能再直的一條線或者一個(gè)平面。那么假設(shè)現(xiàn)在我們有兩個(gè)變量，就是圖中這兩個(gè)變量，為什么假設(shè)y=1是壞客戶的話，根據(jù)圖中可以看到，單個(gè)變量的劃分并不可以把兩種類型的客戶分的很好，要兩個(gè)變量相互作用，假設(shè)x1為查詢次數(shù)，x2為在還貸款筆數(shù)，那可以看到當(dāng)x1小以及x2比較小的時(shí)候，那么客戶肯定在左下角的地方，那么當(dāng)他其中一項(xiàng)比較高的時(shí)候就會(huì)趨于右上角，x1 x2都高的時(shí)候，就是越過分割線，落于分割線的上方了。這里我們可以看到，x1 x2是兩個(gè)有趨勢(shì)性的變量才可以達(dá)到這種這么好的一個(gè)分類效果。

那么現(xiàn)在假設(shè)數(shù)據(jù)是以下這種：

可以看到變量的趨勢(shì)跟y的分類沒有什么關(guān)系的時(shí)候，這時(shí)候邏輯回歸就顯得很雞肋，分的效果一點(diǎn)都不好。

2 決策樹

決策樹。剛才說的是邏輯回歸是一條直到不能再直的直線或者平面，那么決策樹就是一條會(huì)拐彎，但是不能有角度的，永遠(yuǎn)直行或者90度拐的直線或者面，看下圖，你可以理解為決策樹就是一條貪吃蛇，他的目標(biāo)就是把好壞客戶分的很清晰明了，要是貪吃蛇過分的貪吃就會(huì)造成過擬合，那么過擬合是啥，就是你問你喜歡的妹紙，妹紙你喜歡什么樣的男生，妹紙說，我喜歡長的好看的，帥氣，溫柔體貼，會(huì)做飯的，巴拉巴拉一大堆，足足100多條，然后你實(shí)在太喜歡妹紙，所以按照她的要求，到頭來你真的跟妹紙?jiān)谝黄鹆耍眉堈f，其實(shí)我只要你長得好看就可以了，其他的100多條都是無所謂的。拉回來決策樹，決策樹適應(yīng)的數(shù)據(jù)假設(shè)像邏輯回歸那種數(shù)據(jù)的話，其實(shí)按照決策樹的這種貪吃蛇的方式其實(shí)還是很難分的，所以決策樹適用的數(shù)據(jù)是變量與因變量呈現(xiàn)一個(gè)u型分布的數(shù)據(jù)，就是兩頭是一類，單峰聚集了另外一類數(shù)據(jù)。你在變量特征分析的，看到變量都是呈現(xiàn)這種趨勢(shì)的，你就要暗喜了，老子要用決策樹立功了?。?！

3 支持向量機(jī)

支持向量機(jī)，要是沒有數(shù)學(xué)基礎(chǔ)的人看支持向量機(jī)的把低維的數(shù)據(jù)轉(zhuǎn)化成高維可以在高維空間分類的算法這句話時(shí)候估計(jì)是一臉懵逼，我以前也是很懵逼，這到底是啥，我們以只有兩個(gè)變量的舉個(gè)例子，譬如你現(xiàn)在相區(qū)分一群客戶的好壞，這時(shí)候就給出這群人的兩個(gè)變量，查詢次數(shù)和貸款次數(shù)，然后這時(shí)候你通過某些什么開方啊，冪次數(shù)，取對(duì)數(shù)的方式啊，你剛好擬合除了三元方程，這條方程你把身高體重的數(shù)據(jù)輸進(jìn)去，算出來的第三個(gè)未知數(shù)在這條方程里面的，就是男的，在這方程里面就算女的，這樣子可能你不是很清楚，請(qǐng)看下圖

剛才我們把數(shù)據(jù)丟進(jìn)入，支持向量機(jī)幫我們這份數(shù)據(jù)擬合了這個(gè)圓，把這兩類數(shù)據(jù)分的像圖中的這樣子很好，那么這時(shí)候我們需要這條圓的方程，產(chǎn)生變量的運(yùn)用口徑，這條方程是：

25=(x-5)2+(y-5)2 那么這時(shí)候當(dāng)貸款次數(shù)和查詢次數(shù)分別減5再2次冪的時(shí)候如果數(shù)小于25那么就是好客戶，假設(shè)大于25就是壞客戶。支持向量機(jī)是在除了變量所有的維度之外又給了他一個(gè)維度之后，把擬合的方程再投放在原來的維度空間。支持向量機(jī)可以適用的數(shù)據(jù)那么就是在你用決策樹和邏輯回歸走投無路的時(shí)候就可以用支持向量機(jī)了，但是就像我們剛才得出這道方程一樣，出來的變量口徑是沒有邏輯的，他可能要變量開方，取對(duì)數(shù)，假設(shè)你這模型要跟業(yè)務(wù)去解釋的時(shí)候，我就不知道你要想多少套路了。