花式玩邏輯回歸之不是只能做二分類

最近忙了一些，懶也有啦，就沒怎么看書，發(fā)現(xiàn)一些新的東西，所以更新慢了，之前有個朋友叫我寫避免過擬合，但是這個題目真的好廣泛，我還沒看透，所以這個可能后續(xù)再寫，今天我們來寫個關(guān)于邏輯回歸的話題。

其實大部分的時候，使用邏輯回歸都是處理二分類的問題，那是因為在信用評分卡中，都是認(rèn)好客戶和壞客戶，但是在其他的建模場景中還是存在多分類的情況的，例如你想建立一些用戶標(biāo)簽，區(qū)分使用你在庫客戶的一些行為特征或者給他們加個標(biāo)簽，更好的建立模型，那么建模中的多分類的話，可能會用神經(jīng)網(wǎng)絡(luò)去區(qū)分多分類，但是除了神經(jīng)網(wǎng)絡(luò)，我們?nèi)f能的邏輯回歸也可以。

介紹兩種把邏輯回歸變成多分類算法的思路，絕對不是那個多分類的邏輯回歸那個算法，底層還是那個二分類的邏輯回歸。

1

啞變量式法

平時如果邏輯回歸不轉(zhuǎn)化woe的話，字符變量就是以啞變量的形式進(jìn)入模型的，那么現(xiàn)在我們也可以把我們的多分類變成啞變量的形式建立多個模型。

步驟一：

假設(shè)現(xiàn)在是有4個分類，A-B-C-D,現(xiàn)在建立四個模型，這四個模型的Y值是這么設(shè)置的：

分別建立了四個模型，這里你可以用全部的數(shù)據(jù)分成四份，分別建立四個模型，但是如果你數(shù)據(jù)少的話，其實我覺得你用同個全樣本數(shù)據(jù)做四個模型。

步驟二：這四個模型分別擬合建立模型，生成這四個模型的標(biāo)準(zhǔn)卡

步驟三：部署應(yīng)用的就是，客戶的全部維度跑四個模型，取預(yù)測概率最高的那個即為是哪一類，即max(p(f1(x)), p(f2(x)), p(f3(x)), p(f4(x)))。

2

投票式

還是例如是四個標(biāo)簽，A-B-C-D，這個方法的思路是：

步驟一：

這時候你需要建立是6個模型，每個模型選取的數(shù)據(jù)是樣本中對應(yīng)標(biāo)簽的數(shù)據(jù)。

步驟二：分別擬合建立6個模型，并生成6個模型的標(biāo)準(zhǔn)評分卡。

步驟三：部署應(yīng)用是這樣子的：

當(dāng)一個客戶進(jìn)來的時候：跑第一個模型，預(yù)設(shè)一個閾值，如果超過閾值則為A,小于閾值就是C,依次算出6個模型的預(yù)測標(biāo)簽，預(yù)測標(biāo)簽就是這6個模型的最高票。

3

空間距離法

這個方法在西瓜書的65頁有詳細(xì)的介紹，如果你看不懂我寫的，你可以去看一下西瓜書的65頁-67頁的內(nèi)容。這個方法我是自己看了之后，按照自己的理解再加點一個改動。

這個方法有點麻煩哈，就是你建立多少個模型都可以。

步驟一：你的Y值中的1可以是A 也可以是AB 0是CD ,然后你隨機的讓一個或者幾個標(biāo)簽作為y值中的1，剩下的一個標(biāo)簽作為y值的0，那么你就可以得到以下的矩陣。F1(X),就是A標(biāo)簽為目標(biāo)標(biāo)簽，剩下則為非目標(biāo)標(biāo)簽,以此類推

步驟二：就是你根據(jù)的y值取目標(biāo)標(biāo)簽為1,然后進(jìn)行建模，分別建立7個模型。這個我建立的模型對D不太公平，正常的話應(yīng)該是每個標(biāo)簽的做目標(biāo)標(biāo)簽的次數(shù)應(yīng)該是跟非目標(biāo)的次數(shù)是一樣的，但是這個沒那么寬，我就列舉了一下。

步驟三：部署的時候就是這樣子，你的客戶維度跑了全部的模型，模型會有一個閾值，那么大于這個閾值就是目標(biāo)標(biāo)簽，小于閾值就是非目標(biāo)標(biāo)簽。那么如果想F2(X)這種，大于閾值，那他可能是A標(biāo)簽也可能是B標(biāo)簽，這時候就不好判斷了，所以這之后按照空間距離的公司，算出客戶預(yù)測標(biāo)簽組成一個向量，與A B C D的各個模型的作為目標(biāo)變量組成的向量，計算預(yù)測標(biāo)簽向量與標(biāo)簽向量之間的歐式距離，距離最小的，即預(yù)測標(biāo)簽為其標(biāo)簽，我舉個例子：

例如有個客戶數(shù)據(jù)是(1,0,0,0,1,0,1)，那么他與A B C D歐式距離就是分別是：

那么這個客戶的預(yù)測標(biāo)簽就是4。我這歐式距離是手算，要是有錯的告訴我一下哈。