花式玩邏輯回歸之不是只能做二分類(lèi)

最近忙了一些，懶也有啦，就沒(méi)怎么看書(shū)，發(fā)現(xiàn)一些新的東西，所以更新慢了，之前有個(gè)朋友叫我寫(xiě)避免過(guò)擬合，但是這個(gè)題目真的好廣泛，我還沒(méi)看透，所以這個(gè)可能后續(xù)再寫(xiě)，今天我們來(lái)寫(xiě)個(gè)關(guān)于邏輯回歸的話題。

其實(shí)大部分的時(shí)候，使用邏輯回歸都是處理二分類(lèi)的問(wèn)題，那是因?yàn)樵谛庞迷u(píng)分卡中，都是認(rèn)好客戶(hù)和壞客戶(hù)，但是在其他的建模場(chǎng)景中還是存在多分類(lèi)的情況的，例如你想建立一些用戶(hù)標(biāo)簽，區(qū)分使用你在庫(kù)客戶(hù)的一些行為特征或者給他們加個(gè)標(biāo)簽，更好的建立模型，那么建模中的多分類(lèi)的話，可能會(huì)用神經(jīng)網(wǎng)絡(luò)去區(qū)分多分類(lèi)，但是除了神經(jīng)網(wǎng)絡(luò)，我們?nèi)f能的邏輯回歸也可以。

介紹兩種把邏輯回歸變成多分類(lèi)算法的思路，絕對(duì)不是那個(gè)多分類(lèi)的邏輯回歸那個(gè)算法，底層還是那個(gè)二分類(lèi)的邏輯回歸。

1

啞變量式法

平時(shí)如果邏輯回歸不轉(zhuǎn)化woe的話，字符變量就是以啞變量的形式進(jìn)入模型的，那么現(xiàn)在我們也可以把我們的多分類(lèi)變成啞變量的形式建立多個(gè)模型。

步驟一：

假設(shè)現(xiàn)在是有4個(gè)分類(lèi)，A-B-C-D,現(xiàn)在建立四個(gè)模型，這四個(gè)模型的Y值是這么設(shè)置的：

分別建立了四個(gè)模型，這里你可以用全部的數(shù)據(jù)分成四份，分別建立四個(gè)模型，但是如果你數(shù)據(jù)少的話，其實(shí)我覺(jué)得你用同個(gè)全樣本數(shù)據(jù)做四個(gè)模型。

步驟二：這四個(gè)模型分別擬合建立模型，生成這四個(gè)模型的標(biāo)準(zhǔn)卡

步驟三：部署應(yīng)用的就是，客戶(hù)的全部維度跑四個(gè)模型，取預(yù)測(cè)概率最高的那個(gè)即為是哪一類(lèi)，即max(p(f1(x)), p(f2(x)), p(f3(x)), p(f4(x)))。

2

投票式

還是例如是四個(gè)標(biāo)簽，A-B-C-D，這個(gè)方法的思路是：

步驟一：

這時(shí)候你需要建立是6個(gè)模型，每個(gè)模型選取的數(shù)據(jù)是樣本中對(duì)應(yīng)標(biāo)簽的數(shù)據(jù)。

步驟二：分別擬合建立6個(gè)模型，并生成6個(gè)模型的標(biāo)準(zhǔn)評(píng)分卡。

步驟三：部署應(yīng)用是這樣子的：

當(dāng)一個(gè)客戶(hù)進(jìn)來(lái)的時(shí)候：跑第一個(gè)模型，預(yù)設(shè)一個(gè)閾值，如果超過(guò)閾值則為A,小于閾值就是C,依次算出6個(gè)模型的預(yù)測(cè)標(biāo)簽，預(yù)測(cè)標(biāo)簽就是這6個(gè)模型的最高票。

3

空間距離法

這個(gè)方法在西瓜書(shū)的65頁(yè)有詳細(xì)的介紹，如果你看不懂我寫(xiě)的，你可以去看一下西瓜書(shū)的65頁(yè)-67頁(yè)的內(nèi)容。這個(gè)方法我是自己看了之后，按照自己的理解再加點(diǎn)一個(gè)改動(dòng)。

這個(gè)方法有點(diǎn)麻煩哈，就是你建立多少個(gè)模型都可以。

步驟一：你的Y值中的1可以是A 也可以是AB 0是CD ,然后你隨機(jī)的讓一個(gè)或者幾個(gè)標(biāo)簽作為y值中的1，剩下的一個(gè)標(biāo)簽作為y值的0，那么你就可以得到以下的矩陣。F1(X),就是A標(biāo)簽為目標(biāo)標(biāo)簽，剩下則為非目標(biāo)標(biāo)簽,以此類(lèi)推

步驟二：就是你根據(jù)的y值取目標(biāo)標(biāo)簽為1,然后進(jìn)行建模，分別建立7個(gè)模型。這個(gè)我建立的模型對(duì)D不太公平，正常的話應(yīng)該是每個(gè)標(biāo)簽的做目標(biāo)標(biāo)簽的次數(shù)應(yīng)該是跟非目標(biāo)的次數(shù)是一樣的，但是這個(gè)沒(méi)那么寬，我就列舉了一下。

步驟三：部署的時(shí)候就是這樣子，你的客戶(hù)維度跑了全部的模型，模型會(huì)有一個(gè)閾值，那么大于這個(gè)閾值就是目標(biāo)標(biāo)簽，小于閾值就是非目標(biāo)標(biāo)簽。那么如果想F2(X)這種，大于閾值，那他可能是A標(biāo)簽也可能是B標(biāo)簽，這時(shí)候就不好判斷了，所以這之后按照空間距離的公司，算出客戶(hù)預(yù)測(cè)標(biāo)簽組成一個(gè)向量，與A B C D的各個(gè)模型的作為目標(biāo)變量組成的向量，計(jì)算預(yù)測(cè)標(biāo)簽向量與標(biāo)簽向量之間的歐式距離，距離最小的，即預(yù)測(cè)標(biāo)簽為其標(biāo)簽，我舉個(gè)例子：

例如有個(gè)客戶(hù)數(shù)據(jù)是(1,0,0,0,1,0,1)，那么他與A B C D歐式距離就是分別是：

那么這個(gè)客戶(hù)的預(yù)測(cè)標(biāo)簽就是4。我這歐式距離是手算，要是有錯(cuò)的告訴我一下哈。