問：

LogisticRegression的solver參數(shù)怎么選擇？

答：

solver參數(shù)決定了我們對(duì)邏輯回歸損失函數(shù)的優(yōu)化?法，有4種算法可以選擇，分別是:

• liblinear：使?了開源的liblinear庫(kù)實(shí)現(xiàn)，內(nèi)部使?了坐標(biāo)軸下降法來(lái)迭代優(yōu)化損失函數(shù)。

• lbfgs：擬?頓法的?種，利?損失函數(shù)?階導(dǎo)數(shù)矩陣即海森矩陣來(lái)迭代優(yōu)化損失函數(shù)。

• newton-cg：也是?頓法家族的?種，利?損失函數(shù)?階導(dǎo)數(shù)矩陣即海森矩陣來(lái)迭代優(yōu)化損失函數(shù)。

• sag：即隨機(jī)平均梯度下降，是梯度下降法的變種，和普通梯度下降法的區(qū)別是每次迭代僅??部分的樣本來(lái)計(jì)算梯度，適合于樣本數(shù)據(jù)多的時(shí)候。

從上?的描述可以看出， newton-cg, lbfgs和sag這三種優(yōu)化算法時(shí)都需要損失函數(shù)的?階或者?階連

續(xù)導(dǎo)數(shù)，因此不能?于沒有連續(xù)導(dǎo)數(shù)的L1正則化，只能?于L2正則化。?liblinear通吃L1正則化和L2正則化。同時(shí)， sag每次僅使?了部分樣本進(jìn)?梯度迭代，所以當(dāng)樣本量少的時(shí)候不要選擇它，?如果樣本量?常?，?如?于10萬(wàn)， sag是第?選擇。但是sag不能?于L1正則化，所以當(dāng)你有?量的樣本，?需要L1正則化的話就要??做取舍了。要么通過(guò)對(duì)樣本采樣來(lái)降低樣本量量，要么回到L2正則化。