決策樹、邏輯回歸、線性回歸使用時注意事項(xiàng)以及模型過擬合策略

 決策樹缺點(diǎn)和注意事項(xiàng)：
    決策樹的最大缺點(diǎn)是原理中的貪心算法。因此它所做的選擇只能是某種意義上的局部最優(yōu)選擇。
    若目標(biāo)變量是連續(xù)變量，那么決策樹就不使用了，改用回歸模型
    若某些自變量的類別種類較多，或者自變量是區(qū)間型時，決策樹過擬合的危險會增大。這種情況需要分箱或多次模型驗(yàn)證，確保其具有穩(wěn)定性。

    對區(qū)間型變量進(jìn)行分箱操作時，無論是否考慮了順序因素，都有可能因?yàn)榉窒鋯适Я四承┲匾畔?，尤其是?dāng)分箱前的區(qū)間型便變量與目標(biāo)變量有明顯的線性關(guān)系時，這種分箱造成的損失更為明顯。

邏輯回歸（目標(biāo)變量是二元變量）
    建模數(shù)據(jù)量不能太少，目標(biāo)變量中每個類別所對應(yīng)的樣本數(shù)量要足夠充分，才能支持建模
    排除共線性問題（自變量間相關(guān)性很大）
    異常值會給模型帶來很大干擾，要剔除。
    邏輯回歸不能處理缺失值，所以之前應(yīng)對缺失值進(jìn)行適當(dāng)處理。

線性回歸缺點(diǎn)和注意事項(xiàng)
    對異常值敏感，應(yīng)剔除。
    只適合處理線性關(guān)系，若自變量和因變量間有比較強(qiáng)的非線性關(guān)系，應(yīng)該對自變量進(jìn)行一定的轉(zhuǎn)換，比如取對數(shù)、開方、取平方根等。
    多元線性回歸應(yīng)用有一定的前提假設(shè)，自變量是確定的變量，而不是隨機(jī)變量，自變量間沒有線性相關(guān)，隨機(jī)誤差呈正太分布，隨機(jī)誤差項(xiàng)具有均值為0以及等方差性。

線性回歸和邏輯回歸的區(qū)別
    線性回歸針對的目標(biāo)變量是區(qū)間型的，邏輯回歸針對的目標(biāo)變量是類別型的
    線性回歸模型的目標(biāo)變量和自變量之間的關(guān)系假設(shè)是線性相關(guān)的，邏輯回歸模型中的目標(biāo)變量和自變量是非線性的
    線性回歸中通常會用假設(shè)，對應(yīng)于自變量x的某個值，目標(biāo)變量y的觀察值是服從正太分布的。邏輯回歸中目標(biāo)變量y是服從二項(xiàng)分布0和1或者多項(xiàng)分布的
    邏輯回歸中不存在線性回歸中常見的殘差
    參數(shù)估值上，線性回歸采用最小平方法，邏輯回歸采用最大似染法。

過擬合產(chǎn)生原因：
    樣本里噪聲數(shù)據(jù)干擾過大。樣本噪聲大到模型過分記住了噪聲特征，反而忽略了真實(shí)的輸入輸出間的關(guān)系。
    建模時的邏輯假設(shè)應(yīng)用到模型時不成立了。任何預(yù)測模型都是在假設(shè)的基礎(chǔ)上才可以使用的，比如業(yè)務(wù)環(huán)節(jié)沒有發(fā)生顯著變化，數(shù)據(jù)符合某種分布等，如果上述假設(shè)違反了業(yè)務(wù)場景，那么該模型就不能用了。
    建模時使用了太多輸入變量。同噪聲數(shù)據(jù)相似，不分析數(shù)據(jù)特征，把所有的變量交給機(jī)器去處理，撞大運(yùn)，一個穩(wěn)定優(yōu)良的模型一定要遵循輸入變量的少而精的原則。
    若用決策樹，沒有對決策樹的生長進(jìn)行合理的限制和剪枝，由著決策樹自己生長，可能會過分?jǐn)M合原始數(shù)據(jù)，對新數(shù)據(jù)一塌糊涂。
    建模樣本抽取錯誤。包括但不限于樣本數(shù)量少，抽樣方法錯誤，抽樣時沒有足夠正確的考慮業(yè)務(wù)場景和特點(diǎn)，以致于抽出的樣本數(shù)據(jù)不能足夠有效的代表業(yè)務(wù)邏輯和業(yè)務(wù)場景。

放置過擬合的手段：
    合理有效抽樣，包括分層抽樣，過抽樣等，從而用不同的樣本去檢驗(yàn)?zāi)Ｐ汀?br />     交叉檢驗(yàn)，這是目前業(yè)界防止過擬合常用手段。
    數(shù)據(jù)若太少，不要用神經(jīng)網(wǎng)絡(luò)模型（深度學(xué)習(xí)），否則是淺度學(xué)習(xí)，而且一定要實(shí)現(xiàn)篩選輸入變量，不要把所有變量一股腦放進(jìn)去。