決策樹(shù)缺點(diǎn)和注意事項(xiàng)：

決策樹(shù)的最大缺點(diǎn)是原理中的貪心算法。因此它所做的選擇只能是某種意義上的局部最優(yōu)選擇。

若目標(biāo)變量是連續(xù)變量，那么決策樹(shù)就不使用了，改用回歸模型

若某些自變量的類別種類較多，或者自變量是區(qū)間型時(shí)，決策樹(shù)過(guò)擬合的危險(xiǎn)會(huì)增大。這種情況需要分箱或多次模型驗(yàn)證，確保其具有穩(wěn)定性。

對(duì)區(qū)間型變量進(jìn)行分箱操作時(shí)，無(wú)論是否考慮了順序因素，都有可能因?yàn)榉窒鋯适Я四承┲匾畔?，尤其是?dāng)分箱前的區(qū)間型便變量與目標(biāo)變量有明顯的線性關(guān)系時(shí)，這種分箱造成的損失更為明顯。

邏輯回歸（目標(biāo)變量是二元變量）

建模數(shù)據(jù)量不能太少，目標(biāo)變量中每個(gè)類別所對(duì)應(yīng)的樣本數(shù)量要足夠充分，才能支持建模

排除共線性問(wèn)題（自變量間相關(guān)性很大）

異常值會(huì)給模型帶來(lái)很大干擾，要剔除。

邏輯回歸不能處理缺失值，所以之前應(yīng)對(duì)缺失值進(jìn)行適當(dāng)處理。

線性回歸缺點(diǎn)和注意事項(xiàng)

對(duì)異常值敏感，應(yīng)剔除。

只適合處理線性關(guān)系，若自變量和因變量間有比較強(qiáng)的非線性關(guān)系，應(yīng)該對(duì)自變量進(jìn)行一定的轉(zhuǎn)換，比如取對(duì)數(shù)、開(kāi)方、取平方根等。

多元線性回歸應(yīng)用有一定的前提假設(shè)，自變量是確定的變量，而不是隨機(jī)變量，自變量間沒(méi)有線性相關(guān)，隨機(jī)誤差呈正太分布，隨機(jī)誤差項(xiàng)具有均值為0以及等方差性。

線性回歸和邏輯回歸的區(qū)別

線性回歸針對(duì)的目標(biāo)變量是區(qū)間型的，邏輯回歸針對(duì)的目標(biāo)變量是類別型的

線性回歸模型的目標(biāo)變量和自變量之間的關(guān)系假設(shè)是線性相關(guān)的，邏輯回歸模型中的目標(biāo)變量和自變量是非線性的

線性回歸中通常會(huì)用假設(shè)，對(duì)應(yīng)于自變量x的某個(gè)值，目標(biāo)變量y的觀察值是服從正太分布的。邏輯回歸中目標(biāo)變量y是服從二項(xiàng)分布0和1或者多項(xiàng)分布的

邏輯回歸中不存在線性回歸中常見(jiàn)的殘差

參數(shù)估值上，線性回歸采用最小平方法，邏輯回歸采用最大似染法。

過(guò)擬合產(chǎn)生原因：

樣本里噪聲數(shù)據(jù)干擾過(guò)大。樣本噪聲大到模型過(guò)分記住了噪聲特征，反而忽略了真實(shí)的輸入輸出間的關(guān)系。

建模時(shí)的邏輯假設(shè)應(yīng)用到模型時(shí)不成立了。任何預(yù)測(cè)模型都是在假設(shè)的基礎(chǔ)上才可以使用的，比如業(yè)務(wù)環(huán)節(jié)沒(méi)有發(fā)生顯著變化，數(shù)據(jù)符合某種分布等，如果上述假設(shè)違反了業(yè)務(wù)場(chǎng)景，那么該模型就不能用了。

建模時(shí)使用了太多輸入變量。同噪聲數(shù)據(jù)相似，不分析數(shù)據(jù)特征，把所有的變量交給機(jī)器去處理，撞大運(yùn)，一個(gè)穩(wěn)定優(yōu)良的模型一定要遵循輸入變量的少而精的原則。

若用決策樹(shù)，沒(méi)有對(duì)決策樹(shù)的生長(zhǎng)進(jìn)行合理的限制和剪枝，由著決策樹(shù)自己生長(zhǎng)，可能會(huì)過(guò)分?jǐn)M合原始數(shù)據(jù)，對(duì)新數(shù)據(jù)一塌糊涂。

建模樣本抽取錯(cuò)誤。包括但不限于樣本數(shù)量少，抽樣方法錯(cuò)誤，抽樣時(shí)沒(méi)有足夠正確的考慮業(yè)務(wù)場(chǎng)景和特點(diǎn)，以致于抽出的樣本數(shù)據(jù)不能足夠有效的代表業(yè)務(wù)邏輯和業(yè)務(wù)場(chǎng)景。

放置過(guò)擬合的手段：

合理有效抽樣，包括分層抽樣，過(guò)抽樣等，從而用不同的樣本去檢驗(yàn)?zāi)Ｐ汀?/p>

交叉檢驗(yàn)，這是目前業(yè)界防止過(guò)擬合常用手段。

數(shù)據(jù)若太少，不要用神經(jīng)網(wǎng)絡(luò)模型（深度學(xué)習(xí)），否則是淺度學(xué)習(xí)，而且一定要實(shí)現(xiàn)篩選輸入變量，不要把所有變量一股腦放進(jìn)去。