18禁成年宅男午夜网站,亚洲国产成人久久精品99

anranhui

2020-06-18 閱讀量: 2762

決策樹中經(jīng)常用熵作為判別條件而不是基尼不純度？基尼不純度是什么？

絕大部分情況下熵（entropy）和基尼指數(shù)（Gini Index）在決策樹節(jié)點分裂時做出的決策都是等價的。

先看一下如何定義節(jié)點分裂時的不純度函數(shù)（impurity）有三種（假設(shè)有k個類別）：

不難看出，三個函數(shù)均為凸函數(shù)。只不過誤分率（函數(shù)1）是分段線性函數(shù)（piece-wise linear），有時候節(jié)點分裂會無法降低不純度。所以函數(shù)2和3一般是常采用的手段，它們的優(yōu)勢如下：

二者均為凸函數(shù)
二者都可以微分所以便于數(shù)值計算
二者都可以代表的函數(shù)1的誤差上界（upper bound）

正因為它們都是光滑凸函數(shù)且為訓練誤分函數(shù)的錯誤上界，所以不僅保證了每次節(jié)點分裂整體的不純度函數(shù)會下降且更適合運算。在絕大部分情況下，二者都是等價的，只有2%的情況下可能會有不同的分裂決策。如果非要說不同的話，就是熵的計算會需要求log，所以可能預(yù)算開銷更大。但是求log是防止計算溢出的利器，特別適合用于處理極小概率的情況，所以并非只有缺點。