99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話:13121318867

登錄
2021-11-15 閱讀量: 1917
熵和信息的概念

信息的基本作用就是減少人們對(duì)事物的不確定性,或者是增加對(duì)事物的確定性。

不確定性函數(shù)f是概率P的減函數(shù)

P增加——>不確定性 減少——>信息熵減少——>信息增益為正。

p越大,不確定性越小,信息(驚奇度)越少

信息=驚奇度

信息增益:熵 - 條件熵。表示在一個(gè)條件下,信息不確定性減少的程度。

變量的不確定性越大,熵也就越大,把它搞清楚所需要的信息量也就越大。

我們?nèi)绾蝸?lái)衡量信息量的多少呢? 我們用信息熵來(lái)橫向信息中包含的信息量的多少。

Shannon 借鑒了熱力學(xué)的概念,把信息中排除了冗余后的平均信息量稱為“信息熵”,信息熵簡(jiǎn)稱為熵。

我們用一個(gè)隨機(jī)變量來(lái)舉例進(jìn)行信息熵的概念。

比如我們有一個(gè)隨機(jī)變量Y,Y只可能取兩個(gè)值,我們把這兩個(gè)取值稱為兩個(gè)事件,分別是事件1和事件2,在不給任何條件的情況下,Y取1的概率為P1=0.6,Y取2的概率為P2=0.4。

我們認(rèn)為變量Y的不確定性可以用如下熵公式來(lái)衡量:

兩個(gè)獨(dú)立符號(hào)所產(chǎn)生的不確定性應(yīng)等于各自不確定性之和

熵函數(shù):

image.png 注:這里的log是以2為底的。

p越大,f(P)越小,f是P的減函數(shù)

image.png

熵函數(shù)f(P)的名字叫不確定性函數(shù),它是關(guān)于P的減函數(shù)

事件1的不確定性是 -log0.6

事件2的不確定性是 -log0.4

隨機(jī)變量Y的不確定性

=H(Y)

=事件1發(fā)生的概率*事件1的不確定性+事件2發(fā)生的概率*事件2的不確定性

=p1*(-log0.6)+p2*(-log0.4)

=0.9709505944546686

然后我們考慮兩種比較極端的情況

1.如果事件1發(fā)生的概率為0.5,事件2發(fā)生的概率為0.5,則H(Y)=1

2.如果事件1發(fā)生的概率為1,事件2發(fā)生的概率為0,則H(Y)=0

接下來(lái)介紹一下信息增益

信息增益:熵 - 條件熵。表示在一個(gè)條件下,信息不確定性減少的程度。

通俗地講,Y(明天是否下雨)是一個(gè)隨機(jī)變量,Y的熵可以算出來(lái), X(明天是否陰天)也是隨機(jī)變量,在給定X情況下Y的信息熵我們?nèi)绻仓赖脑挘ù颂幮枰榔渎?lián)合概率分布或是通過(guò)數(shù)據(jù)估計(jì))即是條件熵。

Y的熵減去X條件下Y的熵,就是信息增益。

用具體的數(shù)值來(lái)舉例說(shuō)明,原本明天是否下雨的信息熵是0.9,給定X之后的條件熵是0.3,這樣相減后為0.6。在獲得X這個(gè)信息后,下雨信息不確定性減少了0.6,不確定減少了很多,所以信息增益大。也就是說(shuō),是否陰天這個(gè)信息對(duì)明天是否下雨這一推斷來(lái)說(shuō)非常重要。

所以在特征選擇的時(shí)候常常用信息增益(IG),如果信息增益大的話,那么這個(gè)特征對(duì)于分類來(lái)說(shuō)很重要,決策樹(shù)就是這樣來(lái)找特征的。






99.1680
0
關(guān)注作者
收藏
評(píng)論(0)

發(fā)表評(píng)論

暫無(wú)數(shù)據(jù)
推薦帖子