2020-02-27
閱讀量:
1004
條件熵
我們首先知道信息熵是考慮該隨機(jī)變量的所有可能取值,即所有可能發(fā)生事件所帶來的信息量的期望。公式如下:

我們的條件熵的定義是:定義為X給定條件下,Y的條件概率分布的熵對X的數(shù)學(xué)期望
這個(gè)還是比較抽象,下面我們解釋一下:
設(shè)有隨機(jī)變量(X,Y),其聯(lián)合概率分布為

條件熵H(Y|X)表示在已知隨機(jī)變量X的條件下隨機(jī)變量Y的不確定性。隨機(jī)變量X給定的條件下隨機(jī)變量Y的條件熵H(Y|X)
公式
下面推導(dǎo)一下條件熵的公式:

注意
注意,這個(gè)條件熵,是指在給定某個(gè)數(shù)(某個(gè)變量為某個(gè)值)的情況下,另一個(gè)變量的熵是多少,變量的不確定性是多少?
因?yàn)闂l件熵中X也是一個(gè)變量,意思是在一個(gè)變量X的條件下(變量X的每個(gè)值都會?。硪粋€(gè)變量Y熵對X的期望。






評論(0)


暫無數(shù)據(jù)
CDA考試動(dòng)態(tài)
CDA報(bào)考指南
推薦帖子
0條評論
0條評論
0條評論