隨機變量的熵的定義與計算公式

引用說明

本文所引用的分析來自於：
百科 信息熵

熵的定義

熵是對混亂程度的度量，熵值越大,說明混亂程度越大,越不確定,也就越隨機, 則概率就越小。
通常，一個信源發送出什麼符號是不確定的，衡量它可以根據其出現的概率來度量。概率大，出現機會多，不確定性小；反之不確定性就大。
不確定性函數$f$是概率$P$的減函數；兩個獨立符號所產生的不確定性應等於各自不確定性之和，即$f(P_1,P_2)=f(P_1)+f(P_2)$，這稱爲可加性。同時滿足這兩個條件的函數f是對數函數，即 :
$f(P)=log(\frac {1}{P}) = -log(P)$

P表示概率

離散型隨機變量的熵

計算公式:
$H(U) = -\sum_{i=1}^n P_i *log(P_i)$

若隨機變量有n種取值：$U_1, ... U_i ... U_n$，對應概率爲：$P_1,...P_i ...P_n$，且各種變量的出現彼此獨立。

連續型隨機變量的熵

計算公式:
$H(U) = -Plog(P) - (1-P)log(1-P)$

U表示隨機變量;
P表示隨機變量取值爲U的概率, 也可以表示爲P(U);
其中滿足: $0\le H(U) \le log(U)$

熵的函數曲線

離散/連續型隨機變量熵

由圖可見，離散信源的信息熵具有：

1. 非負性：即收到一個信源符號所獲得的信息量應爲正值，H(U)≥0;
2. 對稱性：即對稱於P=0.5;
3. 確定性：H(1,0)=0，即P=0或P=1已是確定狀態，所得信息量爲零;
4. 極值性：因H(U)是P的上凸函數，且一階導數在P=0.5時等於0，所以當P=0.5時，H(U)最大。