什麼是信息熵



信息理論的鼻祖之一Claude E. Shannon把信息（熵）定義爲離散隨機事件的出現概率。

計算公式

H(x) = E[I(xi)] = E[ log(2,1/p(xi)) ] = -∑p(xi)log(2,p(xi)) (i=1,2,..n)

一個系統越是有序，信息熵就越低；反之，一個系統越是混亂，信息熵就越高。所以，信息熵也可以說是系統有序化程度的一個度量。

變量的不確定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。