信息論基礎知識
- 信息
- 熵，條件熵，KL散度，三者關係
- 信息增益，最大熵原理
信息論
信息論即香農信息論，是研究通信系統極限性能的理論。
首要問題：對信息進行度量
什麼是信息？
- 當今是信息社會
- 信息的含義模糊
如何度量信息？
- 一般來說，可判斷是否獲得信息，但無法準確度量信息。
- 應用數學工具，通過數學運算來度量信息。
信息的度量
- 信息的度量和不確定性消除的程度有關
- 不確定性的程度與事件發生的概率有關
- 信息量與概率的關係：
信息量是概率的單調遞減函數
概率小，信息量大
概率大，信息量小
自信息量的物理含義
- 自信息量表示事件發生後，該事件給予觀察者的信息量。
- 自信息量的大小取決於事件發生的概率。事件發生的可能性越大，它所包含的信息量就越小。反之，事件發生的概率越小，它能提供的信息量就越大。
自信息量需滿足的條件
