信息論基礎

信息論基礎知識

  • 信息
  • 熵,條件熵,KL散度,三者關係
  • 信息增益,最大熵原理

信息論

信息論即香農信息論,是研究通信系統極限性能的理論。
首要問題:對信息進行度量

什麼是信息?

  • 當今是信息社會
  • 信息的含義模糊

如何度量信息?

  • 一般來說,可判斷是否獲得信息,但無法準確度量信息。
  • 應用數學工具,通過數學運算來度量信息。
    在這裏插入圖片描述

信息的度量

  • 信息的度量和不確定性消除的程度有關
  • 不確定性的程度與事件發生的概率有關
  • 信息量與概率的關係:
    信息量是概率的單調遞減函數
    概率小,信息量大
    概率大,信息量小

自信息量的物理含義

  • 自信息量表示事件發生後,該事件給予觀察者的信息量。
  • 自信息量的大小取決於事件發生的概率。事件發生的可能性越大,它所包含的信息量就越小。反之,事件發生的概率越小,它能提供的信息量就越大。

自信息量需滿足的條件
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章