2.1 墒編碼基本原理

墒編碼

信息量的概念

信息量：表示該符號所需要的位數

• 考慮用0和1組成的二進制數碼
• 爲含有N個符號的某條消息進行編碼
• 假設符號 a_j在整條消息中重複出現的概率爲 P_j ,則該符號的信息量定義爲：
  En = -log₂(P_j)

舉個例子

假如信源字符串：aabbaccbaa
a，b，c，出現的概率分別爲：0.5；0.3；0.2，他們的信息量分別爲：

E_a=-log₂(0.5) = 1
E_b=-log₂(0.3) = 1.737
E_c=-log₂(0.2) = 2.322

總信息量=E_a * 5 + E_b * 3 + E_c * 2 = 1 * 5 + 1.737 * 3 + 2.322 * 2 = 14.855位

墒編碼概念

• Shannon第一定律（率失真定律）確定了在編碼過程中不損失任何信息，即在無損編碼條件下數據壓縮的理論極限值是信息的墒，並指出瞭如何建立最優壓縮數據編碼的方法
• 這種保存信息墒的編碼方法統稱爲墒編碼，墒編碼爲一種無損編碼，可以完整的解碼壓縮之前的數據。

信源的平均信息量即爲“墒”