注：以下信息摘自各個網頁和論壇。只是做一個綜合。謝謝前輩們的分享。
數據壓縮編碼的理論基礎：
信息論，從信息論的角度來看，壓縮就是去掉信息中的冗餘，即保留不確定的東西，去掉確定的東西（即可以推知的東西），使用一種更接近信息本質的描述來代替原有的冗餘的描述，這個本質的東西就是信息量（即不確定因素）
信息論中的信源編碼理論解決的主要問題：
（1）數據壓縮的理論極限
（2）數據壓縮的基本途徑。
根據信息論的原理，可以找到最佳數據壓縮編碼的方法，數據壓縮的理論極限是信息熵。如果要求編碼過程中不丟失信息量，即要求保存信息熵，這種信息保持編碼叫熵編碼，是根據消息出現概率的分佈特性而進行的，屬於統計編碼中的一類，是無損數據壓縮編碼。
熵編碼是建立在隨機過程的統計基礎之上的。
信源X的熵，是信源X發出任意一個隨機變量的平均信息量。
常見熵編碼方法：
霍夫曼編碼，算術編碼，行程編碼
