熵是借用了物理上的一个概念，简单来说表示的是物质的无序度，混乱度。信息学里的熵表示数据的无序度，熵越高，则包含的信息越多。其实这个概念还是很抽象，举个最简单的例子，假如一段文字全是字母A，则它的熵就是0，因为根本没有任何变化。如果有一半A一半B，则它可以包含的信息就多了，熵也就高。如果有90%的A和10%的B，则熵比刚才的一半A一半B要低，因为大多数字母都是A。
熵编码就是根据数据中不同字符出现的概率，用不同长度的编码来表示不同字符。出现概率越高的字符，则用越短的编码表示；出现概率地的字符，可以用比较长的编码表示。这种思想在哈夫曼编码中其实已经很清晰地体现出来了。那么给定一段数据，用二进制表示，最少需要多少bit才能编码呢？或者说平均每个字符需要几个bit表示？其实这就是信息熵的概念，如果从数学上理论分析，香农天才地给出了如下公式：
其中 p (xi) 表示每个字符出现的概率。log对数计算的是每一个字符需要多少bit表示，对它们进行概率加权求和，可以理解为是求数学期望值，最后的结果即表示最少平均每个字符需要多少bit表示，即信息熵，它给出了编码率的极限。