一些碎片笔记

信息：如果待分类的事务可能划分在多个分类中，则符号的信息定义为,其中是选择该分类的概率。

熵：集合信息的度量方式称为香农熵或者简称为熵。熵定义为信息的期望值。