一些碎片筆記

信息：如果待分類的事務可能劃分在多個分類中，則符號的信息定義爲,其中是選擇該分類的概率。

熵：集合信息的度量方式稱爲香農熵或者簡稱爲熵。熵定義爲信息的期望值。