熵與方差

信息熵和方差都被用作不確定性的度量，之間理應存在一定的科學關係

 

本文研究隨機變量X的熵H (X)與方差σ2 之間的關係。所得結論 :對連續型隨機變量X ,熵H(X)隨標準差σ的增加而增加 ,對二維連續型隨機變量 (X ,Y) ,聯合熵H(X ,Y)隨X、Y的標準差之積的增加而增加 ;對離散型隨機變量X ,熵與方差無關。這一性質 ,揭示了連續型隨機變量與離散型變量的本質差異。