從名字上來看，熵給人一種很玄乎，不知道是啥的感覺。其實，熵的定義很簡單，即用來表示隨機變量的不確定性。之所以給人玄乎的感覺，大概是因爲爲何要取這樣的名字，以及怎麼用。
熵的概念最早起源於物理學，用於度量一個熱力學系統的無序程度。在信息論裏面，熵是對不確定性的測量。
熵的引入
事實上，熵的英文原文爲entropy，最初由德國物理學家魯道夫·克勞修斯提出，其表達式爲：![]()
![]()
它表示一個系統在不受外部干擾時，其內部最穩定的狀態。後來一中國學者翻譯entropy時，考慮到entropy是能量Q跟溫度T的商，且跟火有關，便把entropy形象的翻譯成“熵”。
我們知道，任何粒子的常態都是隨機運動，也就是"無序運動"，如果讓粒子呈現"有序化"，必須耗費能量。所以，溫度（熱能）可以被看作"有序化"的一種度量，而"熵"可以看作是"無序化"的度量。
如果沒有外部能量輸入，封閉系統趨向越來越混亂（熵越來越大）。比如，如果房間無人打掃，不可能越來越乾淨（有序化），只可能越來越亂（無序化）。而要讓一個系統變得更有序，必須有外部能量的輸入。
1948年，香農Claude E. Shannon引入信息（熵），將其定義爲離散隨機事件的出現概率。一個系統越是有序，信息熵就越低；反之，一個系統越是混亂，信息熵就越高。所以說，信息熵可以被認爲是系統有序化程度的一個度量。