淺談熵和打升級 (A brief talk about entropy and Sheng ji)

本文將結合打升級來大概總結一下信息論中熵的含義，及其與系統隨機性，混亂程度和可預測性的一些關係。後續可能會修改本文添加更多內容。關於熵的內容介紹主要來自於Wikipedia。

熵（Entropy）

信息論中的熵是接收的每條消息中包含的信息的平均量，或者也可以換句話說，熵是信息內容不可預測性的一種度量。仔細想想其實這兩種說法是等價的，但這樣說可能比較抽象，我們考慮一個形象的例子。在大選之前，我們往往會進行一些民意調查（poll），原因在於民調的結果對於我們是未知的，於是民調帶給了我們一些新的信息。如果我們在第一民調之後隨即馬上又進行第二次民調，那麼第二次民調給我們帶來的信息就不如第一次那麼多。也就是說，第二次民調的熵小於第一次民調的熵。

然後我們考慮一個更數學一點的例子，擲硬幣。我們首先考慮一個兩面都是正面的硬幣，那麼它擲出正面的概率就是1，那麼這個事件就沒有隨機性，熵爲0，每一次結果都可以準確預測。然後我們假設一枚均勻的硬幣，那麼擲出正反面的概率都是一樣的，都是0.5。那麼我們可以認爲每擲一次硬幣傳遞的信息都是1個單位，想象一下穿梭在互聯網中的1和0的數據流。這裏我們先引入信息量的計算公式：

I(xi)=−logbp(xi)

其中，p(xi) 是事件 xi 發生的概率，底數 b 可以取不同的值，當 b=2 時，信息量的單位是 bit（這裏其實是 bit 這個詞的來歷）。於是在上面的例子中，p(擲正面)=0.5 ，那麼計算可知擲一次正面帶來的信息量就是 1bit。這裏我們再引入熵的計算公式爲：

H(x)=∑i=1np(xi)I(xi)=−∑i=1np(xi)logbp(xi)

於是我們，我們計算可得，H(擲兩面都爲正的硬幣)=0 ，H(擲均勻硬幣)=1 。對比二者，我們可以說，擲均勻硬幣的這個事件的熵更大，更隨機，更不可預測，信息更多，系統更混亂。

好，接下來結合打升級談一下。四個人打升級兩幅牌共108張，莊家扣底可以多換8張牌，其他人沒人拿25張牌。我們先計算一下起手的時候莊家和閒家拿到幾張 A 的概率。比如莊家拿到 n 張 A 的概率是（假設莊家見 A 就拿，不會把 A 扣進底牌中）：

p(xn)=Cn8∗C33−n100C33108

而閒家拿到 n 張 A 的概率是：

p(xn)=Cn8∗C25−n100C25108

於是可以得到莊家拿到幾張 A 的概率分佈爲：

拿幾張A	n=0	n=1	n=2	n=3	n=4	n=5	n=6	n=7	n=8
概率	p=0.048	p=0.186	p=0.302	p=0.268	p=0.141	p=0.046	p=0.009	p=9e-4	p=4e-5

閒家拿到幾張 A 的概率分佈爲

拿幾張A	n=0	n=1	n=2	n=3	n=4	n=5	n=6	n=7	n=8
概率	p=0.112	p=0.295	p=0.322	p=0.190	p=0.066	p=0.014	p=0.002	p=1e-4	p=3e-6

如果我們認爲莊家有A就會在第一輪出A，那麼莊家打出A所帶來的信息量爲：

I(莊家首輪出A)=0.0709

相對的，莊家首輪不打A的信息量爲：

I(莊家首輪不出A)=4.3831

可以看出來，莊家首輪不出A比出A帶來的信息量大得多。如果我們把莊家首輪出牌看出一個事件，那麼這個事件的熵爲：

H(莊家首輪出牌)=0.2775

單獨看這個數值感覺沒什麼意義，我們可以換個角度對比一下。如果我們用一副牌而不是兩幅牌來打升級，莊家和閒家拿到幾個 A 的概率則分別爲：

拿幾張A	n=0	n=1	n=2	n=3	n=4
概率	p=0.186	p=0.406	p=0.305	p=0.093	p=0.010

拿幾張A	n=0	n=1	n=2	n=3	n=4
概率	p=0.354	p=0.436	p=0.180	p=0.029	p=0.002

類似的，我們可以計算出莊家首輪出 A 和不出 A 的信息量分別爲：

I(莊家首輪出A)=0.2974

I(莊家首輪不出A)=2.4246

莊家首輪出牌的熵可以計算爲：

H(莊家首輪出牌)=0.6936

可以看出，打一副牌時，莊家首輪出牌的熵更大，也就是更混亂，信息更多，更難預測。其實這也契合打牌的時間感覺，打兩副牌時莊家手裏握有A的概率更大，首輪出A的情況更爲常見更好預測；而打一副牌時則更容易出現莊家起手沒有A的情況，也就是說打一副牌時，首輪莊家的出牌更難預測一些。

注：其實根據熵，我們還可以衡量某個事件能被準確預測的程度。通過Fano’s inequality可以給出預測準確度的上界。無奈我對Fano’s inequality的理解還不過透徹，暫時沒法寫出來，以後更理解了可能會再補充道這裏。
再注：關於熵的話題的興趣來自於今天看的一篇Science上的文章，Limits of Predictability in Human Mobility。關於打升級話題的興趣來自於最近在放假。