信息=能量?

在環球科學公衆號看到一篇關於信息和能量關係的推文,對於這些基本概念進行了論述。

在人類文明史上,存在一些基本的理論概念。一旦弄清這些基本概念之間的聯繫,科技乃至人類文明就將出現飛躍。比如愛因斯坦搞清楚了質量與能量的關係後,人類就製造出了原子彈,愛因斯坦也成爲科學史上巨人。蘭道爾與他的論文None在歷史上,首先完整闡述信息和能量之間的關係的人是羅夫·蘭道爾(Rolf Landauer)。

image

^羅夫·蘭道爾(Rolf Landauer)^

原籍在德國的蘭道爾出生在第一次世界大戰和第二次世界大戰中間的一個猶太人家庭,那年是1927年,在7歲那年他的父親去世,跟着母親來到美國紐約謀生。他天資聰穎,18歲就拿到了哈佛大學的畢業證,隨後在美國海軍服役18個月後,又返回到哈佛大學攻讀博士。五年後,即1950年獲得博士學位。

畢業後蘭道爾找到的第一份穩定的工作就是進入IBM公司上班,之後一直沒有離開過IBM。平均的上班族的生活並沒有使他引起人們特別的注意,直到1961年,他在《IBM研究通訊》發表了一篇著名論文,即:《不可逆性與計算過程中的熱量產生》“Irreversibility and Heat Genration in the Computing Process”。

在這篇文章中,他大膽提出一個驚人的論斷“經典計算機中要改變一個經典比特信息,需要不可避免消耗掉至少KTln2的能量,變成熱量消耗掉”。(k是玻爾茲曼常數,T是經典計算機所處的外接物理環境的溫度。)

image

爲什麼會有這樣的結論,蘭道爾究竟如何推導出這個論斷呢?這需要對信息進行進一步的討論。

什麼是信息?None信息有很多的定義。通常情況下信息,指音訊、消息、通訊系統傳輸和處理的對象,泛指人類社會傳播的一切內容。在一切通訊和控制系統中,信息是一種普遍聯繫的形式。

1948年,數學家香農在題爲“通訊的數學理論”的論文中指出:“信息是用來消除隨機不定性的東西”。比如,告訴你今晚天空會出現獅子座的流星雨,這種小概率出現的隨機事件就包含了很多的信息。

信息還可以進行度量。1948年,香農提出了“信息熵”的概念,信息熵解決了信息的度量問題。信息熵的定義如下(其中pi爲每種可能性的概率):

image

這與在物理學中的熱力學熵的定義很接近:

image

其中KB是玻爾茲曼常數,Ω是系統宏觀狀態中所包含的微觀狀態總數。這個公式就是“玻爾茲曼公式”,可證明它的另外 一個等價的表示就是上面的信息熵的公式,只是前面增加了一個玻爾茲曼常數項,對數的底取的是e,而不是2。

image

玻爾茲曼(Bltzmann)

我們可以用以下例子來理解信息熵:考試時,有一道選擇題,你對4個選項ABCD都不確定。那麼,這時每個選項正確的概率是25%。於是,這時的信息熵就可以這樣用以上提到的信息熵公式來計算。

把四個p

i都等於25%代入以上那個公式,就可以算出這個時候的信息熵等於2比特。

這個時候,考場裏進來一個人,這個人是你非常信任的張老師。張老師突然告訴你說:“選項A與選項B肯定不對,不用選了。”張老師說的話是給你信息了。那麼,老師的話裏包含了多少信息呢?

現在對你來說,選項AB可以排除,那麼只剩下選項C與D了。對你來說,C與D各自正確的概率是50%。

所以,這時你把兩個p

i都等於50%代入,可以得到的信息熵等於1比特。你會發現,信息熵減少了。

所以,對你來說,張老師的話包含的信息量是1比特,因爲2-1=1(這裏涉及到一個信任問題,如果你不相信張老師的話,那麼張老師的話對你來說並不包含信息)。

信息熵到熱力學熵None有了香農的信息熵以後,可以把它與物理學中的熱力學熵聯繫起來。

在這裏,需要使用高中數學中求對數的換底公式,在求對數的時候,信息熵是以2爲底的,而熱力學熵是以自然常數爲底的,統一換成以自然常數爲底,兩者相差一個ln2。

所以,按照物理學的理解,3比特的信息熵,對應的熱力學熵就是3kln2 。在這裏K是玻爾茲曼常數,這個常數給出了信息熵與熱力學熵的轉化。用公式表示就是:

image

這其實也是當年香農考慮信息熵的時候的出發點,他正是通過玻爾茲曼的熱力學熵來類比信息論中的熵的。只不過在信息論中不需要玻爾茲曼常數,所以他當年在定義信息熵的時候,把玻爾茲曼常數省略了。

而蘭道爾要考慮的問題則更進了一步,他需要考慮一個真實的物理過程。在這個過程中如果想要用物理的手段擦除1比特的信息,需要多少能量呢?

麥克斯韋妖None蘭道爾是用熱力學與統計力學的思維來思考這個擦除信息的過程。他的思考本質上,就是物理學家非常熟悉的

麥克斯韋妖。

image

麥克斯韋妖是一種能夠區分單個氣體分子速度的假想物,並且它能夠讓一個容器內運動快(“熱”)的分子和運動慢(“冷”)的分子分別佔據不同的區域,從而使容器中不同區域的溫度不同。

這個結論表面與熱力學第二定律違背。因爲可以把高溫和低溫分子集合當成兩個熱源,而且在它們之間放置一個熱機,讓熱機利用溫差對外做功。綜合來看,由於麥克斯韋妖的引進,我們可以從單一熱源吸熱,並把它完全轉化爲對外做功。在這裏出現了違反熱力學第二定律的第二類永動機。

image

這個佯謬是1873年麥克斯韋提出的針對熱力學第二定律的質疑,後來物理學家把它稱爲“麥克斯韋妖佯謬”。

這個佯謬被提出來以後,在相當長的時間內,物理學家們沒有能夠給出一個很滿意的解釋。對這個問題的一個重要的進展是1929年匈牙利物理學家Leo Szilard引入的一個單分子熱機模型,這個模型實際上是一個簡化了的麥克斯韋妖熱機模型。

Szilard首次將信息的概念引入到熱力學循環中。他直觀地認爲麥克斯韋妖在測量分子處於左邊還是右邊的過程(獲取信息的過程)中會消耗能量,從而導致整體的熵的增加。如果把這個效果包含到熱力學循環中來,熱力學第二定律就不會被違反,麥克斯韋妖佯謬也就被解決了。

Szilard的解釋在當時沒有被廣泛的接受,直到1961年蘭道爾發表了他的著名論文,將信息理論和基本物理過程聯繫起來。

信息與能量聯繫None在物理上,能量對熱力學熵(內含玻爾茲曼常數)的導數等於溫度:image

蘭道爾構造了一個模型,與Scilard當年的單分子熱機模型類似,來解釋這個問題。

首先構造一個盒子,把這個盒子分爲左右兩部分。然後假設有一個氣體分子,如果不確定它到底是在左邊還是右邊,那麼與本文一開始寫到的做選擇題的情況類似,相當於有兩個選項(選左邊或者右邊),這時的信息熵是1比特。

image

現在,假設在箱子的右邊有一個活塞,活塞可以通過等溫壓縮把氣體分子推到左邊。在這個過程結束後,我們能夠確定氣體分子一定處於盒子的左邊,所以,氣體分子的信息熵就等於0。

因此,從信息論的角度來說,在活塞運動的過程中,相當於擦除了1比特的信息。而從物理學的角度來說,活塞的運動是需要消耗能量的,在等溫壓縮的過程中,可以通過本小節的微分公式算出,活塞做了kT ln2 的功。

這就是蘭道爾原理的基本思想:經典計算機要擦除一個經典比特,其所消耗的最小能量是kT ln2。當然蘭道爾用了比較長的篇幅來論證這個能量是最小的,在這裏就不展開論證了。

image

當然,這個最小能量KTln2非常小,在室溫下(T=300k), KTln2=0.018eV=2.9×10^-21焦耳。至少現在的計算機工作時在處理每一個比特變化的過程中所消耗的能力遠比這個能量單位大得多,但蘭道爾的論文給出了信息處理的下限,一方面爲人類未來開發出更加高效信息處理技術指明方向,還有很大的提高空間。

同樣在另外一方面也告訴我們,未來限制信息處理能力的本質因素是能量受限。

原始論文:

https://ieeexplore.ieee.org/abstract/document/5392446/

參考鏈接:

http://www.sohu.com/a/224458314_100115417

發佈了275 篇原創文章 · 獲贊 199 · 訪問量 3萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章