Table of Contents
香農三大定理
- 香農第一定理：可變長無失真信源編碼定理。採用無失真最佳信源編碼可使得用於每個信源符號的編碼位數儘可能地小，但它的極限是原始信源的熵值。超過了這一極限就不可能實現無失真的譯碼。
- 香農第二定理：有噪信道編碼定理。當信道的信息傳輸率不超過信道容量時，採用合適的信道編碼方法可以實現任意高的傳輸可靠性，但若信息傳輸率超過了信道容量，就不可能實現可靠的傳輸。
- 香農第三定理：保真度準則下的信源編碼定理，或稱有損信源編碼定理。只要碼長足夠長，總可以找到一種信源編碼，使編碼後的信息傳輸率略大於率失真函數，而碼的平均失真度不大於給定的允許失真度，即D’<=D
香農第一定理(可變長無失真信源編碼定理)
設離散無記憶信源X包含N個符號{x1,x2,…,xi,…,xN}，信源發出K重符號序列，則此信源可發出N^k個不同的符號序列消息，其中第j個符號序列消息的出現概率爲PKj，其信源編碼後所得的二進制代碼組長度爲Bj，代碼組的平均長度B爲
B=PK1B1+PK2B2+…+PKN^k BN^k
當K趨於無限大時，B和信息量H(X)之間的關係爲B/k=H(X)(K趨近無窮）
信源編碼定理表明（在極限情況下，隨着獨立同分布隨機變量數據流的長度趨於無窮）不可能把數據壓縮得碼率（每個符號的比特的平均數）比信源的香農熵還小，不滿足的幾乎可以肯定，信息將丟失。但是有可能使碼率任意接近香農熵，且損失的概率極小。
香農第一定理的意義：將原始信源符號轉化爲新的碼符號，使碼符號儘量服從等概分佈，從而每個碼符號所攜帶的信息量達到最大，進而可以用盡量少的碼符號傳輸信源信息。
香農第二定理（有噪信道編碼定理）
有噪信道編碼定理。當信道的信息傳輸率不超過信道容量時，採用合適的信道編碼方法可以實現任意高的傳輸可靠性，但若信息傳輸率超過了信道容量，就不可能實現可靠的傳輸。
設某信道有r個輸入符號，s個輸出符號，信道容量爲C，當信道的信息傳輸率R<C，碼長N足夠長時，總可以在輸入的集合中(含有r^N個長度爲N的碼符號序列)，找到M （(M<=2^(N(C-a)))，a爲任意小的正數)個碼字，分別代表M個等可能性的消息，組成一個碼以及相應的譯碼規則,使信道輸出端的最小平均錯誤譯碼概率Pmin達到任意小。
公式：
注：B爲信道帶寬；S/N爲信噪比，通常用分貝（dB）表示。
香農第三定理（保失真度準則下的有失真信源編碼定理）
保真度準則下的信源編碼定理，或稱有損信源編碼定理。只要碼長足夠長，總可以找到一種信源編碼，使編碼後的信息傳輸率略大於率失真函數，而碼的平均失真度不大於給定的允許失真度，即D’<=D.設R(D)爲一離散無記憶信源的信息率失真函數，並且選定有限的失真函數，對於任意允許平均失真度D>=0，和任意小的a>0，以及任意足夠長的碼長N，則一定存在一種信源編碼W，其碼字個數爲M<=EXP{N[R(D)+a]}，而編碼後碼的平均失真度D’(W)<=D+a。
第一定理信源編碼定理，是解決通信中信源的壓縮問題，也是後來圖像和視頻壓縮的基本定理；
第二定理信道編碼定理，是解決通信中數據能夠在特定信道中傳輸的最大值的問題，即最大數據速率小於信道容量，容量問題是通信中研究最活躍的問題之一，比如4G或LTE中廣泛用到的MIMO（多輸入多輸出，或多天線）技術，其理論本質是DavidTse提出的該容量與天線數成線性遞增的關係（這句話是概述，我憑印象寫的）；
第三定理有損信源編碼定理解決了在允許一定失真的情況下的信源編碼問題，比如jpeg圖像編碼，mp3音頻編碼，都是有損的編碼，其都是在香農第三定理的界之下得出的；
何爲香農定理
信息論有許多重要定理，今天我們來說一下其中著名的香農定理：
其中：C是信道支持的最大速度或者叫信道容量，B是信道的帶寬，S是平均信號功率，N是平均噪聲功率，S/N即信噪比。
當信道的信息傳輸率不超過信道容量時，採用合適的信道編碼方法可以實現任意高的傳輸可靠性，但若信息傳輸率超過了信道容量，就不可能實現可靠的傳輸。
爲了直觀理解，可以做如下類比：城市道路上的汽車的車速和什麼有關係？除了和自己車的動力有關之外，主要還受限於道路的寬度（帶寬）和車輛多少、紅燈疏密等其他干擾因素（信噪比）。
事實上，香農最初的動機是把電話中的噪音除掉，他給出通信速率的上限，這個結論首先用在電話上，後來用到光纖以及無線通信上。我們能夠清晰地打越洋電話或衛星電話，都與通信信道質量的改善密切相關。沒有香農定理，估計就沒有今天便捷優質的通信。
克勞德·埃爾伍德·香農(1916-2001），美國數學家，電子工程師，密碼學家，一位集美貌與才華於一身的奇男子。
看見香農大師的第一個感受就是，帥，估計不少女同學在流口水，但香農大帥哥絕不是一個僅有顏值的繡花枕頭，而是擁有如同開掛一般的人生。例如，他8歲的時候，幫忙在讀大學的姐姐做高數作業，而且全對，這你能想象嗎？
20世紀初期，隨着電報、電話、電視、無線電等的發展，如何計量信號中信息量的問題被隱約地提上日程。這位22歲時就寫出“可能是20世紀最重要、最著名的一篇碩士論文”的香農當然不會放過展示自己天賦的機會。在《通訊的數學原理》（1948年）、《噪聲下的通信》（1949年）這兩篇論文中，香農給出了通信系統的模型，提出了信息量的數學表達式，並解決了信道容量、信源統計特性、信源編碼、信道編碼等一系列基本技術問題。這兩篇論文成爲了信息論的奠基性著作，前面所提及的香農定理就是其中的一個重要結論。
在他的通信數學模型中，清楚地提出信息的度量問題，得到另一個著名的公式——信息熵：
如果計算中的對數log是以2爲底的，那麼計算出來的信息熵就以比特（bit）爲單位。今天在計算機和通信中廣泛使用的字節(Byte）、KB、MB、GB等詞都是從比特演化而來。“比特”的出現標誌着人類知道了如何計量信息量。
香農在1943年與英國數學家圖靈（A. Turing）（另一位帥哥）有過交集。當時圖靈正在美國訪學，但卻各事其主。他們各自具體的工作都涉及到軍方機密，因此均守口如瓶。那時他們二人均在從事密碼分析工作，但目標卻相反。圖靈要對付如何破譯德軍的密碼，以避免德軍的U型潛艇對英國商船的襲擊。而香農的工作則是探究X系統的工作，以確保羅斯福和丘吉爾辦公室之間的語音通話不被竊聽。一個是破譯通信密碼，一個是加密通信內容。雖然方向不同，但是他們對密碼學的影響都是非常深遠的。
1945年，香農完成了“密碼術的數學理論”的保密報告。這篇論文爲對稱密碼系統的研究建立了一套數學理論，從此密碼術變成爲密碼學，由一門藝術或技藝變成一門真正的科學。
奈奎斯特定理
工程師都會考慮一個問題：信道上到底可以傳輸多大的數據，或者指定的信道上的極限傳輸率是多少。這就是信道容量的問題。例如，在xDSL系統中，我們使用的傳輸介質是僅有幾兆帶寬的電話線，而上面要傳送幾兆、十幾兆甚至幾十兆帶寬的數據，如此高的速率能保證在幾兆帶寬的雙絞線上可靠傳輸嗎？或者說從另一個角度說，在給定通頻帶寬(Hz)的物理信道上，到底可以有多高的數據速率(b/S)來可靠傳送信息？
早在1924年，AT&T的工程師奈奎斯特（Henry Nyquist）就認識到在任何信道中，碼元傳輸的速率都是有上限的，並推導出一個計算公式，用來推算無噪聲的、有限帶寬信道的最大數據傳輸速率，這就是 今天的奈奎斯特定理。由於這個定理只侷限在無噪聲的環境下計算信道最大數據傳輸速率，而在有噪聲的環境下仍然不能有效計算出信道最大數據傳輸速率，因此在 1948年，香農（Claude Shannon）把奈奎斯特的工作進一步擴展到了信道受到隨機噪聲干擾的情況，即在有隨機噪聲干擾的情況計算信道最大數據傳輸速率，這就是今天的香農定理。下面分別介紹這兩個定理。
奈奎斯特證明，對於一個帶寬爲W赫茲的理想信道，其最大碼元（信號）速率爲2W波特。這一限制是由於存在碼間干擾。如果被傳輸的信號包含了M個狀態值（信號的狀態數是M），那麼W赫茲信道所能承載的最大數據傳輸速率（信道容量）是：
C =2×W×log2M（bps）
PS：波特率表示每秒鐘傳送的碼元符號的個數，是衡量數據傳送速率的指標，它用單位時間內載波調製狀態改變的次數來表示。在信息傳輸通道中，攜帶數據信息的信號單元叫碼元，每秒鐘通過信道傳輸的碼元數稱爲碼元傳輸速率，簡稱波特率。波特率是傳輸通道頻寬的指標。
假設帶寬爲W赫茲信道中傳輸的信號是二進制信號（即信道中只有兩種物理信號），那麼該信號所能承載的最大數據傳輸速率是2Wbps。例如，使用 帶寬爲3KHz的話音信道通過調制解調器來傳輸數字數據，根據奈奎斯特定理，發送端每秒最多隻能發送2×3000個碼元。如果信號的狀態數爲2，則每個信 號可以攜帶1個比特信息，那麼話音信道的最大數據傳輸速率是6Kbps；如果信號的狀態數是4，則每個信號可以攜帶2個比特信息，那麼話音信道的最大數據 傳輸速率是12Kbps。
因此對於給定的信道帶寬，可以通過增加不同信號單元的個數來提高數據傳輸速率。然而這樣會增加接收端的負擔，因爲，接收端每接收一個碼元，它不再只是從兩個可能的信號取值中區分一個，而是必須從M個可能的信號中區分一個。傳輸介質上的噪聲將會限制M的實際取值。
信源與信宿
信源與信宿是網絡中的兩個專業名詞，其實，信源與信宿可簡單地理解爲信息的發送者和信息的接收者。信息傳播的過程一般可描述爲：信源→信道→信宿。在傳統的信息傳播過程中，對信源的資格有嚴格的限制，通常是指廣播電臺、電視臺等機構，採用的是有中心的結構。而在計算機網絡中，對信源的資格並無特殊限制，任何一個網絡中的計算機都可以成爲信源，當然任何一個網絡中計算機也可以成爲信宿。
編碼與調製
由於傳輸介質及其格式的限制，通信雙方的信號不能直接進行傳送，必須通過一定的方式處理之後，使之能夠適合傳輸媒體特性，才能夠正確無誤地傳送到目的地。
- 調製是指用模擬信號承載數字或模擬數據；
- 編碼則是指用數字信號承載數字或模擬數據。
目前存在的傳輸通道主要有模擬信道和數字信道兩種，其中模擬信道一般只用於傳輸模擬信號，而數字信道一般只用於傳輸數字信號。有時爲了需要，也可能需 要用數字信道傳輸模擬信號，或用模擬信道傳輸數字信號，此時，我們就需要先對傳輸的數據進行轉換，轉換爲信道能傳送的數據類型，即模擬信號與數字信號的轉 換，這是編碼與調製的主要內容。當然模擬數據、數字數據如何通過通道發送的問題也是編碼與調製的重要內容。下面我們分別從模擬信號使用模擬信道傳送、模擬 信號使用數字信道傳送、數字信號使用模擬信道傳送和數字信號使用數字信道傳送四個方面來介紹數據的調製與編碼。
1．模擬信號使用模擬信道傳送
有時候模擬數據可以在模擬信道上直接傳送，但在網絡數據傳送中這並不常用，人們仍然會將模擬數據調製出來，然後再通過模擬信道發送。調製的目的是將模 擬信號調製到高頻載波信號上以便於遠距離傳輸。目前，存在的調製方式主要有調幅（Amplitude Modulation，AM）、調頻（Frequency Modulation，FM）及調相（Phase Modulation，PM）。
2．模擬信號使用數字信道傳送
使模擬信號在數字信道上傳送，首先要將模擬信號轉換爲數字信號，這個轉換的過程就是數字化的過程，數字化的過程主要包括採樣和量化兩步。常見的將模擬 信號編碼到數字信道傳送的方法主要有：脈衝幅度調製（Pulse Amplitude Modulation，PAM）、脈衝編碼調製（Pulse Code Modulation，PCM）、差分脈衝編碼調製（Differential PCM，DPCM）和增量脈碼調製方式（Delta Modulation，DM）。
3．數字信號使用模擬信道傳送
將數字信號使用模擬信道傳送的過程是一個調製的過程，它是一個將數字信號（二進制0或1）表示的數字數據來改變模擬信號特徵的過程，即將二進制數據調製到模擬信號上來的過程。
一個正弦波可以通過3個特性進行定義：振幅、頻率和相位。當我們改變其中任何一個特性時，就有了波的另一個形式。如果用原來的波表示二進制1，那麼波 的變形就可以表示二進制0；反之亦然。波的3個特性中的任意一個都可以用這種方式改變，從而使我們至少有3種將數字數據調製到模擬信號的機制：幅移鍵控法 （Amplitude-Shift Keying，ASK）、頻移鍵控法（Frequency-Shift Keying，FSK）以及相移鍵控法（Phase-Shift Keying，PSK）。
另外，還有一種將振幅和相位變化結合起來的機制叫正交調幅（Quadrature Amplitude Modulation，QAM）。其中正交調幅的效率最高，也是現在所有的調制解調器中經常採用的技術。
4．數字信號使用數字信道傳送
要是數字信號在數字信道上傳送，需要對數字信號先進行編碼。例如，當數據從計算機傳輸到打印機時，一般是採用這種方式。在這種方式下，首先須進行對數字信號編碼，即由計算機產生的二進制0和1數字信號被轉換成一串可以在導線上傳輸的電壓脈衝。對信源進行編碼可以降低數據率，提高信息量效率，對信道進行 編碼可以提高系統的抗干擾能力。
目前，常見的數據編碼方式主要有不歸零碼、曼徹斯特編碼和差分曼徹斯特編碼三種。
- （1）不歸零碼（NRZ，Non-Return to Zero）：二進制數字0、1分別用兩種電平來表示，常用-5V表示1，+5V表示0。缺點是存在直流分量，傳輸中不能使用變壓器；不具備自同步機制，傳輸時必須使用外同步。
- （2）曼徹斯特編碼（Manchester Code）：用電壓的變化表示0和1，規定在每個碼元的中間發生跳變。高→低的跳變代表0，低→高的跳變代表1（注意：某種教程中關於此部分內容有相反的 描述，也是正確的）。每個碼元中間都要發生跳變，接收端可將此變化提取出來，作爲同步信號。這種編碼也稱爲自同步碼（Self- Synchronizing Code）。其缺點是需要雙倍的傳輸帶寬（即信號速率是數據速率的2倍）。
- （3）差分曼徹斯特編碼：每個碼元的中間仍要發生跳變，用碼元開始處有無跳變來表示0和1。有跳變代表0，無跳變代表1（注意：某種教程中關於此部分內容有相反的描述，也是正確的）。
參考
- http://lypkyrz.blog.sohu.com/73785186.html
- https://blog.csdn.net/fsrloveless/article/details/80525464
- https://www.applysquare.com/topic-cn/WegR3Ajbi/
- https://blog.csdn.net/qq_34623223/article/details/85018986
- https://mp.weixin.qq.com/s/ew_YmlV445QIE4lAt39Vqg
- https://mp.weixin.qq.com/s/TUBHhQJgtCzQ8NAXIRQ6Ww
