通過定義計算離散輸入信號等概情況下的信道容量

任意輸入分佈

考慮如下簡單的加性高斯信道：

其中，X爲離散輸入符號集$X = \left[ {{a_0},{a_1}, \cdots ,{a_{M - 1}}} \right]$,由上圖，$Y = X + n$。
根據信道容量的定義：

$C = \mathop {\max }\limits_{\left\{ {p\left( {x = {a_i}} \right),i = 1,2,...,M - 1} \right\}} \left\{ {I\left( {X;Y} \right)} \right\}$
可見，我們的目的是找到一個任意可能的輸入信號的概率分佈，使得最大化的互信息達到信道容量。如下圖計算過程：

其中，(1a)到(1c)是信息論課本中的相關定義，具體可百度；(1c)上半部分到(1d)是全概率公式的展開。

等概

假設輸入符號是在M上是均勻分佈的，
所以有：
$C = \frac{1}{M}\sum\limits_{k = 0}^{M - 1} {\int_y {p\left( {y|{a_k}} \right)} {{\log }_2}\left( {\frac{{p\left( {y|{a_k}} \right)}}{{\frac{1}{M}\sum\limits_{i = 0}^{M - 1} {p\left( {y|{a_i}} \right)} }}} \right)dy{\rm{ }}} （2）$
再用log(ab)=log(a)+log(b)與log(a/b) = -log(b/a)的性質，把上式分母中的1/M提出來，並將分數項倒過來，有：
$C = \frac{1}{M}{\log _2}M\sum\limits_{k = 0}^{M - 1} {\int_y {p\left( {y|{a_k}} \right)} } dy - \frac{1}{M}\sum\limits_{k = 0}^{M - 1} {\int_y {p\left( {y|{a_k}} \right)} } {\log _2}\left( {\frac{{\sum\limits_{i = 0}^{M - 1} {p\left( {y|{a_i}} \right)} }}{{p\left( {y|{a_k}} \right)}}} \right)dy{\rm{ }}（3）$
又因爲,對該項$\int\limits_y {p\left( {y|{a_k}} \right)} dy$，其積分結果爲1，這是因爲歸一性，即，y的所有概率和爲1。所以有：
$C = {\log _2}M - \frac{1}{M}\sum\limits_{k = 0}^{M - 1} {\int_y {p\left( {y|{a_k}} \right)} } {\log _2}\left( {\frac{{\sum\limits_{i = 0}^{M - 1} {p\left( {y|{a_i}} \right)} }}{{p\left( {y|{a_k}} \right)}}} \right)dy{\rm{ }} （4）$

因爲噪聲是服從均值爲0，方差爲${\sigma ^2}$的高斯分佈。對於p(y|ak)
有：
$p\left( {y|{a_k}} \right) = \exp \left( { - \frac{{{{\left| {y - {a_k}} \right|}^2}}}{{2{\sigma ^2}}}} \right) （5）$

將(5)帶入(4)中，有：
$C = {\log _2}M - \frac{1}{M}\sum\limits_{k = 0}^{M - 1} {\int_y {p\left( {y|{a_k}} \right)} } {\log _2}\sum\limits_{i = 1}^{M - 1} {\exp \left( { - \frac{{{{\left| {y - {a_i}} \right|}^2} - {{\left| {y - {a_k}} \right|}^2}}}{{2{\sigma ^2}}}} \right)dy} （6）$
接着，令n=y-x,則dy=dz，y與z同號，故可進行積分代換,因爲：

故可以得到以下計算過程：

其中，（6）到（7）是把y=x+n待入公式中，（7）到（8）是把積分寫成數學期望的形式。（8）式的表達形式常可以在一些論文中見到。

總結

1. 附：以上計算結果爲單用戶單天線的高斯信道，信道矩陣歸一化爲1了。可以參考經典論文，討論的是單用戶mimo高斯信道：

Globally Optimal Linear Precoders for Finite Alphabet Signals Over
Complex Vector Gaussian Channels

2.可以想象，如果是干擾信道的話，公式6中的y-ak不會再單純的等於噪聲n了，會引入干擾項

  具體是什麼樣的，後面我會再更新博客，也可以去搜一下關於廣播和干擾信道的論文，其實就是廣義二次矩陣相減的形式.
  此外，在廣播或者干擾信道的條件下，條件概率也不再單純等於噪聲，需要經過一點點小計算，最終的結果也會是用噪聲來進行積分代換的。
  敲公式不易，覺得有幫助的話麻煩點個贊把！