通过定义计算离散输入信号等概情况下的信道容量

任意输入分布

考虑如下简单的加性高斯信道：

其中，X为离散输入符号集$X = \left[ {{a_0},{a_1}, \cdots ,{a_{M - 1}}} \right]$,由上图，$Y = X + n$。
根据信道容量的定义：

$C = \mathop {\max }\limits_{\left\{ {p\left( {x = {a_i}} \right),i = 1,2,...,M - 1} \right\}} \left\{ {I\left( {X;Y} \right)} \right\}$
可见，我们的目的是找到一个任意可能的输入信号的概率分布，使得最大化的互信息达到信道容量。如下图计算过程：

其中，(1a)到(1c)是信息论课本中的相关定义，具体可百度；(1c)上半部分到(1d)是全概率公式的展开。

等概

假设输入符号是在M上是均匀分布的，
所以有：
$C = \frac{1}{M}\sum\limits_{k = 0}^{M - 1} {\int_y {p\left( {y|{a_k}} \right)} {{\log }_2}\left( {\frac{{p\left( {y|{a_k}} \right)}}{{\frac{1}{M}\sum\limits_{i = 0}^{M - 1} {p\left( {y|{a_i}} \right)} }}} \right)dy{\rm{ }}} （2）$
再用log(ab)=log(a)+log(b)与log(a/b) = -log(b/a)的性质，把上式分母中的1/M提出来，并将分数项倒过来，有：
$C = \frac{1}{M}{\log _2}M\sum\limits_{k = 0}^{M - 1} {\int_y {p\left( {y|{a_k}} \right)} } dy - \frac{1}{M}\sum\limits_{k = 0}^{M - 1} {\int_y {p\left( {y|{a_k}} \right)} } {\log _2}\left( {\frac{{\sum\limits_{i = 0}^{M - 1} {p\left( {y|{a_i}} \right)} }}{{p\left( {y|{a_k}} \right)}}} \right)dy{\rm{ }}（3）$
又因为,对该项$\int\limits_y {p\left( {y|{a_k}} \right)} dy$，其积分结果为1，这是因为归一性，即，y的所有概率和为1。所以有：
$C = {\log _2}M - \frac{1}{M}\sum\limits_{k = 0}^{M - 1} {\int_y {p\left( {y|{a_k}} \right)} } {\log _2}\left( {\frac{{\sum\limits_{i = 0}^{M - 1} {p\left( {y|{a_i}} \right)} }}{{p\left( {y|{a_k}} \right)}}} \right)dy{\rm{ }} （4）$

因为噪声是服从均值为0，方差为${\sigma ^2}$的高斯分布。对于p(y|ak)
有：
$p\left( {y|{a_k}} \right) = \exp \left( { - \frac{{{{\left| {y - {a_k}} \right|}^2}}}{{2{\sigma ^2}}}} \right) （5）$

将(5)带入(4)中，有：
$C = {\log _2}M - \frac{1}{M}\sum\limits_{k = 0}^{M - 1} {\int_y {p\left( {y|{a_k}} \right)} } {\log _2}\sum\limits_{i = 1}^{M - 1} {\exp \left( { - \frac{{{{\left| {y - {a_i}} \right|}^2} - {{\left| {y - {a_k}} \right|}^2}}}{{2{\sigma ^2}}}} \right)dy} （6）$
接着，令n=y-x,则dy=dz，y与z同号，故可进行积分代换,因为：

故可以得到以下计算过程：

其中，（6）到（7）是把y=x+n待入公式中，（7）到（8）是把积分写成数学期望的形式。（8）式的表达形式常可以在一些论文中见到。

总结

1. 附：以上计算结果为单用户单天线的高斯信道，信道矩阵归一化为1了。可以参考经典论文，讨论的是单用户mimo高斯信道：

Globally Optimal Linear Precoders for Finite Alphabet Signals Over
Complex Vector Gaussian Channels

2.可以想象，如果是干扰信道的话，公式6中的y-ak不会再单纯的等于噪声n了，会引入干扰项

  具体是什么样的，后面我会再更新博客，也可以去搜一下关于广播和干扰信道的论文，其实就是广义二次矩阵相减的形式.
  此外，在广播或者干扰信道的条件下，条件概率也不再单纯等于噪声，需要经过一点点小计算，最终的结果也会是用噪声来进行积分代换的。
  敲公式不易，觉得有帮助的话麻烦点个赞把！