深度通信網絡專欄（4）|自編碼器：Blind Channel Equalization using Variational Autoencoders

本文地址：https://arxiv.org/abs/1803.01526

前言

深度通信網絡專欄|自編碼器:整理2018-2019年使用神經網絡實現通信系統自編碼器的論文，一點拙見，如有偏頗，望不吝賜教，順頌時祺。

文章主要貢獻

原來提出的最大似然估計下的盲信道均衡使用期望最大或近似期望最大，計算複雜度過高。

本文提出用變分自編碼器（VAE）實現最大似然估計下的盲信道均衡，與恆模算法（CMA）相比可達到更低的ber和更低的信道獲取時延。VAE的性能接近非盲自適應線性最小均方誤差均衡器。

VAE由兩層卷積層和少量自由參數構成，雖然計算複雜度比CMA高，但是需要估計的自由參數個數較少。

系統模型

一個端到端系統可表示爲以上結構，$\mathbf{y}=\mathbf{x} * \mathbf{h}+\mathbf{w}$
使用QPSK調製，則$\mathrm{x}=\mathrm{x}^{I}+j \cdot \mathrm{x}^{Q}$，$\mathbf{h}=\mathbf{h}^{I}+j \cdot \mathbf{h}^{Q}$，$\mathbf{y}=\mathbf{y}^{I}+j \cdot \mathbf{y}^{Q}$
給定x，y 的條件概率函數爲：
$\begin{aligned} p_{\boldsymbol{\theta}}(\mathbf{y} | \mathbf{x}) &=p_{\boldsymbol{\theta}}\left(\mathbf{y}^{I} | \mathbf{x}^{I}\right) p_{\boldsymbol{\theta}}\left(\mathbf{y}^{Q} | \mathbf{x}^{Q}\right) \\ &=\frac{1}{\left(\pi \sigma_{w}^{2}\right)^{N}} \cdot e^{-\|\mathbf{y}-\mathbf{x} * \mathbf{h}\|^{2} / \sigma_{w}^{2}} \end{aligned}$

變分自編碼器

ML估計，即是估計向量h 和噪聲方差$\sigma_{w}^{2}$，使得$\log p_{\boldsymbol{\theta}}(\mathbf{y})$最大，令$\boldsymbol{\theta} \triangleq\left\{\mathbf{h}, \sigma_{w}^{2}\right\}$。使用變分法可以簡化這一信道估計問題：使用變分法求泛函數$\log p_{\boldsymbol{\theta}}(\mathbf{y})$的極小值，將問題轉化爲 最大化$\log p_{\boldsymbol{\theta}}(\mathbf{y})$的lower bound！使用神經網絡解決此最大最小化問題。

補充：變分法
- 變分法用於求解使泛函數取得極大值或極小值的極值函數 。
- 泛函數：輸入是一個函數，輸出是一個值。
- 通常在變分法中，泛函數是一個積分
eg. $I(y)=\int_{x_{1}}^{x_{2}} F d x$,F可以是y(x)和y(x)各階導數的函數。
- 在這裏$p_{\boldsymbol{\theta}}(\mathbf{y})=\int_{\mathbf{x}} p(\mathbf{x}) p_{\boldsymbol{\theta}}(\mathbf{y} | \mathbf{x}) d \mathbf{x}$ ，y是x的函數。

$\begin{aligned} \log p_{\boldsymbol{\theta}}(\mathbf{y}) \geq & \mathbb{E}_{q_{\Phi}(\mathbf{x} | \mathbf{y})}\left[-\log q_{\Phi}(\mathbf{x} | \mathbf{y})+\log p_{\boldsymbol{\theta}}(\mathbf{x}, \mathbf{y})\right] \\=& \underbrace{-D_{K L}\left[q_{\Phi}(\mathbf{x} | \mathbf{y}) \| p(\mathbf{x})\right]}_{A} \\ &+\underbrace{\mathbb{E}_{q_{\Phi}(\mathbf{x} | \mathbf{y})}\left[\log p_{\boldsymbol{\theta}}(\mathbf{y} | \mathbf{x})\right]}_{B} \triangleq-\mathcal{L}(\boldsymbol{\theta}, \mathbf{\Phi}, \mathbf{y}) \end{aligned}$
引入了自由參數Φ，問題轉化爲找到θ和Φ，使得$\mathcal{L}(\boldsymbol{\theta}, \mathbf{\Phi}, \mathbf{y})$最小。那麼如何得到$\mathcal{L}(\boldsymbol{\theta}, \mathbf{\Phi}, \mathbf{y})$呢？
分析上式，可知上式與$p_{\boldsymbol{\theta}}(\mathbf{y} | \mathbf{x})$，$q_{\Phi}(\mathrm{x} | \mathrm{y})$，$p(\mathbf{x})$有關，其中：$\begin{aligned} p_{\boldsymbol{\theta}}(\mathbf{y} | \mathbf{x}) &=p_{\boldsymbol{\theta}}\left(\mathbf{y}^{I} | \mathbf{x}^{I}\right) p_{\boldsymbol{\theta}}\left(\mathbf{y}^{Q} | \mathbf{x}^{Q}\right) \\ &=\frac{1}{\left(\pi \sigma_{w}^{2}\right)^{N}} \cdot e^{-\|\mathbf{y}-\mathbf{x} * \mathbf{h}\|^{2} / \sigma_{w}^{2}} \end{aligned}$
$p(\mathbf{x})=p\left(\mathbf{x}^{I}\right) p\left(\mathbf{x}^{Q}\right)=2^{-2 N}$
只需得到$q_{\Phi}(\mathrm{x} | \mathrm{y})$即可得到$\mathcal{L}(\boldsymbol{\theta}, \mathbf{\Phi}, \mathbf{y})$，此時可用解析的方法找到θ和Φ。

引入神經網絡

用神經網絡來求$q_{\Phi}(\mathrm{x} | \mathrm{y})$：$q_{\Phi}(\mathrm{x} | \mathrm{y})=\prod_{j=0}^{N-1} q_{\Phi}\left(x_{j} | \mathrm{y}\right)=\prod_{j=0}^{N-1} q_{\Phi}\left(x_{j}^{I} | \mathrm{y}\right) q_{\Phi}\left(x_{j}^{Q} | \mathrm{y}\right)$
神經網絡的輸出爲$q_{\Phi}\left(x_{j}^{I} | \mathbf{y}\right) 和q_{\Phi}\left(x_{j}^{Q} | \mathbf{y}\right)$，輸出維度爲2N.

至此，我們得到了$\mathcal{L}(\boldsymbol{\theta}, \mathbf{\Phi}, \mathbf{y})$的顯示錶達。

仿真結果