深度通信網絡專欄（3）|自編碼器：An Introduction to Deep Learning for the Physical Layer

本文地址：https://arxiv.org/pdf/1702.00832.pdf
GitHub地址：https://github.com/musicbeer/Deep-Learning-for-the-Physical-Layer

前言

深度通信網絡專欄|自編碼器:這一專欄原計劃整理18-19年的論文，這篇雖然是17年的論文，但是首次提出自編碼器的概念。現在回看內容比較簡單易懂，但因爲其引用量很高，其中提出的自編碼器的概念和將專家領域知識與NN結合RTN網絡結構被多篇文章引用，因此在這裏也做個“讀書筆記”，方便日後回看。這裏僅記錄論文中與自編碼器相關的部分。

文章主要貢獻

提出將通信系統理解爲自編碼器 ，在單進程中聯合優化發送接收端 ，將這一思路拓展到MIMO系統，並提出RTNs（radio transformer networks）的概念，將ML模型與專家領域知識結合。

全文概述

siso

處理過程：
(1) 發送機：將信號s（kbits）編碼成具有更高傳輸魯棒性的表達式X（n維向量）併發送
(2) 信道：AWGN干擾x，輸出y
(3) 接收機：根據接收y譯碼出M種可能信號的概率，根據最大概率重構信號

神經網絡結構如上，輸入s爲onehot編碼，信道爲方差固定的高斯信道，在snr=7db時訓練，損失函數使用交叉熵，發送NN的歸一化層保證x滿足功率約束，接收端NN輸出概率。網絡參數設置如下：

snr-ber如下：autoencoder（8，8）的性能優於uncoded bpsk（8，8），說明NN學習到了聯合編碼調製方案，實現了編碼增益。
編碼結果如下：

mimo

考慮2發2收的情況：

與siso情況相比，信道引進了干擾

神經網絡實現的過程爲：
發送NN1將s1編碼爲x1，發送NN2將s2編碼爲x2
將x1+x2+n1輸入接收NN1，得到估計的s1
將x1+x2+n2輸入接收NN2，得到估計的s2

NN1和NN2採用與siso一樣的層數及神經元設置 兩個自編碼器分別優化，
損失函數設置爲$\tilde{L}=\alpha \tilde{L}_{1}+(1-\alpha) \tilde{L}_{2}$，其中α可變，$\alpha_{t+1}=\frac{\tilde{L}_{1}\left(\boldsymbol{\theta}_{t}\right)}{\tilde{L}_{1}\left(\boldsymbol{\theta}_{t}\right)+\tilde{L}_{2}\left(\boldsymbol{\theta}_{t}\right)}, \quad t>0$

ber-snr曲線如下：

對比參考曲線爲$2^{2 k / n}-\mathrm{Q} \mathrm{AM}$+ time-sharing

星座圖如下：

( a)性能與bpsk相等
( b)性能與4qam相等
( c)性能比4qam好0.7db
( d)性能比16qam好1db

因爲對比曲線的選取原因，這樣的結果也在情理之中，當採用（4，4）或（4，8）時，對比曲線相當於使用了重複編碼，這一的方式並不能充分利用自由度，因此神經網絡能達到更好的性能。

RTN的引入

用以上結構代替之前的接收機結構，先將y輸入參數估計網絡，估計出有用參數（如頻偏、符號時間、脈衝響應等），再利用這些NN估計出來的參數對接收信號進行校正，最後輸入判別網絡。這一結構很好地將NN與傳統的已知算法結合，實現了神經網絡與專家領域知識的融合，實現了更低的ber，加快了訓練速度。
仿真結果：