一起讀論文 | Complex-order: 一種新的位置編碼方式

導讀：今天分享一篇華人學者發表在頂會ICLR 2020上的論文《Encoding Word Order in Complex Embeddings》，主要對序列建模的位置信息編碼方法進行研究。可以閱讀先前的文章《一文讀懂Transformer模型中的位置編碼》對其中的一種位置信息編碼方式的深入分析。本文認爲先前的方法需要獨立訓練每個位置向量，而且也不能建模序列的鄰接或者優先關係。本文把這種問題稱之爲position independence problem。爲此，本文提出了一種新穎的方法Complex-order來解決這樣的問題。

點評：本文的idea非常簡單清晰，帶來的效果提升也非常明顯，文中的證明推導也非常棒，研究工作非常具有創新性，值得一讀。作者開源了實現代碼，有興趣的朋友可以跑一邊實驗。

研究背景及動機

語言是有順序的。神經網絡在建模這種順序結構時，因爲難以並行化處理，使得計算代價變得非常地高。通過在特徵級別上添加position embeddings而不是在神經網絡架構上對詞的順序進行建模已經可以減輕這樣的問題（參考對位置編碼的詳細解讀），比如Gehring等人的ConvSeq與Vaswani等人著名的Transformer模型。先前的研究工作通過引入額外的位置編碼，在Embedding層將詞向量與位置向量相加進行融合：

$f(j, pos) = f_{we}(j)+f_{pe}(pos)$

但是，這種方法只接受整型數值作爲詞索引或位置索引，每個詞或位置都只能通過獨立訓練得到。這對每個詞向量是合理的，因爲詞的索引是建立在給定的詞典的順序之上的。但這種方法不能捕捉 ordered relationship（鄰接或優先關係），會導致每個位置上的位置向量是彼此獨立的，作者稱之爲position independence problem。這種問題對於位置不敏感的神經網絡（如FastText，ConvSeq及Transformer）來說變得尤爲重要。

研究內容及方法

本文主要對序列建模的位置信息編碼進行研究，針對先前的研究方法可能導致的position independence problem，本文提出了一種非常新穎的改進方法——Complex order——對詞的這種全局絕對位置及它們的內在順序及鄰接關係進行建模。這樣的話，Gehring等人提出的_position-independent_的位置向量可以被認爲是該方法在獨立變量上的特例。

作者將每個詞嵌入擴展爲一個自變量爲位置 $pos$ 的一個連續函數，好處在於詞表示可以隨着位置的變化而平滑地移動，不同位置上的詞表示就可以互相關聯起來。函數定義如下：

$f(j, pos)=\textbf{g}_j(pos)\in \mathbb{R}^D$

其中，$f(j,pos)$ 表示此表中序號爲 $j$ 的單詞在位置 $pos$ 上的單詞向量，$\mathbf{g}_j$ 是 $\mathbf{g}_{we}(j)\in(\mathcal{F})^D$ 的縮寫，$D$ 表示函數集合，$g_{we}(\cdot)$：$\mathbb{N} \rightarrow \mathcal(F)^D$表示單詞索引到函數的映射。展開爲：

$[g_{j,1}(pos),g_{j,2}(pos),\cdots,g_{j,D}(pos)] \in \mathbb{R}^D$

對於任意的 $g_{j,d}(\cdot) \in \mathcal{F}$ : $\mathbb{N} \rightarrow \mathbb{R}$，$d \in \{1, 2, \cdots, D\}$，都是關於位置索引$pos$的一個函數。在無需改變函數 $\mathbf{g}_j$ 的情況下，只需要替換一下變量 $pos$ 就可以實現把詞 $w_j$ 從當前位置 $pos$ 移動到另一個位置 $pos^{\prime}$。

爲了達到上述要求，函數需要滿足以下兩條性質：

Property 1. Position-free offset transformation:

存在變換函數Transform : $\mathbb{N}\times \mathbb{C} \rightarrow \mathbb{C}$，使得對於任意位置 $pos \in \mathbb{N}$ 和 $n > 1$，Transform$_n(\cdot)$=Transform$(n, \cdot)$滿足：

$g(pos+n) = \text{Transform}_n(g(pos))$

作者把這樣的函數Transform稱之爲witness。論文只考慮線性變換，即每個Transform$_n$是一個線性函數。

Property 2. Boundedness:

關於位置變量的函數應該是有界的，也就是：

$\exist\delta \in \mathbb{R}^+, \forall \text{pos} \in \mathbb{N}, |g(\text{pos})| \leq \delta$

作者給出了滿足上述兩條性質的解函數的形式：

$g(pos) = z_2z_1^{pos} \ for \ z_1,z_2 \in \mathbb{C} \ with |z_1| \leq 1$

證明如下:

對於任意位置 $n_1，n_2 \in \mathbb{N}$，有

$\begin{array}{l} w(n_1)w(n_2)g(pos) &= &w(n_2)g(pos+n_1) \\ & = & g(pos+n_1+n_2) \\ & = & \text{Transform}_{n_1+n_2}(g(pos)) \\ & = & w(n_1+n_2)g(pos) \end{array}$

因此有 $w(n_1+n_2) = w(n_1)w(n_2)$。令 $w(1) = z_1$，$g(0) = z_2$，因爲 $n_1$，$n_2$ 是任意的，因此對於所有的 $n \in \mathbb{N}$，都有

$w(n) = (w(1))^n = z_1^n$

$g(pos+n) = w(n)g(pos) = z_1^ng(pos)$

而且，當 $pos \geq 1$，我們有 $g(pos) = g(1+pos - 1) = w(pos)g(0) = z_1^{pos}z_2=z_2z_1^{pos}$。對於 $pos=0$，$g(0)=z_2=z_2z1^0$，因此有 $g(pos) = z_2z_1^{pos}$。

當 $|z_1| > 1$，$g(pos)$ 就不是有界函數，因此限制 $|z_1| \leq 1$，此時，$|g(pos)| \leq |z_2z_1^{pos}| \leq |z_2||z_1^{pos}| \leq |z_2|$，函數 $g$ 就是有界的。

又由 $w(n) = z_1^n$ 和 Transform$_n(pos)=w(n)pos$，對所有的位置 $pos$，得

$g(pos + n) = z_2z_1^{pos + n} = z_2z_1^{pos}z_1^n = g(pos)z_1^n = \text{Transform}_n(g(pos))$

得證。

對於任意的 $z \in \mathbb{C}$，我們可以寫成 $z = r e^{i\theta} = r(\cos\theta + i \sin\theta)$。因此，可以簡化爲

$g(pos) = z_2z_1^{pos} = r_2 e^{i\theta_2}(r_1e^{i\theta_1})^{pos} = r_2r_1^{pos}e^{i(\theta_2+\theta_1pos)} \quad subject \ to \ |r_1| \leq 1$

在實現過程中，由於上述 $|r_1| \leq 1$的限制，函數$g$的上述定義會導致優化問題，因此一種自然而簡單的避免這個問題的方法就是固定 $r_1 = 1$，那麼 $|e^{ix}|\equiv1$，上式就可以簡化爲：

$g(pos) = r e^{i(\mathcal{w} \text{pos} + \theta)}$

最終的embedding表示爲：

$\begin{array}{c} f(j, pos) &=& \mathbf{g}_j(pos) = \mathbf{r}_je^{i(w_j \ pos+\theta_j)} \\ &=& [r_{j,1}e^{i(w_{j,1} \ pos +\theta_{j,1})}, \cdots,r_{j,2}e^{i(w_{j,2} \ pos + \theta_{j,2})}, \cdots, r_{j,D}e^{i(w_{j,D} \ pos + \theta_{j, D})}] \end{array}$

其中，每個座標點 $d (1 \leq d \leq D)$都有各自的參數：振幅 $r_{j,d}$ 、週期 $p_{j,d}$ 、初相 $\theta_{j,d}$ ，這三個參數都是需要學習的參數。表示作者將這種新的編碼方式稱爲 general complex-valued embedding (通用複數值嵌入)。

實驗及結果

作者主要在文本分類、機器翻譯及語言建模三個任務上對這種新的位置編碼進行了評估。

1. 文本分類

實驗設置

數據集：採用CR、MPQA、SUBJ、MR、SST、TREC等五個常用數據集，數據集統計如下：

基準方法：選擇Fasttext、CNN、LSTM、Transformer等四種神經網絡模型，爲每個模型分別進行以下四種配置：（1）不使用位置編碼；（2）Gehring等人的Vanilla Position Embeddings (PE)；（3）Vaswani等人的Trigonometric Position Embeddings (TPE)；（4）Wang等人的Complex-vanilla word embeddings；（5）本文提出的位置感應的複數值詞嵌入Complex-order。

實驗結果如下：

時間消耗對比結果如下：

作者還在Transformer模型上進行了消融性測試，結果如下表所示：

2. 機器翻譯

數據集：WMT 2016 English-German數據集

基準方法：（1）basic Attentional encoder-decoder (AED)；（2）AED with Byte-pair encoding (BPE) subword segmentation for open-vocabulary translation；（3）AED with extra linguistic features；（4）本文的Transformer Complex-order

3. 語言建模

數據集：text8（English Wikipedia articles）

基準方法：BN-LSTM，LN HM-LSTM RHN，Large mLSTM

實驗結果如下：

---

想要了解更多的自然語言處理最新進展、技術乾貨及學習教程，歡迎關注微信公衆號“DestinedAI”或掃描二維碼添加關注。