ABCNN

昨天和师兄聊了一下对attention的理解
其实相似性矩阵本身并不是模型的参数，是参数的只是后面的dense layers；

看了好久才弄懂ABCNN的卷积过程。
其实卷积也还是就是Yoon Kim的方法。
协助理解的时候，这篇讲的还是很好的：

https://blog.csdn.net/liuchonge/article/details/69587681

后面这里提了一下，说把中间pooling层的输出也合并到最后的输出里，可以增强performance，但是实测效果却一般。感觉原因还是：
基于Yoon Kim的方法的话，第二层卷积的输入本身就是各个kernel输出的结果了，再卷积就没有提取局部特征的解释性了。

以下是ABCNN_1的过程：

输入的时候是两个句子

a=[a¯1,a¯2,...,a¯m]b=[b¯1,b¯2,...,b¯n]$$\begin{gathered} a=[{\overline{a}}_1,{\overline{a}}_2,...,{\overline{a}}_m] \\ b=[{\overline{b}}_1,{\overline{b}}_2,...,{\overline{b}}_n] \end{gathered}$$

首先计算一个相似度矩阵

Ai,j=matchscore(a¯i,b¯j)$$A_{i,j}=matchscore({\overline{a}}_i,{\overline{b}}_j)$$

a¯i,b¯j${\overline{a}}_i,{\overline{b}}_j$ 表示对应的词向量
matchscore$matchscore$ 则是1/(1+|x−y|)$1/(1+|x-y|)$ ， 其中 |x−y|$|x-y|$ 是欧氏距离

那么其实现在

a∈R d∗mb∈R d∗nA∈R m∗n$$\begin{gathered} a\in R^{d\ast m} \\ b\in R^{d\ast n} \\ A\in R^{m\ast n} \end{gathered}$$

接下来，我们可以得到

Fa=Wa˙ATFb=Wb˙A$$\begin{gathered} F_a=W_a\dot{}{A}^T \\ {F}_b=W_b\dot{}A \end{gathered}$$

其中：

Wa∈R d∗n; Fa∈R d∗mWb∈R d∗m; Fb∈R d∗n$$\begin{gathered} W_a\in R^{d\ast n};F_a\in R^{d\ast m} \\ {W}_b\in R^{d\ast m};F_b\in R^{d\ast n} \end{gathered}$$

然后将 a,Fa$a,F_a$ 看成句子的两个channels输入到CNN中，做卷积
channel的作用其实可以看这里：
https://blog.csdn.net/sscc_learning/article/details/79814146
这样其实就是卷积核的维度也要增加一维。