Multi-Modal Sarcasm Detection 图文反讽识别
题目：Multi-Modal Sarcasm Detection in Twitter with Hierarchical Fusion
发表会议/期刊： ACL2019
主要相关： 方面级情感分析+图文
反讽识别任务的目的是判断一段文档是否含有反讽表达
Conttrbutions:
将文本特征，图像特征，图像属性作为三种模态
提出一种多模态层次融合模型
① 首先提取图像特征和图像属性特征
② 再利用属性特征和双向LSTM网络来提取文本特征
③ 三种模态特征进行重构融合成一个特征向量来预测
验证了为了充分发挥图像的潜力，需要考虑图像属性——一种连接文本和图像之间的高层次抽象信息。
图像属性：由描述图像组成成分的若干词组成。
Approach:
（1）初步表示
① For 图片模态：
对于raw vector：使用一个预训练和微调的ResNet模型来获得图片的14*14区域向量Ii\
图片guidance vector：将原始向量平均
② For 图片属性模态
对于raw vector：使用另一个预训练和微调的ResNet-101模型来预测每个图片的5个属性，其GloVe embeddings被视为原始属性向量
图片guidance vector：将原始向量加权平均
原始属性向量 e(ai) 通过两层卷积网络得到注意力权重，用来重构得到guidance vector :Vattr
③ For 文本模态
使用双向LSTM来获得推特文本表示，得到的最终隐藏状态进行平均得到guidance vector:
（2）融合
① 早期融合：
在文本分类任务中，Bi-LSTM的初始状态通常设置为零，但可以注入多模态信息来促进对文本模态的理解。
将非线性变换后的属性引导向量作为Bi-LSTM的初始状态。
曾尝试使用图片引导向量进行融合，但表现不好
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DYNDRip0-1586179918711)(C:\Users\dell\AppData\Roaming\Typora\typora-user-images\1586141236228.png)]
② 表示融合
在低层次原始向量和高层次引导向量的帮助下重构特征向量
低层次原始向量：文本->最终时刻的隐藏状态ht
图像->14*14的区域向量
图像属性->5个属性的嵌入表示
将原始向量和引导向量通过一层卷积+非线性变化+卷积，在标准化后平均得到每个原始向量的权重，进而得到该模态下的特征表示
③ 模态融合
特征向量转换成定长的表示，采用两层前馈神经网络，计算各模态的注意力权值，将其作为定长特征向量的权重得到该模态下的最终单一向量
（3）分类
使用两层全连通神经网络作为分类层，隐含层的激活函数和输出层的激活函数分别是ReLu函数和sigmoid函数。损失函数是交叉熵
Results:
