【Semantic Embedding】: LSTM-DSSM模型

论文下载地址:https://arxiv.org/pdf/1412.6629.pdf

其实这几篇论文,DSSM, C-DSSM, LSTM-DSSM 百度一下资料一大堆,不过我还是选择自己去看了一遍,然后做一下笔记,便于更深入的理解。不过看完了论文发现,这几篇文章真的是短小精悍。。。基本都是五六页结束。

这篇文章还是一样的套路,是这对DSSM模型的修改,毕竟全连接网络是最简单的神经网络,替换一下模型就能提升效果,肯定是水文章的首选。

看完这篇文章,总体的感觉就是文章有了之前一系列文章的铺垫之后,写的很随意,图也画的有点丑,但是毕竟是第一篇把lstm引入到信息检索任务中的文章。

直如主题

文章的思路确实和网上大多数的博客写的那样,很简单。有了前面DSSM文章的铺垫,可以直接看图讲解

               

其实就是把DSSM里的全连接改成里LSTM,而且这里的输入感觉也不需要做word hashing都。直接把每个单词x(i)映射到一个word representation,就是embedding,也就是上图中的l(i)。然后把整个句子送入LSTM,训练LSTM,拿出最后输出的状态y(m),作为潜层语义向量,有了这个最后的语义向量后就和DSSM模型一样里,进行相似度度量,对文档进行排序,softmax计算概率等等。

这篇文章只要对LSTM 和DSSM有一定的了解的话,应该小半小时就能理解整篇文章里,建议想了解的同学直接去看论文。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章