【Semantic Embedding】: LSTM-DSSM模型

論文下載地址:https://arxiv.org/pdf/1412.6629.pdf

其實這幾篇論文,DSSM, C-DSSM, LSTM-DSSM 百度一下資料一大堆,不過我還是選擇自己去看了一遍,然後做一下筆記,便於更深入的理解。不過看完了論文發現,這幾篇文章真的是短小精悍。。。基本都是五六頁結束。

這篇文章還是一樣的套路,是這對DSSM模型的修改,畢竟全連接網絡是最簡單的神經網絡,替換一下模型就能提升效果,肯定是水文章的首選。

看完這篇文章,總體的感覺就是文章有了之前一系列文章的鋪墊之後,寫的很隨意,圖也畫的有點醜,但是畢竟是第一篇把lstm引入到信息檢索任務中的文章。

直如主題

文章的思路確實和網上大多數的博客寫的那樣,很簡單。有了前面DSSM文章的鋪墊,可以直接看圖講解

               

其實就是把DSSM裏的全連接改成裏LSTM,而且這裏的輸入感覺也不需要做word hashing都。直接把每個單詞x(i)映射到一個word representation,就是embedding,也就是上圖中的l(i)。然後把整個句子送入LSTM,訓練LSTM,拿出最後輸出的狀態y(m),作爲潛層語義向量,有了這個最後的語義向量後就和DSSM模型一樣裏,進行相似度度量,對文檔進行排序,softmax計算概率等等。

這篇文章只要對LSTM 和DSSM有一定的瞭解的話,應該小半小時就能理解整篇文章裏,建議想了解的同學直接去看論文。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章