《language to logical form with neural attention》這篇文章使用了seq2seq模型，引入attention機制，將自然語言翻譯到其邏輯形式。並提出了一種新的seq2tree模型，樹狀結構的效果更好。
在Google scholar上，該論文被引用96次。現將引用該論文的論文進行整理，瞭解該方向最新的科研進展。
- Data Recombination for Neural Semantic Parsing
作者信息：Robin Jia/Percy Liang，Stanford CS
摘要：在語義分析中，建立清晰的邏輯規則是非常重要的，因此，沒有領域特定的先驗知識的神經模型很難取得好的結果。本文提出了數據重組方法，這是一種將此類先驗知識注入模型的新框架。從訓練數據中，我們引出了一種高精度的同步無上下文語法，它捕獲了語義分析中常見的重要條件獨立屬性。然後，我們訓練序列到序列的循環網絡（RNN）模型，該模型在從該語法中採樣的數據點上具有新穎的基於注意力的複製機制，從而教導模型關於這些結構特性。 數據重組提高了我們的RNN模型在三個語義分析數據集上的準確性，從而爲具有可比監督的模型在標準GeoQuery數據集上帶來了新的最先進性能。
文章介紹了一種新的基於注意力的複製機制。因爲在input中的實體名字通常直接與output中的token相關聯。基於注意力的複製機制中，每個時間階段j，解碼器生成兩種action中的一種（從output詞彙表中選擇單詞，或者是直接講input中的詞直接複製到output），概率由Xi上的attention分數決定。
本文的主要貢獻還是利用數據重組的框架將先驗知識注入到seq2seq模型中。從訓練集中得到一個高精度的生成模型，用模型從訓練集中重新採樣得到新的訓練數據。這個過程就將先驗知識從生成的新數據傳遞到RNN模型中。數據重組的方法就是一種數據增強技巧。
文章使用了同步上下文無關文法（SCFG，synchronous context-free grammar）來作爲生成模型的骨幹。SCFG定義了一個字符串對互相對齊的聯合推導集合。在文中，SCFG被用來表示輸入語句X和邏輯形式Y的聯合推導。
實驗設置：隱層單元數200，詞向量100維，所有的參數初始化爲[-0.1,0.1]之間的隨機數，梯度下降法，最大化正確邏輯形式的log-likelihood。模型訓練30代，初始化學習率爲0.1，每5代後學習率減半。在訓練集中僅出現一次的單詞，用< unk >代替。使用beam search，beam size設爲5。
與該論文工作相似的文章：
《Incorporating copying mechanism in sequence-to-sequence learning》，ACL，2016。提出了非常相似的複製機制，用於文本總結和單輪對話生成。
《Pointing the unknown words》，ACL,2016。提出了在每一代決定是否從”shortlist”詞彙表中寫詞或者從input中複製，在機器翻譯和文本總結上體現了性能的提升。本文的代碼、數據、實驗網址:
https://worksheets.codalab.org/worksheets/0x50757a37779b485f89012e4ba03b6f4f/
2.Coarse-to-Fine Decoding for Neural Semantic Parsing
作者信息：Li Dong, Mirella Lapata, University of Edinburgh
摘要：語義分析的目的在於將自然語言語句映射到結構化的意義表示。在本文中，我們提出一個將語義分析過程分爲兩個部分的結構感知的神經架構。給定一個輸入語句，我們首先生成其含義的粗略描述，將底層信息（例如變量名稱和參數）輕輕帶過。然後，將輸入語句與其粗略描述結合起來考慮，來填補缺失的細節。四個不同領域和意義表示的數據集上的實驗結果表明我們的方法有效的提升了性能，儘管使用了相對簡單的解碼器，但獲得了有競爭力的結果。
每日學單詞：
vice versa ：反之亦然
synchronous ：同步
concatenation：級聯，並列
yield：產生，屈服，遷就
leverage：n.槓桿作用，影響力，v.利用，使用
pseudocode：僞代碼
investigated：調查
resemblance：相似