綜述:文中描述當前閱讀理解任務中受限於監督學習設置，以及可用的數據集。這篇論文主要提出關於閱讀理解任務中的對抗學習以及self-play.它用一個名爲reader network來找到關於text和query的答案，還用一個名爲narrator network的網絡來混淆text的內容，來降低reader network網絡成功的可能性。然後取得了較好的效果。
文章的貢獻:
1,提出了一個新的基於對抗學習的機器閱讀理解的範例。
2，這種方式克服了要求監督信息的要求，以及在query-answer中提供穩健的噪音。
3，可視化了模型在query推理過程中的注意力轉變。
模型的主題流程如下:
1,在每輪訓練開始前，narrator 會混淆數據中的一些story中的單詞(用UNK替代)，固定這個混淆比例。ratio=corrupted_data/clear_data。記住訓練集和測試集中都包含有混淆數據。
2，然後narrator從reader network獲得一個反饋值，這個值得具體計算方式爲，如果reader network在沒混淆的d上回答正確，而在混淆的dobf上回答錯誤，那麼r=1,否則爲0。如圖
3，所有以前收集的r值都會被存儲下來和運用於整個訓練過程中，並且narrator network的網絡參數在每次迭代之前都會被重新初始化。
4，每次epoch中，narrator混淆數據是爲了80%來期望最大化它的reward，剩下的20%用來確保探索。
5，最終，reader network在每次迭代中保持提升，並且一些災難性的遺忘會在下一輪中的narrator network中得到補償，通過聚焦於這些缺陷。
Reader network
它採用的是Gated end-to-end network 簡稱GMemN2N,具體實現過程和我上篇筆記類似，這裏不再贅述。GMemN2N,也是使用兩個emb矩陣表示doc，第三個emb舉證來表示query,然後通過query與其中的一個點積、softmax算Attention，然後與doc矩陣dot運算得到結果。它的最後一層使用的是softmax層，因爲有多個候選答案。
Narrator Network
這個模型的目的是爲了預測reader network成功回答一個有混淆詞的doc的概率。這裏的模型結構也是使用的一個類似於reader network的GMemN2N網絡結構。但是他在最後一層使用的是sigmoid層，來預測reader network回答失敗的概率。
實驗結果如下:
