1. NLG現狀
- 在NLG過程中引入離散隱變量。可能對故事生成、任務型對話有幫助。
- 不再是從左到右的順序生成了。對於長文本生成的問題，在並行化生成、迭代優化和自頂向下生成上都有了新的研究。
- 訓練過程也不再只是最大似然的優化函數了，出現了更多句子粒度的目標函數。
2. NLG研究：我們現在在哪兒？以後要去哪裏？
直到5年前，NLP+DL都是探索期；2019年的現在，好像有點進展了，但是NLG仍然是最待開發的大草原！
3. NLG更爲成熟
- NLP+DL早期，主要還是嘗試把已經非常成熟的NMT方法往NLG任務上搬
- 而現在，NLG已經有了更多新的算法，而且已經擺脫了NMT的相關算法配置
- NLG領域（特別是開放式NLG）的研討會和比賽也日益增多
- 以上也都有助於研討會更多更好更標準
- 最大的絆腳石就是評價！
4. 從事NLG工作讓講師學到的8件事
- 越是開放式的NLG任務，難度就越大，這個時候可以引入一些限制條件。
- 不要想着一次優化全部生成效果，可以進行分體拆解，逐個擊破
- 如果使用LM進行NLG，如果能提高LM表現（比如困惑度
perplexity可能很大程度上就提高了整體的生成效果。當然，這絕不是唯一一個有助於提高生成質量的方法。 - 多康康你生成了什麼玩意兒！
- 就算自動評價效果不好，你也需要有一套，甚至幾套！
- 如果真的要進行人工評價，把標準定得儘可能詳盡
- NLP+DL現在最大的問題是不能復現，所以把你的生成結果和使用的方法感覺發表出來
- 這個過程是非常令人沮喪的，當然也是很有趣的。