Yuan Yao:
- common sense到 visual relation
圖片中抽取commonsense - openRE hierarchy信息
- DocRED 2.0, reasoning上面，sentence level-> document level. cross-document.
- Joint Extraction Document-level RE抽取關係和證據。
Zhengyan Zhang
- PLM
- ERNIE
- 結合知識圖譜 xiaozhi
- 預訓練過程。 改進fine-tune
- ERNIE 外部實體理解
- xiaozhi 結合圖譜表示學習。捕捉實體相關知識的能力。2 loss:
- 文本表示BERT-like、知識表示TransE-like
文本+圖譜補全都有提升
- 下游任務指導的預訓練。word mask，mask掉會有特別的關注。 如果mask介詞，是沒什麼用的。
- 預訓練模型在fine tune的優化，模型冗餘， attention head，影響不大。使用下游任務的輸入進行模型剪枝。attention matrix中的交互強度，都比較低的話，其實沒有捕捉到連接，或者說沒什麼用。-》 在fine tune之前選擇head然後進行訓練/性能，減少50%的head，效果還是不錯的。
- 4.1如何增加多模態知識。實體的描述，實體的有關圖片。 嘗試知識、HowNet, ConceptNet. 構建違背常識的負例，增強模型的常識的理解。
- 4.2顯式考慮圖譜結構進行推理和文本理解。 Neural Symbolic Model。
- 4.3 更好的預訓練，下游任務指導的預訓練。 word selection-> text selection.
- 4.4改進Transformer， 下一代NLP模型。
- 動態神經網絡 新的模型結構、更大容量、更強表達能力。 現在想法是增加CV模塊增加模型捕捉能力。 更架構搜索不同
Xu Han
兩週寫一次週報。
Prevous:
1.知識獲取存在的問題：
複雜結構問題、數據增長問題。
數據規模問題、學習能力、複雜語境、開放關係
多語言、遠程監督降噪、 DIAG-NRE 人工標註、主動學習（做的差不多了，收益不大
少次學習、hybrid protipicalnetwork。 fewrel1.0/2.0 再做一個領域transfer。
transfer-> domain adaptation.
Few-shot \snow-ball
event extraction. 參數會有層次結構。
文檔場景下的知識獲取。
持續學習
工具包 OpenKE\ OpenNRE.
Next:
更多知識類型
- 嘗試知識學習
- 無監督事件抽取
- 事件數據集構建
進一步推動知識獲取能力 - 多模態學習
- 少次學習
- 文檔級別
- 跨文檔級別
- 開放領域
持續學習問題：
- 知識圖譜表示的持續學習
- 知識獲取模型的持續學習
- 知識指導的NLP
- 知識推理的NLP
- 工具包
- 事件知識圖譜。 以人爲中心的知識圖譜構建
2019 ACL EMNLP AAAI 13篇
ACL 投9 篇
寒假：
- 繼續工作
- 閱讀論文、總結
- 2週報