NLP模型小結

NLP 領域發展的三個主要階段

• 1.Word Embedding
  • Word2Vec
  • GloVe
• 2.使用RNN及改進
  • LSTM/GRU
  • Seq2Seq
  • Attention/Self-Attention
• 3.語義 Word Embedding
  • ELMo
  • OpenAI GPT
  • BERT

深度遷移學習的目的

• 解決 Word Embedding 不足
• 充分利用無標註的數據
• 能夠在NLP任務中也用上更深的模型
  設計模型從無標註數據中學習到複雜的上下文表示成爲主要方向。