[NLP --- 19] 預訓練模型中的自迴歸方法和自編碼方法

自迴歸方法: 通常出現在基於RNN的語言模型中，如ELMO，這類語言模型希望通過句子的前一部分詞，預測最後一個或幾個詞。

自編碼方法: 通常出現在基於Transformer的語言模型中，如Bert，這類語言模型將句子中的某些詞MASK掉，(Bert中存在3中Mask的方法: 80%替換爲其他單詞，10%替換爲Mask token，%10不替換)，模型希望能夠在Mask的位置出預測出被Mask的詞。