最近預訓練模型的更新真的是讓人眼花繚亂，效果一個比一個好，簡直堪稱神仙打架，我等吃瓜羣衆只好坐在小板凳上看熱鬧，時不時的喊上一聲“好”。最近到處都能看到ELECTRA的身影，據說可以吊打Bert,今天我們就來看看它到底是何方神聖。
ELECTRA是斯坦福SAIL實驗室Manning組的工作，是目前爲止效果最好的預訓練模型，不僅效果比以前的預訓練模型好很多，而且還借鑑了GAN的思想，還用到了強化學習，很有創意，跟前面的預訓練模型相比，簡直就是一股清流。
具體內容我就不總結了，因爲下面這篇文章總結的實在太好了。看完之後大家就能瞭解ELECTRA的具體細節。
文章鏈接：