爲什麼預訓練模型那麼好用？

一模一樣的模型架構，

直接用領域數據訓練模型，可能生成效果賊差，語句不通也是常事。

在預訓練的bert上，微調bert權重，生成效果通順又好~

爲什麼呢？

第一，領域數據太少。

第二，學習難度大。就像人學習，如果擁有通用知識，比如學過高中語文，在此基礎上去學領域知識會更容易，如果連基本造句都不會，就去學專業知識，怕是頭都大了。而預訓練模型用了大量的維基百科等通用數據來教會模型基礎知識，我想這也是預訓練模型會選擇維基百科等作爲語料的原因之一吧（數據容易獲得當然是更重要的原因emmm）