StructBERT模型記錄

StructBERT模型是達摩院提出的Bert系列模型，相比BERT模型而言，主要增加了兩個預訓練任務來提升模型性能：

1、Word Structural Objective

 

Word Structural Objective是從未被遮掩的序列中以5%的機率選擇部分長度爲3子序列，將子序列中的詞序打亂，讓模型重建原來的詞序，從而使模型學習到句子中的詞序關係。

2、Sentence Structural Objective

 

 

 

 

 

Sentence Structural Objective如上圖所示，

給定句子對(S1,S2)，判斷S2是否是S1的下一個句子，或上一個句子，或毫無關聯的句子。在採樣時，對於一個句子S，1/3的概率採樣S的下一句組成句對，1/3的概率採樣S的上一句組成句對，1/3的概率隨機採樣一個其他文檔的句子組成句對。