原创 微軟提出新預訓練語言模型DeBERTa:僅需一半數據且效果優於BERT、RoBERTa

在自然語言處理領域,預訓練語言模型在多項NLP任務都獲得了不錯的提升。從ELMo、GPT、BERT到XLNet、RoBERTa,預訓練語言模型在GLUE、SQuAQ和RACE三個榜單頻頻刷新紀錄。最近,微軟提出了一種新的預訓練語言模型“D