PubMedBERT:生物醫學自然語言處理領域的特定預訓練模型

今年大語言模型的快速發展導致像BERT這樣的模型都可以稱作“小”模型了。Kaggle LLM比賽LLM Science Exam 的第四名就只用了deberta,這可以說是一個非常好的成績了。所以說在特定的領域或者需求中,大語言模型並不一定就是最優的解決方案,“小”模型也有一定的用武之地,所以今天我們來介紹PubMedBERT,它使用特定領域語料庫從頭開始預訓練BERT,這是微軟研究院2022年發佈在ACM的論文。

論文的主要要點如下:

對於具有大量未標記文本的特定領域,如生物醫學,從頭開始預訓練語言模型比持續預訓練通用領域語言模型效果顯著。提出了生物醫學語言理解與推理基準(BLURB)用於特定領域的預訓練。

 

https://avoid.overfit.cn/post/02c09a271dd246f4b04421794d87c679

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章