如圖,模型基本結構是BERT
,是model,而BERTLM
集成了Bert
,NSP
,MLM
,是模型結構的核心。
在數據的處理中,核心是BERTDataset
訓練或者評估的時候,調用了BERTTrainer
,他使用了BertDataset
的數據來對BERTLM
進行訓練與迭代,
【論文源碼閱讀】BERT pytorch源碼結構關係圖
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
如圖,模型基本結構是BERT
,是model,而BERTLM
集成了Bert
,NSP
,MLM
,是模型結構的核心。
在數據的處理中,核心是BERTDataset
訓練或者評估的時候,調用了BERTTrainer
,他使用了BertDataset
的數據來對BERTLM
進行訓練與迭代,