[转]Transformers使用

Transformers 是由 Hugging Face 开发的一个 NLP 包，支持加载目前绝大部分的预训练模型。随着 BERT、GPT 等大规模语言模型的兴起，越来越多的公司和研究者采用 Transformers 库来构建 NLP 应用。

Transformers 库快速入门

• 第一部分：初识 Transformers

  • 第一章：开箱即用的 pipelines
  • 第二章：模型与分词器
  • 第三章：必要的 Pytorch 知识
  • 第四章：微调预训练模型

• 第二部分：Transformers 实战

  • 第五章：快速分词器
  • 第六章：序列标注任务
  • 第七章：翻译任务
  • 第八章：文本摘要任务
  • 第九章：抽取式问答
  • 第十章：Prompt 情感分析

Demo 一览

• pairwise_cls_similarity_afqmc：句子对分类任务，金融同义句判断。
• sequence_labeling_ner_cpd：序列标注任务，命名实体识别。
• seq2seq_translation：seq2seq任务，中英翻译。
• seq2seq_summarization：seq2seq任务，文本摘要。
• sequence_labeling_extractiveQA_cmrc：序列标注任务，抽取式问答。
• text_cls_prompt_senti_chnsenticorp：文本分类任务，Prompt 情感分析。