nlp模型-bert從入門到精通（二）

命名實體識別

首先下載相應bert 模塊

pip install bert-base==0.0.9 -i https://pypi.python.org/simple

也可參考官網處理
安裝

軟件包現在支持的功能
1.命名實體識別的訓練
2.命名實體識別的服務C/S
3.繼承優秀開源軟件：bert_as_service(hanxiao)的BERT所有服務
4.文本分類服務
後續功能會繼續增加

基於命名行訓練命名實體識別模型:

安裝完bert-base後，會生成兩個基於命名行的工具，其中bert-base-ner-train支持命名實體識別模型的訓練，你只需要指定訓練數據的目錄，BERT相關參數的目錄即可。可以使用下面的命令查看幫助

訓練的事例命名如下：

bert-base-ner-train \
    -data_dir {your dataset dir}\
    -output_dir {training output dir}\
    -init_checkpoint {Google BERT model dir}\
    -bert_config_file {bert_config.json under the Google BERT model dir} \
    -vocab_file {vocab.txt under the Google BERT model dir}

參數說明
其中data_dir是你的數據所在的目錄，訓練數據，驗證數據和測試數據命名格式爲：train.txt, dev.txt，test.txt,請按照這個格式命名文件，否則會報錯。
訓練數據的格式如下:

海 O
釣 O
比 O
賽 O
地 O
點 O
在 O
廈 B-LOC
門 I-LOC
與 O
金 B-LOC
門 I-LOC
之 O
間 O
的 O
海 O
域 O
。 O

每行得第一個是字，第二個是它的標籤，使用空格’ '分隔，請一定要使用空格。句與句之間使用空行劃分。程序會自動讀取你的數據。

output_dir： 訓練模型輸出的文件路徑，模型的checkpoint以及一些標籤映射表都會存儲在這裏，這個路徑在作爲服務的時候，可以指定爲-ner_model_dir
init_checkpoint: 下載的谷歌BERT模型
bert_config_file ： 谷歌BERT模型下面的bert_config.json
vocab_file： 谷歌BERT模型下面的vocab.txt
訓練完成後，你可以在你指定的output_dir中查看訓練結果。

更多操作：
https://blog.csdn.net/macanv/article/details/85684284

還有一個bert模型的封裝

https://www.jianshu.com/p/1d6689851622
https://cloud.tencent.com/developer/article/1470051
https://www.h3399.cn/201908/714454.html