使用bert-as-service簡單快速生成詞向量

下載依賴:

pip install  bert-serving-server

pip install bert-serving-client

下載預訓練好的中文模型：

中文模型地址

啓動bert-serving-start

$ cd /usr/local/bin
# 替換爲自己的地址
$ bert-serving-start  -model_dir /bertdemo/chinese_L-12_H-768_A-12

編寫腳本

# train.py
from bert_serving.client import BertClient

bc = BertClient()
result = []
value = 0.90
# 替換文件地址
f = open('/data/source_word/all.txt','r',encoding='utf-8');
# 替換文件地址
r = open('/project/bertdemo/all.txt','a',encoding='utf-8')

for line in f:
        result.append(line.strip('\n'))
        #print(result)  

input = bc.encode(result)

for line in input:
        r.write(str(line))
        print(r)

運行腳本

python3 train.py