命名實體識別實踐（bert+微調）

任務場景

bert刷新了各大記錄，在這裏就不多介紹了，是一個非常好的預訓練模型，我們只需要根據後續任務進行微調，本文采用bert+微調的方式實現了一版NER。

    def biuildModel(self):

        input_ids = layers.Input(shape=(self.max_seq_len,))
        input_mask = layers.Input(shape=(self.max_seq_len,))
        input_type_ids = layers.Input(shape=(self.max_seq_len,))

        embeding = b_embeding_layer(max_seq_len=self.max_seq_len)([input_ids,input_mask,input_type_ids])

        lstm_encode = layers.Bidirectional(layers.LSTM(units=unit_len, return_sequences=True))(embeding)
        dense1 = layers.TimeDistributed(layers.Dense(dense_len, activation="tanh"))(lstm_encode)
        dense1 = layers.Dropout(0.05)(dense1)
       
        crf = CRF(self.class_num, sparse_target=False)

        crf_res = crf(dense1)
        model = Model(inputs=[input_ids, input_mask, input_type_ids], outputs=[crf_res])
        adam = Adam(lr=0.001)
        model.compile(optimizer=adam, loss=crf.loss_function, metrics=[crf.accuracy])
        print(model.summary())

        return model

由於是個相對新一點的模型，在這裏放一下模型的結構：

結果：

效果確實比原來提升不少，哈哈。