8. 命名實體識別
8.1 概述
-
命名實體
文本中有一些描述實體的詞彙。比如人名、地名、組織機構名、股票基金、醫學術語等，稱爲命名實體。具有以下共性:
- 數量無窮。比如宇宙中的恆星命名、新生兒的命名不斷出現新組合。
- 構詞靈活。比如中國工商銀行，既可以稱爲工商銀行，也可以簡稱工行。
- 類別模糊。有一些地名本身就是機構名，比如“國家博物館”
![image]()
-
命名實體識別
識別出句子中命名實體的邊界與類別的任務稱爲命名實體識別(Named Entity Recognition，NER)。由於上述難點，命名實體識別也是一個統計爲主、規則爲輔的任務。
- 對於規則性較強的命名實體，比如網址、E-mail、IBSN、商品編號等，完全可以通過正則表達式處理，未匹配上的片段交給統計模型處理。
- 對於較短的命名實體，比如人名，完全可以通過分詞確定邊界，通過詞性標註模塊確定類別
- 在另一些語料庫中（如PKU等），機構名這樣的複合詞是拆開的，此時就需要一個專門的命名實體識別模塊了
命名實體識別也可以轉化爲一個序列標註問題。具體做法是將命名實體識別附着到{B,M,E,S}標籤，比如， 構成地名的單詞標註爲“B/ME/S- 地名”，以此類推。對於那些命名實體邊界之外的單詞，則統一標註爲0 ( Outside )。具體實施時，HanLP做了一個簡化，即所有非複合詞的命名實體都標註爲S，不再附着類別。這樣標註集更精簡，模型更小巧。
命名實體識別實際上可以看作分詞與詞性標註任務的集成: 命名實體的邊界可以通過{B,M,E,S}確定，其類別可以通過 B-nt 等附加類別的標籤來確定。
HanLP內部提供了語料庫轉換工序，用戶無需關心，只需要傳入 PKU 格式的語料庫路徑即可。
8.2 基於規則的命名實體識別
這些系統屬於HanLP早期設計的一部分，雖然已經落伍，但可以應付一些語料匱乏的專門領域
8.2.1 基於規則的音譯人名識別
在一段待識別的文本中，若音譯字符連續出現，則很有可能來自一個音譯人名
- 若粗分結果中某詞語的備選詞性（詞性由核心詞典、用戶詞典提供）含有
nrf（音譯人名），則觸發規則2)； - 從該詞語出發往右掃描，若遇到音譯人名詞庫中的詞語，則合併，否則終止掃描。
8.2.2 基於規則的日本人名識別
日本人名識別規則：
- 在文本中匹配日本人名的姓氏和名字，分別記作
x和m - 將連續的xm合併爲日本人名，標註爲
nrj
8.2.3 基於規則的數詞英文識別
首先利用com.hankcs.hanlp.dictionary.other.CharType工具類獲取每個字符的類型。
然後掃描字符串的類型數組，將類型相同的字符合並，利用其類型確定詞性（數詞m或英文nx等）
segment = ViterbiSegment()
print(segment.seg("牛奶三〇〇克壹佰塊"))
print(segment.seg("牛奶300克100塊"))
print(segment.seg("牛奶300g100rmb"))
8.3 命名實體識別語料庫
命名實體識別語料的針對性非常強，往往是人們關心什麼樣的命名實體，就去標註什麼樣的語料
1998年《人民日報》語料庫
薩哈夫/nr 說/v ，/w 伊拉克/ns 將/d 同/p [聯合國/nt 銷燬/v 伊拉克/ns 大規模/b 殺傷性/n 武器/n 特別/a 委員會/n]/nt 繼續/v 保持/v 合作/v 。/w
PKU語料庫中還存在許多nz專有名詞類型的複合詞：
[延安/ns 供水/vn 工程/n]/nz 建成/v 通水/v
黃浦江畔/ns 的/u [東方/s 明珠/n 電視塔/n]/nz 前/f 熱鬧非凡/l
一九九七年/t [諾貝爾/nr 物理獎/n]/nz 獲得者/n
微軟命名實體識別語料庫
8.4 基於層疊隱馬爾可夫模型的角色標註框架
該框架的識別思路與日本人名的思路類似：爲構成命名實體的短詞語打標籤，標籤序列滿足某種模式則識別爲某種命名實體
角色標註模塊的輸入是分詞模塊的輸出，兩個模塊都由隱馬爾可夫模型驅動，所以稱爲層疊隱馬爾可夫模型
8.4.1 基於角色標註的中國人名識別
-
語料轉換
原始語料 [這裏/r, 有/v, 關天培/nr, 的/u, 有關/vn, 事蹟/n, 。/w]姓名拆分 [這裏/A, 有/K, 關/B, 天/C, 培/D, 的/L, 有關/A, 事蹟/A, 。/A]上文成詞 [這裏/A, 有關/U, 天/C, 培/D, 的/L, 有關/A, 事蹟/A, 。/A]添加首尾 [始##始/S, 這裏/A, 有關/U, 天/C, 培/D, 的/L, 有關/A, 事蹟/A, 。/A, 末##末/A] -
訓練HMM
-
標註
-
模式匹配合並
粗分結果[龔/nz, 學/v, 平等/a, 領導/n]人名角色觀察：[ K 1 A 1 ][龔 B 768 D 3 E 2 C 1 ][學 C 1698 D 298 L 19 E 11 K 8 B 5 ][平等 V 35 L 9 ][領導 K 238 L 47 ][ K 1 A 1 ]人名角色標註：[ /K ,龔/B ,學/C ,平等/V ,領導/K , /K]識別出人名：龔學 BC識別出人名：龔學平 BCD細分詞網：0:[ ]1:[龔, 龔學, 龔學平]2:[學]3:[平, 平等]4:[等]5:[領導][龔學平/nr, 等/udeng, 領導/n]
8.4.2 基於角色標註的地名識別
8.4.2 基於角色標註的機構識別
8.5 基於序列標註的命名實體識別
命名實體的邊界可以通過{B,M,E,S}確定
其類別可以通過B-nt等附加類別的標籤來確定
8.5.1 特徵提取
8.5.2 基於隱馬爾可夫模型序列標註的命名實體識別
HMMNERecognizer recognizer = new HMMNERecognizer();
recognizer.train(corpus); // data/test/pku98/199801-train.txt
之前我們就介紹過隱馬爾可夫模型，詳細見: 4.隱馬爾可夫模型與序列標註
隱馬爾可夫模型命名實體識別代碼見(自動下載 PKU 語料庫): hmm_ner.py
https://github.com/NLP-LOVE/Introduction-NLP/tree/master/code/ch08/hmm_ner.py
運行代碼後結果如下:
華北電力公司/nt 董事長/n 譚旭光/nr 和/c 祕書/n 胡花蕊/nr 來到/v 美國紐約/ns 現代/ntc 藝術/n 博物館/n 參觀/v
其中機構名“華北電力公司”、人名“譚旭光”“胡花蕊”全部識別正確。但是地名“美國紐約現代藝術博物館”則無法識別。有以下兩個原因:
- PKU 語料庫中沒有出現過這個樣本。
- 隱馬爾可夫模型無法利用詞性特徵。
對於第一個原因，只能額外標註一些語料。對於第二個原因可以通過切換到更強大的模型來解決。
8.5.3 基於感知機序列標註的命名實體識別
之前我們就介紹過感知機模型，詳細見: 5.感知機分類與序列標註
感知機模型詞性標註代碼見(自動下載 PKU 語料庫): perceptron_ner.py
https://github.com/NLP-LOVE/Introduction-NLP/tree/master/code/ch08/perceptron_ner.py
運行會有些慢，結果如下:
華北電力公司/nt 董事長/n 譚旭光/nr 和/c 祕書/n 胡花蕊/nr 來到/v [美國紐約/ns 現代/ntc 藝術/n 博物館/n]/ns 參觀/v
與隱馬爾可夫模型相比，已經能夠正確識別地名了。
8.5.4 基於條件隨機場序列標註的命名實體識別
之前我們就介紹過條件隨機場模型，詳細見: 6.條件隨機場與序列標註
條件隨機場模型詞性標註代碼見(自動下載 PKU 語料庫): crf_ner.py
https://github.com/NLP-LOVE/Introduction-NLP/tree/master/code/ch08/crf_ner.py
運行時間會比較長，結果如下:
華北電力公司/nt 董事長/n 譚旭光/nr 和/c 祕書/n 胡花蕊/nr 來到/v [美國紐約/ns 現代/ntc 藝術/n 博物館/n]/ns 參觀/v
得到了結果是一樣的。
8.5.5 命名實體識別標準化評測
各個命名實體識別模塊的準確率如何，並非只能通過幾個句子主觀感受。任何監督學習任務都有一套標準化評測方案，對於命名實體識別，按照慣例引入P、R 和 F1 評測指標。
在1998年1月《人民日報》語料庫上的標準化評測結果如下:
| 模型 | P | R | F1 |
|---|---|---|---|
| 隱馬爾可夫模型 | 79.01 | 30.14 | 43.64 |
| 感知機 | 87.33 | 78.98 | 82.94 |
| 條件隨機場 | 87.93 | 73.75 | 80.22 |
值得一提的是，準確率與評測策略、特徵模板、語料庫規模息息相關。通常而言，當語料庫較小時，應當使用簡單的特徵模板，以防止模型過擬合；當語料庫較大時，則建議使用更多特徵，以期更高的準確率。當特徵模板固定時，往往是語料庫越大，準確率越高。
8.6 自定義領域命名實體識別
以上我們接觸的都是通用領域上的語料庫，所含的命名實體僅限於人名、地名、機構名等。假設我們想要識別專門領域中的命名實體，這時，我們就要自定義領域的語料庫了。
-
標註領域命名實體識別語料庫
首先我們需要收集一些文本， 作爲標註語料庫的原料，稱爲生語料。由於我們的目標是識別文本中的戰鬥機名稱或型號，所以生語料的來源應當是些軍事網站的報道。在實際工程中，求由客戶提出，則應當由該客戶提供生語料。語料的量級越大越好，一般最低不少於數千個句子。
生語料準備就緒後，就可以開始標註了。對於命名實體識別語料庫，若以詞語和詞性爲特徵的話，還需要標註分詞邊界和詞性。不過我們不必從零開始標註，而可以在HanLP的標註基礎上進行校正，這樣工作量更小。
樣本標註了數千個之後，生語料就被標註成了熟語料。下面代碼自動下載語料庫。
假設生語料中有如下句子：
米高揚設計米格-17PF：米格-17PF型戰鬥機比米格-17P性能更好。
HanLP的詞法分析器輸出如下結果：
米高揚/nr 設計/vn 米格/nr -/w 17/m PF/nx ：/w 米格/nr -/w 17/m PF/nx 型/k 戰鬥機/n 比/p 米格/nr -/w 17/m P/nx 性能/n 更好/d 。/w
人工將其校正爲：
米高揚/nr 設計/v [米格/nr -/w 17PF/m]/np ：/w [米格/nr -/w 17PF/m]/np 型/k 戰鬥機/n 比/p [米格/nr -/w 17P/m]/np 性能/n 更好/l 。/w
樣本至少標註數千個
-
訓練領域模型
選擇感知機作爲訓練算法(自動下載 戰鬥機 語料庫): plane_ner.py
https://github.com/NLP-LOVE/Introduction-NLP/tree/master/code/ch08/plane_ner.py
運行結果如下:
下載 http://file.hankcs.com/corpus/plane-re.zip 到 /usr/local/lib/python3.7/site-packages/pyhanlp/static/data/test/plane-re.zip 100.00%, 0 MB, 552 KB/s, 還有 0 分 0 秒 米高揚/nrf 設計/v [米格/nr -/w 17/m PF/nx]/np ：/w [米格/nr -/w 17/m]/np PF/n 型/k 戰鬥機/n 比/p [米格/nr -/w 17/m P/nx]/np 性能/n 更好/l 。/w [米格/nr -/w 阿帕奇/nrf -/w 666/m S/q]/np 橫空出世/l 。/w這句話已經在語料庫中出現過，能被正常識別並不意外。我們可以僞造一款“米格-阿帕奇-666S”戰鬥機，試試模型的繁華能力，發現依然能夠正確識別。
8.7 總結
從規則到統計
- 命名實體識別的規則
- 層疊隱馬爾可夫模型角色標註
- 序列標註三種識別方法
作爲監督學習的應用，命名實體識別離不開 - 標註語料庫
- 設計特徵模板
- 訓練
- 評估準確率
模型能夠識別出哪些命名實體完全由語料庫決定。
通用語料庫無法解決領域需求，領域語料庫的標註非常重要。
