個人實驗總結，僅供參考。
1.LTP有自動分句功能，NLPIR沒有分句功能；
LTP的分句是根據中文標點裏的句號、問號、感嘆號、分號、省略號。2.NLPIR分詞有兩種方式，分詞結果完全一致。
（1）利用分詞函數NLPIR_ParagraphProcess；
（2）利用NLPIR_FileProcess對整個文本進行分詞。
其中第（2）種有時候會出現bug，分詞進行到文本某一處時會進行不下去。
3.LTP有在線API和本地兩種：
（1）在線API受限於URI構造規則，不能提交一些特殊字符（如#、&、+、換行符、英文分號等），而且存在極少數未知的組合bug（比如and和in居然不能同時提交）；
（2）本地LTP在分詞時則不受上述限制。
|
符號 |
問題 |
|
換行符 |
程序直接報錯 |
|
& |
會影響句子處理（句子會被截斷） |
|
英文分號; |
會影響句子處理（句子會被截斷） |
|
# |
會影響句子處理（程序直接報錯，如“C#”） |
|
+ |
會被系統刪除（如“互聯網+”、“C++”） |
基於上述原因，調用在線API分詞和本地分詞兩種方式的分詞結果會有差異，而且除了上述特殊字符引起的差異外，還會有其他一些極少數差異。
差異統計：3000個句子，有40句存在分詞差異。
“+”引起：21句
“#”引起：2句
其他：17句
|
LTP本地 |
LTP在線 |
|
LTP本地 |
LTP在線 |
|
異常 點 |
異常點 |
|
多 年 |
多年 |
|
不好的 |
不好 的 |
|
過 關 |
過關 |
|
書 挺 不錯 的 |
書挺 不錯 的 |
|
白 學 了 |
白學 了 |
|
很快 |
很 快 |
|
就 此 |
就此 |
|
趕上 |
趕 上 |
|
網絡類 的 圖書 |
網絡 類 的 圖書 |
|
初學者 |
初 學者 |
|
缺 失 |
缺失 |
上述例子並不絕對，在有些句子裏，在線切分也能夠將“初學者”切分出來，而本地切分卻會將其切分成“初”“學者”。
4.用戶詞典：
（1）NLPIR分詞時將優先使用用戶詞典；
（2）LTP用戶詞典：官方補充說“LTP的分詞模塊並非採用詞典匹配的策略，外部詞典以特徵方式加入機器學習算法，並不能保證所有的詞都是按照詞典裏的方式進行切分”；
所以LTP有些詞加入用戶詞典也無效，比如“C++”、“C#”、“互聯網+”。
5.哈工大LTP與中科院NLPIR分詞差異
試驗了3000句，去除哈工大停用詞後有31259個詞，其中1505句分詞結果完全一樣。
注意：列表只是給出一些詞在某些句子裏的切分情況，並不表示在所有句子裏都是這樣切分。在有些情況下，哈工大和中科院的切分方法甚至會反過來。
整體上感覺中科院NLPIR在很多詞上更傾向於分得更小。
下表給出了導致不一致的一些分詞：
|
哈工大LTP分詞 |
中科院NLPIR分詞 |
|
正在 |
正 在 |
|
給力 |
給 力 |
|
不用說 |
不用 說 |
|
有點 |
有 點 |
|
翻譯家 |
翻譯 家 |
|
一 大 堆話 |
一 大 堆 話 |
|
只有 |
只 有 |
|
字字千金 |
字字 千金 |
|
網絡類 |
網絡 類 |
|
不過 |
不 過 |
|
樓主 |
樓 主 |
|
看 起來 |
看起來 |
|
大牛 |
大 牛 |
|
免郵費 |
免 郵費 |
|
贊贊贊 |
贊 贊 贊 |
|
初 學者 |
初學者 |
|
這 本 書 |
這 本書 |
|
難看 懂 |
難 看 懂 |
|
只能 |
只 能 |
|
有 人 說 |
有人 說 |
|
難懂 |
難 懂 |
|
有些 |
有 些 |
|
真的 |
真 的 |
|
還是 |
還 是 |
|
以前 |
以 前 |
|
實體書 |
實體 書 |
|
有 些 |
有些 |
|
不錯 |
不 錯 |
|
說是 很 不錯 |
說 是 很 不 錯 |
|
是否 對 味口 |
是否 對味 口 |
|
書摸 起來 的 質感 |
書 摸 起來 的 質感 |
|
與時俱進 |
與 時 俱 進 |
|
就是 |
就 是 |
|
錯版 |
錯 版 |
|
來 入門 的 話 |
來 入門 的話 |
|
經典 之 作 |
經典之作 |
|
膜拜 |
膜 拜 |
|
不好 |
不 好 |
|
你們 |
你 們 |
|
離 不 開 |
離不開 |
|
很多 |
很 多 |
|
知易行 難 |
知 易行 難 |
|
實乃 |
實 乃 |
|
傾情 |
傾 情 |
|
有着 |
有 着 |
|
有 點 |
有點 |
|
很 多 |
很多 |
|
高管 |
高 管 |
|
一下 |
一 下 |
|
延展 |
延 展 |
|
但是 |
但 是 |
|
亞馬遜 |
亞 馬 遜 |
|
就 是 |
就是 |
|
圖靈 圖書 |
圖 靈 圖書 |
|
安卓 |
安 卓 |
|
進階 |
進 階 |
|
例程 |
例 程 |
|
入 門書 |
入門 書 |
|
最好 |
最 好 |
|
還有 |
還 有 |
|
心痛 |
心 痛 |
|
會上癮 |
會上 癮 |
|
上來 |
上 來 |
|
實用性 |
實用 性 |
|
原書 |
原 書 |
|
沒 得 說麼 就 是 好 |
沒 得 說 麼 就 是 好 |
|
源碼 |
源 碼 |
|
跟着 |
跟 着 |
|
一部分 |
一 部分 |
|
說說 |
說 說 |
|
太坑 了 |
太 坑 了 |
|
入門者 |
入門 者 |
|
不怎麼樣 |
不 怎麼樣 |
|
開發者 |
開發 者 |
|
本書 |
本 書 |
|
無 需 多 說 |
無需 多 說 |
|
正版書 |
正版 書 |
|
一 本 完 完全全 的 入門書 |
一 本 完 完全 全 的 入門 書 |
|
微博 |
微 博 |
|
一頁紙 |
一 頁 紙 |
|
中文字 |
中 文字 |
|
沒有 |
沒 有 |
|
有點 取寵 之 嫌 |
有點 取 寵 之 嫌 |
|
禪意 |
禪 意 |
|
炫技 |
炫 技 |
|
未曾 |
未 曾 |
|
可是 |
可 是 |
|
更新 |
更 新 |
|
菜鳥 |
菜 鳥 |
|
書挺 不錯 的 |
書 挺 不錯 的 |
|
後端 |
後 端 |
|
早就 |
早 就 |
|
再說 吧 |
再 說 吧 |
|
看看 |
看 看 |
|
不行 |
不 行 |
|
很快 |
很 快 |
|
只是 |
只 是 |
|
九流 |
九 流 |
|
若是 |
若 是 |
|
名頭 |
名 頭 |
|
書香味 |
書 香味 |
|
知識點 |
知識 點 |
|
個人 |
個 人 |
|
當作 參考 書用 |
當作 參考書 用 |
|
邏輯 思維 |
邏輯思維 |
|
到貨 |
到 貨 |
|
污損 |
污 損 |
|
之前 |
之 前 |
|
一點點 |
一點 點 |
|
完虐 |
完 虐 |
|
曬 圖 |
曬圖 |
|
沒法 |
沒 法 |
|
一起 |
一 起 |
|
第幾 |
第 幾 |
|
在線 |
在 線 |
|
不能 |
不能 |
|
右下角 |
右 下 角 |
|
電商 |
電 商 |
|
支付寶 |
支付 寶 |
|
物聯網 |
物 聯網 |
|
難得一見 |
難 得 一 見 |
|
睜 眼 瞎 |
睜眼瞎 |
