Smartcn分詞器是ictclas簡化功能的java版
Smartcn分詞三步：1）原子切分；2）找出原子之間所有可能的組詞方案；3）N-最短路徑中文詞語粗分三步。
例如：“他說的確實在理”這句話。
1）原子切分的目的是完成單個漢字的切分。經過原子切分後變成“始##始/他/說/的/確/實/在/理/末##末”。
2）然後根據“詞庫字典coredict”找出所有原子之間所有可能的組詞方案。經過詞庫檢索後，該句話變爲“始##始/他/說/的/的確/確/確實/實/實在/在/在理/理/末##末”。
圖1
3）N-最短路徑中文詞語粗分，smartCN用的是1-最短路徑。首先我們要找出這些詞之間所有可能的兩兩組合的距離（這需要檢索BigramDict詞典庫,圖2的權值）。
圖2
圖3：圖2的邏輯表示
用動態規劃的方法容易求得出最短路徑：
例如從節點0到5消耗是1+2+3+5 = 3.3+2.2+4.1+4.1 = 13.7
從節點0到4消耗是1+2+4 = 3.3+2.2+7.1 = 12.6
節點7的消耗是min(5->7, 4->7) = min(13.7+11.6 , 12.6 + 11.5) = 28.1 路徑4->7
...
求出最短路徑，就找出了分詞短句的結果。
總結一下smartcn的核心：coredict用來存詞，用來擴展單字。
Bigramdict用來存跳轉頻率。最後用最短路徑算法求最佳切分方式。Bigramdict怎麼來的，從訓練語料裏統計出來的。最短路徑求解體現了一定的語義分析，代價就是Bigramdict需要訓練。
Smartcn不能擴展詞庫，因爲Bigramdict中沒有對應的關聯，如果要擴展得兩個一起。
寫的有點倉促，蠻多精華沒介紹到，想看更多細節可以看這裏
http://www.ictclas.org/content_c_005.html
http://www.cnblogs.com/zhenyulu/articles/668035.html
下一步我想用CRF訓練的結果生成新的coredict跟bigramdict，看下行不行。近年來CRF的結果已經遠遠優於機械的方法了，也就是用新方法結果來訓練舊機器.
