目錄
- 標準分詞器：standard tokenizer
- 關鍵詞分詞器：keyword tokenizer
- 字母分詞器：letter tokenizer
- 小寫分詞器：lowercase tokenizer
- 空白分詞器：whitespace tokenizer
- 模式分詞器：pattern tokenizer
- UAX URL電子郵件分詞器：UAX RUL email tokenizer
- 路徑層次分詞器：path hierarchy tokenizer
詳細見：https://www.cnblogs.com/Neeo/articles/10402742.html