在Django項目中,當我們用到全文檢索框架時,如果想要很好的支持中文分詞方式,我們可以使用“結巴”分詞。
1.安裝jieba分詞模塊
pip install jieba
2.找到你項目環境下的haystack目錄,下面是我的項目環境路徑。
/home/michael/.virtualenvs/Django_test/lib/python3.5/site-packages/haystack/backends/
3.在上面的那個目錄中創建一個ChineseAnalyzer.py文件
import jieba
from whoosh.analysis import Tokenizer, Token
class ChineseTokenizer(Tokenizer):
def __call__(self, value, positions=False, chars=False,
keeporiginal=False, removestops=True,
start_pos=0, start_char=0, mode='', **kwargs):
t = Token(positions, chars, removestops=removestops, mode=mode, **kwargs)
seglist = jieba.cut(value, cut_all=True)
for w in seglist:
t.original = t.text = w
t.boost = 1.0
if positions:
t.pos = start_pos + value.find(w)
if chars:
t.startchar = start_char + value.find(w)
t.endchar = start_char + value.find(w) + len(w)
yield t
def ChineseAnalyzer():
return ChineseTokenizer()
4.複製whoosh_backend.py文件並改名whoosh_cn_backend.py(注:我這裏使用的是whoosh全文檢索引擎)
cp whoosh_backend.py whoosh_cn_backend.py
5.打開whoosh_cn_backend.py文件,引入中文分析類,內部採用jieba分詞。
from .ChineseAnalyzer import ChineseAnalyzer
6.更改詞語分析類
找到
analyzer=StemmingAnalyzer()
改爲
analyzer=ChineseAnalyzer()
7.修改settings.py文件中的配置項
HAYSTACK_CONNECTIONS = {
'default': {
# whoosh_cn_backend就是複製出來的那個文件
'ENGINE': 'haystack.backends.whoosh_cn_backend.WhooshEngine',
'PATH': os.path.join(BASE_DIR, 'whoosh_index'),
}
}
8.重建創建索引文件
python manage.py rebuild_index