django-haystack實現全文檢索
全文檢索裏的組件簡介
1. 什麼是haystack?
- haystack是django的開源搜索框架,該框架支持Solr,Elasticsearch,Whoosh, Xapian搜索引擎,不用更
改代碼,直接切換引擎,減少代碼量。 - 搜索引擎使用Whoosh,這是一個由純Python實現的全文搜索引擎,
沒有二進制文件等,比較小巧,配置比較簡單,當然性能自然略低。 - 中文分詞Jieba,由於Whoosh自帶的是英文分詞,
對中文的分詞支持不是太好,故用jieba替換whoosh的分詞組件。
2. 什麼是jieba?
很多的搜索引擎對中的支持不友好,jieba作爲一箇中文分詞器就是加強對中文的檢索功能
3. Whoosh是什麼
- Python的全文搜索庫,Whoosh是索引文本及搜索文本的類和函數庫
- Whoosh 自帶的是英文分詞,對中文分詞支持不太好,使用 jieba 替換 whoosh 的分詞組件。
haystack配置使用(前後端分離)
1. 安裝需要的包
pip3 install django-haystack
pip3 install whoosh
pip3 install jieba
2. 在setting.py中配置
'''註冊app '''
INSTALLED_APPS = [
'django.contrib.admin',
'django.contrib.auth',
'django.contrib.contenttypes',
'django.contrib.sessions',
'django.contrib.messages',
'django.contrib.staticfiles',
# haystack要放在應用的上面
'haystack',
'myapp', # 這個jsapp是自己創建的app
]
'''配置haystack '''
# 全文檢索框架配置
HAYSTACK_CONNECTIONS = {
'default': {
# 指定whoosh引擎
'ENGINE': 'haystack.backends.whoosh_backend.WhooshEngine',
# 'ENGINE': 'myapp.whoosh_cn_backend.WhooshEngine', # whoosh_cn_backend是haystack的whoosh_backend.py改名的文件爲了使用jieba分詞
# 索引文件路徑
'PATH': os.path.join(BASE_DIR, 'whoosh_index'),
}
}
# 添加此項,當數據庫改變時,會自動更新索引,非常方便
HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor'
3. 定義數據庫
from django.db import models
# Create your models here.
class UserInfo(models.Model):
name = models.CharField(max_length=254)
age = models.IntegerField()
class ArticlePost(models.Model):
author = models.ForeignKey(UserInfo,on_delete=models.CASCADE)
title = models.CharField(max_length=200)
desc = models.SlugField(max_length=500)
body = models.TextField()
索引文件生成
1. 在子應用下創建索引文件
在子應用的目錄下,創建一個名爲 myapp/search_indexes.py 的文件
from haystack import indexes
from .models import ArticlePost
# 修改此處,類名爲模型類的名稱+Index,比如模型類爲GoodsInfo,則這裏類名爲GoodsInfoIndex(其實可以隨便寫)
class ArticlePostIndex(indexes.SearchIndex, indexes.Indexable):
# text爲索引字段
# document = True,這代表haystack和搜索引擎將使用此字段的內容作爲索引進行檢索
# use_template=True 指定根據表中的那些字段建立索引文件的說明放在一個文件中
text = indexes.CharField(document=True, use_template=True)
# 對那張表進行查詢
def get_model(self): # 重載get_model方法,必須要有!
# 返回這個model
return ArticlePost
# 建立索引的數據
def index_queryset(self, using=None):
# 這個方法返回什麼內容,最終就會對那些方法建立索引,這裏是對所有字段建立索引
return self.get_model().objects.all()
2.指定索引模板文件
創建文件路徑命名必須這個規範:templates/search/indexes/應用名稱/模型類名稱_text.txt
如:
templates/search/indexes/myapp/articlepost_text.txt
{{ object.title }}
{{ object.author.name }}
{{ object.body }}
3.使用命令創建索引
python manage.py rebuild_index # 建立索引文件
替換成jieba分詞
1.將haystack源碼複製到項目中並改名
'''1.複製源碼中文件並改名 '''
將 /Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/
site-packages/haystack/backends/whoosh_backend.py文件複製到項目中
並將 whoosh_backend.py改名爲 whoosh_cn_backend.py 放在APP中如:
myapp\whoosh_cn_backend.py
'''2.修改源碼中文件'''
# 在全局引入的最後一行加入jieba分詞器
from jieba.analyse import ChineseAnalyzer
# 修改爲中文分詞法
查找
analyzer=StemmingAnalyzer()
改爲
analyzer=ChineseAnalyzer()
索引文件使用
1. 編寫視圖
from django.shortcuts import render
# Create your views here.
import json
from django.conf import settings
from django.core.paginator import InvalidPage, Paginator
from django.http import Http404, HttpResponse,JsonResponse
from haystack.forms import ModelSearchForm
from haystack.query import EmptySearchQuerySet
RESULTS_PER_PAGE = getattr(settings, 'HAYSTACK_SEARCH_RESULTS_PER_PAGE', 20)
def basic_search(request, load_all=True, form_class=ModelSearchForm, searchqueryset=None, extra_context=None, results_per_page=None):
query = ''
results = EmptySearchQuerySet()
if request.GET.get('q'):
form = form_class(request.GET, searchqueryset=searchqueryset, load_all=load_all)
if form.is_valid():
query = form.cleaned_data['q']
results = form.search()
else:
form = form_class(searchqueryset=searchqueryset, load_all=load_all)
paginator = Paginator(results, results_per_page or RESULTS_PER_PAGE)
try:
page = paginator.page(int(request.GET.get('page', 1)))
except InvalidPage:
result = {"code": 404, "msg": 'No file found!', "data": []}
return HttpResponse(json.dumps(result), content_type="application/json")
context = {
'form': form,
'page': page,
'paginator': paginator,
'query': query,
'suggestion': None,
}
if results.query.backend.include_spelling:
context['suggestion'] = form.get_suggestion()
if extra_context:
context.update(extra_context)
jsondata = []
print(len(page.object_list))
for result in page.object_list:
data = {
'pk': result.object.pk,
'title': result.object.title,
'content': result.object.body,
}
jsondata.append(data)
result = {"code": 200, "msg": 'Search successfully!', "data": jsondata}
return JsonResponse(result, content_type="application/json")