文章目錄
solr
Solr是一個高性能,基於Lucene的全文搜索服務器。同時對其進行了擴展,提供了比Lucene更爲豐富的查詢語言,同時實現了可配置、可擴展,並對查詢性能進行了優化,並且提供了一個完善的功能管理界面,是一款非常優秀的全文搜索引擎。
lucene
Lucene是apache jakarta項目的一個子項目,是一個開放源代碼的全文檢索引擎開發工具包,但它不是一個完整的全文檢索引擎,而是一個全文檢索引擎的架構,提供了完整的查詢引擎和索引引擎,部分文本分析引擎。Lucene的目的是爲軟件開發人員提供一個簡單易用的工具包,以方便的在目標系統中實現全文檢索的功能,或者是以此爲基礎建立起完整的全文檢索引擎。
倒排索引
我們一般情況下,先找到文檔,再在文檔中找出包含的詞;
倒排索引則是這個過程反過來,用詞,來找出它出現的文檔.
實際舉例
文檔編號 | 文檔內容 |
---|---|
1 | 全文檢索引擎工具包 |
2 | 全文檢索引擎的架構 |
3 | 查詢引擎和索引引擎 |
分詞結果
文檔編號 | 分詞結果集 |
---|---|
1 | {全文,檢索,引擎,工具,包} |
2 | {全文,檢索,引擎,的,架構} |
3 | {查詢,引擎,和,索引,引擎} |
倒排索引
編號 | 單詞 | 文檔編號列表 |
---|---|---|
1 | 全文 | 1,2 |
2 | 檢索 | 1,2 |
3 | 引擎 | 1,2,3 |
4 | 工具 | 1 |
5 | 包 | 1 |
6 | 架構 | 2 |
7 | 查詢 | 3 |
8 | 索引 | 3 |
lucene API 介紹
創建索引
新建 maven 項目,添加依賴
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>cn.tedu</groupId>
<artifactId>lucene-demo</artifactId>
<version>0.0.1-SNAPSHOT</version>
<name>luceme-demo</name>
<dependencies>
<dependency>
<groupId>org.apache.lucene</groupId>
<artifactId>lucene-core</artifactId>
<version>8.1.1</version>
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.12</version>
</dependency>
<dependency>
<groupId>org.apache.lucene</groupId>
<artifactId>lucene-analyzers-smartcn</artifactId>
<version>8.1.1</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<version>3.8.0</version>
<configuration>
<source>1.8</source>
<target>1.8</target>
</configuration>
</plugin>
</plugins>
</build>
</project>
創建測試類,添加以下代碼
package test;
import java.io.File;
import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field.Store;
import org.apache.lucene.document.LongPoint;
import org.apache.lucene.document.StoredField;
import org.apache.lucene.document.TextField;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.store.FSDirectory;
import org.junit.Test;
public class Test1 {
String[] a = {
"3, 華爲 - 華爲電腦, 爆款",
"4, 華爲手機, 旗艦",
"5, 聯想 - Thinkpad, 商務本",
"6, 聯想手機, 自拍神器"
};
@Test
public void test1() throws Exception {
//存儲索引文件的路徑
File path = new File("d:/abc/");
FSDirectory d = FSDirectory.open(path.toPath());
//lucene提供的中文分詞器
SmartChineseAnalyzer analyzer = new SmartChineseAnalyzer();
//通過配置對象來指定分詞器
IndexWriterConfig cfg = new IndexWriterConfig(analyzer);
//索引輸出工具
IndexWriter writer = new IndexWriter(d, cfg);
for (int i = 0; i < a.length; i++) {
String[] strs = a[i].split(",");
//創建文檔,文檔中包含的是要索引的字段
Document doc = new Document();
doc.add(new LongPoint("id", Long.parseLong(strs[0])));
doc.add(new StoredField("id", Long.parseLong(strs[0])));
doc.add(new TextField("title", strs[1], Store.YES));
doc.add(new TextField("sellPoint", strs[2], Store.YES));
//將文檔寫入磁盤索引文件
writer.addDocument(doc);
}
writer.close();
}
}
查看索引
運行 luke
運行lucene 8.1.1中的luke應用程序,指定索引的存放目錄
查看文檔
指定分詞器,並測試分詞
查詢測試
- id的查詢
從索引查詢
在測試類中添加 test2() 測試方法
package test;
import java.io.File;
import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field.Store;
import org.apache.lucene.document.LongPoint;
import org.apache.lucene.document.StoredField;
import org.apache.lucene.document.TextField;
import org.apache.lucene.index.DirectoryReader;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.index.Term;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TermQuery;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.store.FSDirectory;
import org.junit.Test;
public class Test1 {
String[] a = {
"3, 華爲 - 華爲電腦, 爆款",
"4, 華爲手機, 旗艦",
"5, 聯想 - Thinkpad, 商務本",
"6, 聯想手機, 自拍神器"
};
@Test
public void test1() throws Exception {
//存儲索引文件的路徑
File path = new File("d:/abc/");
FSDirectory d = FSDirectory.open(path.toPath());
//lucene提供的中文分詞器
SmartChineseAnalyzer analyzer = new SmartChineseAnalyzer();
//通過配置對象來指定分詞器
IndexWriterConfig cfg = new IndexWriterConfig(analyzer);
//索引輸出工具
IndexWriter writer = new IndexWriter(d, cfg);
for (int i = 0; i < a.length; i++) {
String[] strs = a[i].split(",");
//創建文檔,文檔中包含的是要索引的字段
Document doc = new Document();
doc.add(new LongPoint("id", Long.parseLong(strs[0])));
doc.add(new StoredField("id", Long.parseLong(strs[0])));
doc.add(new TextField("title", strs[1], Store.YES));
doc.add(new TextField("sellPoint", strs[2], Store.YES));
//將文檔寫入磁盤索引文件
writer.addDocument(doc);
}
writer.close();
}
@Test
public void test2() throws Exception {
//索引數據的保存目錄
File path = new File("d:/abc");
FSDirectory d = FSDirectory.open(path.toPath());
//創建搜索工具對象
DirectoryReader reader = DirectoryReader.open(d);
IndexSearcher searcher = new IndexSearcher(reader);
//關鍵詞搜索器,我們搜索 "title:華爲"
TermQuery q = new TermQuery(new Term("title", "華爲"));
//執行查詢,並返回前20條數據
TopDocs docs = searcher.search(q, 20);
//遍歷查詢到的結果文檔並顯示
for (ScoreDoc scoreDoc : docs.scoreDocs) {
Document doc = searcher.doc(scoreDoc.doc);
System.out.println(doc.get("id"));
System.out.println(doc.get("title"));
System.out.println(doc.get("sellPoint"));
System.out.println("--------------");
}
}
}
solr 安裝
下面我們來安裝 solr 服務器
把 solr-8.1.1.tgz 傳到服務器
先切換到 /usr/local
目錄
cd /usr/local
把文件傳到 /usr/local
目錄下
解壓 solr
cd /usr/local
# 上傳 solr-8.1.1.tgz 到 /usr/local 目錄
# 並解壓縮
tar -xzf solr-8.1.1.tgz
啓動 solr
cd /usr/local/solr-8.1.1
# 不建議使用管理員啓動 solr,加 -force 強制啓動
bin/solr start -force
# 開放 8983 端口
firewall-cmd --zone=public --add-port=8983/tcp --permanent
firewall-cmd --reload
瀏覽器訪問 solr 控制檯
http://192.168.64.170:8983
- 注意修改地址
創建 core
數據庫中 pd_item 表中的商品數據, 在 solr 中保存索引數據, 一類數據, 在 solr 中創建一個 core 保存索引數據
創建一個名爲 pd 的 core, 首先要準備以下目錄結構:
# solr目錄/server/solr/
# pd/
# conf/
# data/
cd /usr/local/solr-8.1.1
mkdir server/solr/pd
mkdir server/solr/pd/conf
mkdir server/solr/pd/data
conf 目錄是 core 的配置目錄, 存儲一組配置文件, 我們以默認配置爲基礎, 後續逐步修改
複製默認配置
cd /usr/local/solr-8.1.1
cp -r server/solr/configsets/_default/conf server/solr/pd
創建名爲 pd 的 core
中文分詞測試
填入以下文本, 觀察分詞結果:
Solr是一個高性能,採用Java5開發,基於Lucene的全文搜索服務器。同時對其進行了擴展,提供了比Lucene更爲豐富的查詢語言,同時實現了可配置、可擴展並對查詢性能進行了優化,並且提供了一個完善的功能管理界面,是一款非常優秀的全文搜索引擎。
中文分詞工具 - ik-analyzer
https://github.com/magese/ik-analyzer-solr
-
下載 ik-analyzer 分詞 jar 文件,傳到
solr目錄/server/solr-webapp/webapp/WEB-INF/lib
- 爲了後續操作方便,我們把後面用到的jar文件一同傳到服務器,包括四個文件:
- ik-analyzer-8.1.0.jar
- mysql-connector-java-5.1.46.jar
- solr-dataimporthandler-8.1.1.jar
- solr-dataimporthandler-extras-8.1.1.jar
- 爲了後續操作方便,我們把後面用到的jar文件一同傳到服務器,包括四個文件:
-
複製6個文件到
solr目錄/server/solr-webapp/webapp/WEB-INF/classes
# classes目錄如果不存在,需要創建該目錄
mkdir /usr/local/solr-8.1.1/server/solr-webapp/webapp/WEB-INF/classes
這6個文件複製到 classes 目錄下
resources/
IKAnalyzer.cfg.xml
ext.dic
stopword.dic
stopwords.txt
ik.conf
dynamicdic.txt
- 配置 managed-schema
修改 solr目錄/server/solr/pd/conf/managed-schema
,添加 ik-analyzer 分詞器
<!-- ik分詞器 -->
<fieldType name="text_ik" class="solr.TextField">
<analyzer type="index">
<tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="false" conf="ik.conf"/>
<filter class="solr.LowerCaseFilterFactory"/>
</analyzer>
<analyzer type="query">
<tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true" conf="ik.conf"/>
<filter class="solr.LowerCaseFilterFactory"/>
</analyzer>
</fieldType>
- 重啓 solr 服務
cd /usr/local/solr-8.1.1
bin/solr restart -force
使用 ik-analyzer 對中文進行分詞測試
填入以下文本, 選擇使用 text_ik
分詞器, 觀察分詞結果:
Solr是一個高性能,採用Java5開發,基於Lucene的全文搜索服務器。同時對其進行了擴展,提供了比Lucene更爲豐富的查詢語言,同時實現了可配置、可擴展並對查詢性能進行了優化,並且提供了一個完善的功能管理界面,是一款非常優秀的全文搜索引擎。
設置停止詞
上傳停止詞配置文件到 solr目錄/server/solr-webapp/webapp/WEB-INF/classes
stopword.dic
stopwords.txt
- 重啓服務,觀察分詞結果中,停止詞被忽略
bin/solr restart -force
準備 mysql 數據庫數據
- 用 sqlyog 執行 pd.sql
- 授予 root 用戶 跨網絡訪問權限
注意: 此處設置的是遠程登錄的 root 用戶,本機登錄的 root 用戶密碼不變
grant all on *.* to 'root'@'%' identified by 'root';
隨機修改30%的商品,讓商品下架,以便後面做查詢測試
UPDATE pd_item SET STATUS=0 WHERE RAND()<0.3
從 mysql 導入商品數據
設置字段
- title
text_ik
- sellPoint
text_ik
- price
plong
- barcode
string
- image
string
- cid
plong
- status
pint
- created
pdate
- updated
pdate
Copy Field 副本字段
查詢時需要按字段查詢,例如 title:電腦
, 可以將多個字段的值合併到一個字段進行查詢,默認查詢字段 _text_
將 title 和 sellPoint 複製到 _text_
字段
Data Import Handler 配置
- 添加 jar 文件
Data Import Handler 的 jar 文件存放在 solr目錄/dist
目錄下
solr-dataimporthandler-8.1.1.jar
solr-dataimporthandler-extras-8.1.1.jar
複製這兩個文件和 mysql 的 jar 文件到 solr目錄/server/solr-webapp/webapp/WEB-INF/lib
-
dih-config.xml
修改 mysql 的 ip 地址,傳到
solr目錄/server/solr/pd/conf
-
solrconfig.xml 中添加 DIH 配置
<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
<lst name="defaults">
<str name="config">dih-config.xml</str>
</lst>
</requestHandler>
- 重啓 solr
cd /usr/local/solr-8.1.1
bin/solr restart -force
導入數據
重啓 solr 後導入數據,確認導入的文檔數量爲 3160
查詢測試
在複製字段 _text_
中查找 電腦
在標題中查找 電腦
用雙引號查找完整詞 "筆記本"
搜索 +lenovo +電腦
搜索 +lenovo -電腦
統計 cid
價格範圍
在 Raw Query Parameters
輸入框中填入以下內容:
facet.range=price&facet.range.start=0&facet.range.end=10000&facet.range.gap=2000
多字段統計
在 Raw Query Parameters
輸入框中填入以下內容:
facet.pivot=cid,status
拼多商城實現商品的全文檢索
修改 hosts 文件, 添加 www.pd.com 映射
127.0.0.1 www.pd.com
eclipse 導入 pd-web 項目
修改數據庫連接配置
application.yml 配置文件中,修改連接配置
spring:
datasource:
type: com.alibaba.druid.pool.DruidDataSource
driver-class-name: com.mysql.jdbc.Driver
url: jdbc:mysql://127.0.0.1:3306/pd_store?useUnicode=true&characterEncoding=UTF-8
username: root
password: root
啓動項目, 訪問 www.pd.com
商品檢索調用分析
pom.xml 添加 solr 和 lombok 依賴
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-solr</artifactId>
</dependency>
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
</dependency>
application.yml 添加 solr 連接信息
spring:
data:
solr: #注意修改ip地址
host: http://192.168.64.170:8983/solr/pd
Item 實體類
package com.pd.pojo;
import java.io.Serializable;
import org.apache.solr.client.solrj.beans.Field;
import lombok.Data;
@Data
public class Item implements Serializable {
private static final long serialVersionUID = 1L;
@Field("id")
private String id;
@Field("title")
private String title;
@Field("sellPoint")
private String sellPoint;
@Field("price")
private Long price;
@Field("image")
private String image;
}
SearchService 業務接口
package com.pd.service;
import java.util.List;
import com.pd.pojo.Item;
public interface SearchService {
List<Item> findItemByKey(String key) throws Exception;
}
SearchServiceImpl 業務實現類
package com.pd.service.impl;
import java.util.List;
import org.apache.solr.client.solrj.SolrClient;
import org.apache.solr.client.solrj.SolrQuery;
import org.apache.solr.client.solrj.response.QueryResponse;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Configuration;
import org.springframework.stereotype.Service;
import com.pd.pojo.Item;
import com.pd.service.SearchService;
@Service
public class SearchServiceImpl implements SearchService {
/*
* SolrClient實例是在 SolrAutoConfiguration 類中創建的
*
* SolrAutoConfiguration添加了@Configuration註解,
* 是spring boot自動配置類,其中的solrClient()方法中創建了SolrClient實例
*/
@Autowired
private SolrClient solrClient;
@Override
public List<Item> findItemByKey(String key) throws Exception {
//封裝查詢的關鍵詞
//也可以封裝其他的查詢參數,比如指定字段,facet設置等
SolrQuery query = new SolrQuery(key);
//查詢前多少條數據
query.setStart(0);
query.setRows(20);
//執行查詢並得到查詢結果
QueryResponse qr = solrClient.query(query);
//把查詢結果轉成一組商品實例
List<Item> beans = qr.getBeans(Item.class);
return beans;
}
}
SearchController 控制器
package com.pd.controller;
import java.util.List;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Controller;
import org.springframework.ui.Model;
import org.springframework.web.bind.annotation.GetMapping;
import com.pd.pojo.Item;
import com.pd.service.SearchService;
@Controller
public class SearchController {
@Autowired
private SearchService searchService;
@GetMapping("/search/toSearch.html")
public String search(String key, Model model) throws Exception {
List<Item> itemList = searchService.findItemByKey(key);
model.addAttribute("list", itemList);
return "/search.jsp";
}
}