基本概述
Solr是一個開源搜索平臺,用於構建搜索應用程序。 它建立在Lucene(全文搜索引擎)之上。Solr是企業級的,快速的,高度可擴展的。
爲了在CNET網絡的公司網站上添加搜索功能,Yonik Seely於2004年創建了Solr。並在2006年1月,它成爲Apache軟件基金會下的一個開源項目。並於2016年發佈最新版本Solr 6.0,支持並行SQL查詢的執行。
Solr可以和Hadoop一起使用。由於Hadoop處理大量數據,Solr幫助我們從這麼大的源中找到所需的信息。不僅限於搜索,Solr也可以用於存儲目的。像其他NoSQL數據庫一樣,它是一種非關係數據存儲和處理技術。
總之,Solr是一個可擴展的,可部署,搜索/存儲引擎,優化搜索大量以文本爲中心的數據。
solr安裝
注意:需要提前配置好linux下的java環境
(1)上傳壓縮包至linux,並解壓(軟件\solr\solr-7.5.0.tgz)
(2)進入解壓目錄,進入bin目錄,啓動:./solr start -force //root用戶啓動需要增加 -force(force是強制的意思,默認root用戶啓動不安全,所以root用戶需要加上force)
(3)訪問:Solr服務的默認服務端口是8983,此刻訪問你的 http://IP:8983 , 應該可以看到Solr的控制面板了。
訪問 8983端口 連接失敗,原因可能有兩個:
- Solr 服務沒有啓動,啓動即可,可以通過命令查看Solr的當前狀態
cd /usr/local/solr/bin
./solr status - 防火牆程序的攔截,把防火牆關閉:
service iptables stop
(4)創建core:core是solr的特有概念,每個core是一個查詢數據、索引等的集合體,你可以把它想象成一個獨立數據庫,我們創建一個新core:名字[core1]
cd /usr/solr-7.5.0/bin
./solr create -c core1 -force // -c 指定要創建的Core名稱 root用戶啓動需要增加 -force
中文分析器IK Analyzer安裝
IK Analyzer 是一個開源的,基於 java 語言開發的輕量級的中文分詞工具包。從 2006年 12 月推出 1.0 版開始, IKAnalyzer 已經推出了 4 個大版本。最初,它是以開源項目Luence 爲應用主體的,結合詞典分詞和文法分析算法的中文分詞組件。從 3.0 版本開始,IK 發展爲面向 Java 的公用分詞組件,獨立 Lucene 項目,同時提供了對 Lucene 的默認優化實現。在 2012 版本中,IK 實現了簡單的分詞歧義排除算法,標誌着 IK 分詞器從單純的詞典分詞向模擬語義分詞衍化。
1、 上傳ik jar包到/usr/solr-7.5.0/server/solr-webapp/webapp/WEB-INF/lib目錄中
2、 修改/usr/solr-7.5.0/server/solr/core1/conf/managed-schema,添加fieldType內容,然後重啓solr:./solr restart -force
3、 測試分詞:登錄Solr管理控制檯,選擇core1,點擊Analyse 進入分詞界面,選擇在managed-schema配置好的file_type,name是text_ik的
<fieldType name="text_ik" class="solr.TextField">
<analyzer type="index" useSmart="false" class="org.wltea.analyzer.lucene.IKAnalyzer"/>
<analyzer type="query" useSmart="true" class="org.wltea.analyzer.lucene.IKAnalyzer"/>
</fieldType>
配置域基本域、複製域、動態域這三個域根據需求配置
域相當於數據庫的表字段,用戶存放數據,因此用戶根據業務需要去定義相關的Field(域),一般來說,每一種對應着一種數據,用戶對同一種數據進行相同的操作。
域的常用屬性:
• name:指定域的名稱
• type:指定域的類型
• indexed:是否索引
• stored:是否存儲
• required:是否必須
• multiValued:是否多值
傳統的關係型數據庫中有很多表,並不是每張表都需要做全文檢索,有些表要精確查詢,比如說用戶表。solr就是哪些表需要全文檢索,就往裏面配置;表裏的字段也不是全都需要全文檢索,比如說image字段
商品表
基本域:單列查詢
<field name="item_goodsid" type="plong" indexed="true" stored="true"/>
<field name="item_title" type="text_ik" indexed="true" stored="true"/>
<field name="item_price" type="pdouble" indexed="true" stored="true"/>
<field name="item_image" type="string" indexed="false" stored="true" />
<field name="item_category" type="string" indexed="true" stored="true" />
<field name="item_seller" type="text_ik" indexed="true" stored="true" />
<field name="item_brand" type="string" indexed="true" stored="true" />
<field name="item_updatetime" type="pdate" indexed="true" stored="true" />
複製域:複製域常用於多域搜索,如:電商項目中搜索商品,既要在名字域中搜索也要在描述域中搜索
<field name="item_keywords" type="text_ik" indexed="true" stored="false" multiValued="true"/>
<copyField source="item_title" dest="item_keywords"/>
<copyField source="item_category" dest="item_keywords"/>
<copyField source="item_seller" dest="item_keywords"/>
<copyField source="item_brand" dest="item_keywords"/>
動態域:當我們需要動態擴充字段時,就需要使用動態域。規格的值是不確定的,所以我們需要使用動態域來實現。
<dynamicField name="item_spec_*" type="string" indexed="true" stored="true" />
修改/usr/solr-7.5.0/server/solr/core1/conf/managed-schema,設置業務系統 Field
刪除多餘的field,保留id,version,_text_這三個field
保存退出,重啓solr:./solr restart -force
Spring Data Solr
Spring Data Solr就是爲了方便Solr的開發所研製的一個框架,其底層是對SolrJ(官方API)的封裝。
創建maven jar 工程springDataSolrDemo
pom依賴
<dependencies>
<dependency>
<groupId>org.springframework.data</groupId>
<artifactId>spring-data-solr</artifactId>
<version>1.5.5.RELEASE</version>
</dependency>
<dependency>
<groupId>org.springframework</groupId>
<artifactId>spring-test</artifactId>
<version>4.2.4.RELEASE</version>
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.12</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<version>3.7.0</version>
<configuration>
<source>1.8</source>
<target>1.8</target>
<encoding>UTF-8</encoding>
</configuration>
</plugin>
</plugins>
</build>
配置spring-solr.xml
<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xmlns:solr="http://www.springframework.org/schema/data/solr"
xsi:schemaLocation="http://www.springframework.org/schema/data/solr
http://www.springframework.org/schema/data/solr/spring-solr.xsd
http://www.springframework.org/schema/beans
http://www.springframework.org/schema/beans/spring-beans.xsd">
<!-- solr服務器地址 -->
<solr:solr-server id="solrServer" url="http://192.168.106.102:8983/solr/core1" />
<!-- solr模板,使用solr模板可對索引庫進行CRUD操作 -->
<bean id="solrTemplate" class="org.springframework.data.solr.core.SolrTemplate">
<constructor-arg ref="solrServer" />
</bean>
</beans>
創建包,將上述數據表所對應的類添加進去
屬性使用@Field註解標識 。 如果屬性與solr配置文件定義的域名稱不一致,需要在註解中指定域名稱。
public class TbItem implements Serializable {
@Field
private Long id;//與solr中name一致,不用在註解中指定名稱
@Field("item_title")
private String title;
private String sellPoint;
@Field("item_price")
private BigDecimal price;
private Integer stockCount;
private Integer num;
private String barcode;
@Field("item_image")
private String image;
private Long categoryid;
private String status;
private Date createTime;
@Field("item_updatetime")
private Date updateTime;
private String itemSn;
private BigDecimal costPirce;
private BigDecimal marketPrice;
private String isDefault;
@Field("item_goodsid")
private Long goodsId;
private String sellerId;
private String cartThumbnail;
@Field("item_category")
private String category;
@Field("item_brand")
private String brand;
private String spec;
@Field("item_seller")
private String seller;
private static final long serialVersionUID = 1L;
public Long getId() {
return id;
}
public void setId(Long id) {
this.id = id;
}
public String getTitle() {
return title;
}
public void setTitle(String title) {
this.title = title == null ? null : title.trim();
}
public String getSellPoint() {
return sellPoint;
}
public void setSellPoint(String sellPoint) {
this.sellPoint = sellPoint == null ? null : sellPoint.trim();
}
public BigDecimal getPrice() {
return price;
}
public void setPrice(BigDecimal price) {
this.price = price;
}
public Integer getStockCount() {
return stockCount;
}
public void setStockCount(Integer stockCount) {
this.stockCount = stockCount;
}
public Integer getNum() {
return num;
}
public void setNum(Integer num) {
this.num = num;
}
public String getBarcode() {
return barcode;
}
public void setBarcode(String barcode) {
this.barcode = barcode == null ? null : barcode.trim();
}
public String getImage() {
return image;
}
public void setImage(String image) {
this.image = image == null ? null : image.trim();
}
public Long getCategoryid() {
return categoryid;
}
public void setCategoryid(Long categoryid) {
this.categoryid = categoryid;
}
public String getStatus() {
return status;
}
public void setStatus(String status) {
this.status = status == null ? null : status.trim();
}
public Date getCreateTime() {
return createTime;
}
public void setCreateTime(Date createTime) {
this.createTime = createTime;
}
public Date getUpdateTime() {
return updateTime;
}
public void setUpdateTime(Date updateTime) {
this.updateTime = updateTime;
}
public String getItemSn() {
return itemSn;
}
public void setItemSn(String itemSn) {
this.itemSn = itemSn == null ? null : itemSn.trim();
}
public BigDecimal getCostPirce() {
return costPirce;
}
public void setCostPirce(BigDecimal costPirce) {
this.costPirce = costPirce;
}
public BigDecimal getMarketPrice() {
return marketPrice;
}
public void setMarketPrice(BigDecimal marketPrice) {
this.marketPrice = marketPrice;
}
public String getIsDefault() {
return isDefault;
}
public void setIsDefault(String isDefault) {
this.isDefault = isDefault == null ? null : isDefault.trim();
}
public Long getGoodsId() {
return goodsId;
}
public void setGoodsId(Long goodsId) {
this.goodsId = goodsId;
}
public String getSellerId() {
return sellerId;
}
public void setSellerId(String sellerId) {
this.sellerId = sellerId == null ? null : sellerId.trim();
}
public String getCartThumbnail() {
return cartThumbnail;
}
public void setCartThumbnail(String cartThumbnail) {
this.cartThumbnail = cartThumbnail == null ? null : cartThumbnail.trim();
}
public String getCategory() {
return category;
}
public void setCategory(String category) {
this.category = category == null ? null : category.trim();
}
public String getBrand() {
return brand;
}
public void setBrand(String brand) {
this.brand = brand == null ? null : brand.trim();
}
public String getSpec() {
return spec;
}
public void setSpec(String spec) {
this.spec = spec == null ? null : spec.trim();
}
public String getSeller() {
return seller;
}
public void setSeller(String seller) {
this.seller = seller == null ? null : seller.trim();
}
}
創建測試類TestTemplate.java
@RunWith(SpringJUnit4ClassRunner.class)
@ContextConfiguration(locations = "classpath:spring-solr.xml")
public class TestTemplate {
@Autowired
private SolrTemplate solrTemplate;
@Test
public void testAdd() {
TbItem item = new TbItem();
item.setId(3L);
item.setBrand("小米爲");
item.setCategory("手機pluse");
item.setGoodsId(1L);
item.setSeller("小米1號專賣店");
item.setTitle("紅米Mate9");
item.setPrice(new BigDecimal(2200));
solrTemplate.saveBean(item);
solrTemplate.commit();
}
}
運行測試類後,我們solr的後臺管理界面查詢全部,顯示出我們剛剛添加的信息