書接上文，學習了JPA形式的使用，咱們今天來看看進階版ES原生API的使用有何不同
進階版ES原生API的使用
1. 原理概述
如果有小夥伴去跟過ElasticsearchRepository所封裝操作方法的源碼的話，會發現底層其實是通過ElasticsearchRestTemplate實現的，再繼續跟下去，實質是通過RestHighLevelClient的API來操作ES
由此我們引出了今天的主角:RestHighLevelClient和ElasticsearchRestTemplate。他們分別是ES的默認客戶端和對客戶端一些公共條件構造封裝的模板類。我們知道越底層的代碼自由度越高，由於上篇中所封裝的Repository不能滿足所有場景，所以對於特殊場景的實現需要直接去操作底層的API來實現，這也是我們學習下篇的原因之一。
2. 學習目標
- Elasticsearch的DSL語法掌握
- 熟悉spring boot中的條件構造類,能達到基礎DSL語法效果
- 嘗試聚合索引實現
3. Start正文
a.環境搭建及相關配置信息
同上篇一致，可參看SpringBoot中使用Elasticsearch入門教程（上）
b.Elasticsearch的DSL語法學習
如果已學習過可跳過此節。
如果還未學習過，可先學習DSL語法，再結合本文案例理解更深。
由於ES官方對DSL語法已有很詳細的文檔，此處直接貼上官網鏈接：
英文版，可選擇不同ES版本：https://www.elastic.co/guide/en/elasticsearch/reference/7.8/query-dsl.html
中文版，基於ES 2.x 版本，有些內容可能已經過時：https://www.elastic.co/guide/cn/elasticsearch/guide/current/search-in-depth.html
c.代碼示例
- 創建Document對象
/**
* <h3>spring-data-elasticsearch-demo</h3>
* <p></p>
*
* @author yingKang
* @date 2020年6月27日
*/
@Data
@ToString
@Builder
@NoArgsConstructor
@AllArgsConstructor
@Document(indexName = "demo-use-log2")
public class UseLogTwoDO {
@Id
private String id;
private Integer sortNo;
@Field(type = FieldType.Keyword)
private String result;
private Date createTime;
}
- demo測試基礎DSL語法
首先我們要注入RestHighLevelClient和ElasticsearchRestTemplate類
/**
* {@link ElasticsearchRestTemplate} 本質是基於 {@link RestHighLevelClient} 進行封裝的一個template，
* 讓我們在使用highLevelClient時減少了一些公共條件構造的冗餘代碼，操作ES時代碼更加簡潔明瞭
*/
@Autowired
private ElasticsearchRestTemplate elasticsearchRestTemplate;
/**
* Java高級Rest客戶端是spring提供的默認客戶端，低級客戶端已被標記過時
*/
@Autowired
private RestHighLevelClient highLevelClient;
- 創建索引實現
示例testCreateIndex1()中，通過ElasticsearchRestTemplate來創建了一個IndexOperations（是從4.0版本開始單獨封裝對Index的操作類）對象，整體代碼簡潔；而在testCreateIndex2()中，則需要顯示地指定IndexName和setting設置。兩者實現的功能一致，但在代碼整潔度上卻相差較多。
/**
* template創建索引
* 通過參看create源碼，可以看到底層對{@link RestHighLevelClient}的調用，
* 其實同{@link EsSecondDemoTest#testCreateIndex2()}方法一致
*
*/
@Test
void testCreateIndex1() {
IndexOperations indexOperations = elasticsearchRestTemplate.indexOps(UseLogTwoDO.class);
if (!indexOperations.exists()) {
indexOperations.create();
System.out.println("Create successfully!");
}else {
System.out.println("Index has been created!");
}
}
/**
* client創建索引
*/
@Test
void testCreateIndex2() {
try {
String indexName = "demo-use-log2";
CreateIndexRequest createIndexRequest = new CreateIndexRequest(indexName);
createIndexRequest.settings(getSettings());
if (!highLevelClient.indices().exists(new GetIndexRequest(indexName), RequestOptions.DEFAULT)) {
CreateIndexResponse createIndexResponse = highLevelClient.indices().create(createIndexRequest, RequestOptions.DEFAULT);
if (createIndexResponse.isAcknowledged()) {
System.out.println("Create successfully!");
}
}else {
System.out.println("Index has been created!");
}
} catch (IOException e) {
e.printStackTrace();
}
}
private static XContentBuilder getSettings() throws IOException {
XContentBuilder builder = XContentFactory.jsonBuilder();
builder.startObject();
builder.field("index").startObject()
.field("number_of_shards", 1)
.field("number_of_replicas", 0)
.field("refresh_interval", "30s").endObject();
builder.endObject();
return builder;
}
- 新增Document
/**
* 批量添加
*/
@Test
void testAdd() {
List<IndexQuery> list = new ArrayList<>(100);
for (int i = 1; i <= 100; i++) {
IndexQuery indexQuery = new IndexQuery();
UseLogTwoDO useLogDO = UseLogTwoDO.builder().id(String.valueOf(i)).sortNo(i).result(String.format("我是%d號", i)).createTime(new Date()).build();
indexQuery.setId(useLogDO.getId());
indexQuery.setObject(useLogDO);
list.add(indexQuery);
}
List<String> strings = elasticsearchRestTemplate.bulkIndex(list, elasticsearchRestTemplate.getIndexCoordinatesFor(UseLogTwoDO.class));
System.out.println(strings);
}
- 更新Document
在上篇中，我們所實現的更新操作實質是通過覆蓋整個Document來完成了，針對我們不需要修改的字段，還需重新賦相同的值，這在實際使用過程中，顯然是非人化的。但其實RestHighLevelClient有提供針對Document中單一屬性進行修改的方法，要達到這個效果，得使用painless語言來寫腳本實現。如示例中的ctx._source.result=params.result表示將result這個屬性重新賦值爲map中"result"的value，而不會影響其他屬性的值。通過ctx._source.xxx可訪問Document的xxx屬性，若需更新多個屬性值，賦值語句吉間使用;連接，painless語言還可實現判斷式等複雜腳本，同學們可自行去查閱資料，此處就不再擴展了。
/**
* 更新
*/
@Test
void testUpdate() {
Map<String, Object> map = new HashMap<>();
Map<String, Object> mapDoc = new HashMap<>();
mapDoc.put("id", "5");
map.put("result", "我是更新後的5號");
//使用painless語言和前面的參數創建內嵌腳本
UpdateQuery updateQuery = UpdateQuery.builder("5").withParams(map).withScript("ctx._source.result=params.result").withLang("painless").withRefresh(UpdateQuery.Refresh.True).build();
UpdateResponse updateResponse = elasticsearchRestTemplate.update(updateQuery, elasticsearchRestTemplate.getIndexCoordinatesFor(UseLogTwoDO.class));
System.out.println(updateResponse.getResult());
}
- 基礎"bool"DSL語法實現
testQuery1()與testQuery2()的查詢效果一致，但通過對比，除代碼簡潔度上不一樣，另外testQuery1()將查詢結果幫我們封裝成了目標對象，但testQuery2()中的返回結果source只能轉換成String或者Map，需要我們手動處理。
/**
* template查詢
* 查詢result一定包含"更新"且sortNo可能大於5的Document
*/
@Test
void testQuery1() {
BoolQueryBuilder boolQueryBuilder = new BoolQueryBuilder();
//可繼續添加其他條件 should,must,must_not,filter，還可嵌套
boolQueryBuilder.should(rangeQuery("sortNo").gt(5));
boolQueryBuilder.must(matchQuery("result", "更新"));
NativeSearchQuery nativeSearchQuery = new NativeSearchQuery(boolQueryBuilder);
//設置分頁
nativeSearchQuery.setPageable(PageRequest.of(0,3));
SearchHits<UseLogTwoDO> searchHits = elasticsearchRestTemplate.search(nativeSearchQuery, UseLogTwoDO.class);
List<SearchHit<UseLogTwoDO>> searchHits1 = searchHits.getSearchHits();
if (!searchHits1.isEmpty()) {
searchHits1.forEach(hits -> {
System.out.println(hits.getContent().toString());
System.out.println("--------------------------------");
});
}
}
/**
* client查詢
*/
@Test
void testQuery2() {
SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
BoolQueryBuilder boolQueryBuilder = new BoolQueryBuilder();
boolQueryBuilder.should(rangeQuery("sortNo").gt(5));
boolQueryBuilder.must(matchQuery("result", "更新"));
searchSourceBuilder.query(boolQueryBuilder);
//設置分頁
searchSourceBuilder.from(0).size(3);
SearchRequest searchRequest = new SearchRequest();
searchRequest.indices("demo-use-log2");
searchRequest.source(searchSourceBuilder);
try {
SearchResponse response = highLevelClient.search(searchRequest, RequestOptions.DEFAULT);
for (org.elasticsearch.search.SearchHit hit : response.getHits().getHits()) {
String sourceAsString = hit.getSourceAsString();
System.out.println(sourceAsString);
}
} catch (IOException e) {
e.printStackTrace();
}
}
- 聚合查詢嘗試
ES擁有強大的聚合功能，可以通過ES的聚合查詢快速地得從大數據中獲取數據價值。能否熟練使用ES的聚合功能也算是是否掌握ES的標準之一。所以老鐵們抽空可以好好研究下官方文檔。
/**
* 聚合查詢，根據createTime字段聚合；可以理解爲SQL中的Group By
*/
@Test
void testAggregation() {
NativeSearchQueryBuilder nativeSearchQueryBuilder = new NativeSearchQueryBuilder();
nativeSearchQueryBuilder.addAggregation(AggregationBuilders
.terms("aggregationResult")
.field("createTime"));
SearchHits<UseLogTwoDO> search = elasticsearchRestTemplate.search(nativeSearchQueryBuilder.build(), UseLogTwoDO.class);
Aggregations aggregations = search.getAggregations();
ParsedLongTerms aggregationResult = aggregations.get("aggregationResult");
aggregationResult.getBuckets().forEach(bucket -> {
System.out.println(bucket.getKey() + ":" +bucket.getDocCount());
});
}
- 小結
在本節的示例代碼中，除了
RestHighLevelClient和ElasticsearchRestTemplate的API使用，不知道小夥伴們有這樣的疑問沒：既然ElasticsearchRestTemplate已經對RestHighLevelClient封裝了，那我們還需要用到RestHighLevelClient不？
答案是肯定的，通過示例對比，template在Document結構確定的情況下會很方便，直接創建一個該Document的實體即可；但是在部分場景下Document的結構是不確定，動態的（比如搬移Mysql數據到ES中，每張表的結構是未知的），此時我們就需要使用RestHighLevelClient動態生成Mapping及Setting來滿足需求。
總結-筆者有話說
至此，入門教程就結束了，由於篇幅有限，本教程未能涵蓋所有場景，且示例代碼均爲簡單場景。但筆者旨在通過本文讓讀者能快速上手，體會到對ES操作的樂趣，但這並不意味着讀者可以少掉對官方文檔閱讀的過程。只有在明白原理的情況下，我們才能將其靈活使用。
如果你有什麼疑問，歡迎留言。
源碼地址：https://github.com/Xxianglei/Alei/tree/master/SpringBoot%E4%B8%AD%E4%BD%BF%E7%94%A8Elasticsearch%E5%85%A5%E9%97%A8%E6%95%99%E7%A8%8B/spring-data-es-demo1