搜索引擎ElasticSearch入門

前言

最近項目上需要用到搜索引擎,由於之前自己沒有了解過,所以整理了一下搜索引擎的相關概念知識。

正文

想查數據就免不了搜索,搜索就離不開搜索引擎,百度、谷歌都是一個非常龐大複雜的搜索引擎,他們幾乎索引了互聯網上開放的所有網頁和數據。然而對於我們自己的業務數據來說,肯定就沒必要用這麼複雜的技術了,如果我們想實現自己的搜索引擎,方便存儲和檢索,可以快速地儲存、搜索和分析海量數據。搜索引擎有很多種,我這裏主要講兩種比較流行的搜索引擎框架 Elasticsearch 和 Lucene 搜索引擎。

一、搜索引擎實現核心

Lucene/Elasticsearch 實現快速搜索的核心就是倒排索引,Lucene/Elasticsearch 就是儘量將磁盤裏的東西搬進內存,減少磁盤隨機讀取次數(同時也利用磁盤順序讀特性),結合各種壓縮算法,高效使用內存,從而達到快速搜索的特性。

核心概念:https://www.cnblogs.com/valor-xh/p/6206042.html

​ https://blog.csdn.net/sinat_42338962/article/details/85227902

二、Lucene搜索引擎

**百度百科:**是 Apache 軟件基金會4 Jakarta項目組的一個子項目,是一個開放源代碼的全文檢索引擎工具包(實際就是一個 Jar 包),但它不是一個完整的全文檢索引擎,而是一個全文檢索引擎的架構,提供了完整的查詢引擎和索引引擎。Lucene 是一套信息檢索工具包,並不包含搜索引擎系統,它包含了索引結構、讀寫索引工具、相關性工具、排序等功能,因此在使用 Lucene 時仍需要關注搜索引擎系統,例如數據獲取、解析、分詞等方面的東西。Lucene 提供了一個簡單卻強大的應用程式接口,能夠做全文索引和搜尋。

Lucene,最先進、功能最強大的搜索庫,直接基於Lucene開發,非常複雜,Api複雜(實現一些簡單的功能,寫大量的java代碼),需要深入理解原理(各種索引結構)。Lucene只是一個庫。想要使用它,你必須使用Java來作爲開發語言並將其直接集成到你的應用中,更糟糕的是,Lucene的配置及使用非常複雜,你需要深入瞭解檢索的相關知識來理解它是如何工作的。

三、ElasticSearch搜索引擎

**百度百科:**ElasticSearch 是一個基於 Lucene 的搜索服務器。它提供了一個分佈式多用戶能力的全文搜索引擎,基於 RESTful web 接口。Elasticsearch 是用Java語言開發的,並作爲Apache許可條款下的開放源碼發佈,是一種流行的企業級搜索引擎。ElasticSearch 用於雲計算中,能夠達到實時搜索,穩定,可靠,快速,安裝使用方便。

ElasticSearch 的實現原理主要分爲以下幾個步驟,首先用戶將數據提交到Elastic Search 數據庫中,再通過分詞控制器去將對應的語句分詞,將其權重和分詞結果一併存入數據,當用戶搜索數據時候,再根據權重將結果排名,打分,再將返回結果呈現給用戶。

Elasticsearch,基於 Lucene,隱藏複雜性,提供簡單易用的R estful Api 接口、Java Api 接口(還有其他語言的Api 接口)

  • 分佈式的文檔存儲引擎

  • 分佈式的搜索引擎和分析引擎

  • 分佈式,支持PB級數據

四、Lucene和ElasticSearch優缺點對比

這兩種搜索引擎各自都有自己的特點,現在我來總結一下:

聯繫:ElasticSearch 封裝了 Lucene,讓使用變得更簡單,ElasticSearch 除了擁有Lucene 所有優點以外,還有自己的優點:

可用性:支持集羣沒有單點障礙,

擴展性:支持集羣擴展-高併發

在集羣環境中使用:大項目使用

  • ElasticSearch全文檢索服務器,所有項目都統一訪問索引服務器,支持在集羣環境中使用, Lucene全文檢索引擎工具包,必須集成到項目中使用,不支持在集羣環境下使用。
  • ElasticSearch支持多種語言,Lucene只支持java
  • ElasticSearch簡單,都是http請求,而Lucene複雜,都需要調用API執行一大推操作。
  • 一般Lucene在中小型項目中使用,ElasticSearch都適用(大中小),因爲ES支持在集羣環 境中使用,並且自身也支持集羣。
  • Luncene需要二次開發,才能使用。不能像百度或谷歌一樣,它只是提供一個接口需要被實現才能使用。 ElasticSearch直接拿來用。
  • 封裝了更多高級的功能,例如聚合分析的功能,基於地理位置的搜索
  • ES自動可以將海量數據分散到多臺服務器上去存儲和檢索

綜上所述:搜索引擎選擇用 ElasticSearch

五、SpringBoot整合ElasticSearch

SpringBoot 整合 Elasticsearch 常用的方式有以下三種:

  • Java API

這種方式基於TCP和ES通信,官方已經明確表示在ES 7.0版本中將棄用TransportClient客戶端,且在8.0版本中完全移除它,所以不提倡。

  • REST Client

上面的方式1是基於TCP和ES通信的(而且 TransPort 將來會被拋棄……),官方也給出了基於HTTP的客戶端REST Client(推薦使用),官方給出來的REST Client有Java Low Level REST Client和Java Hight Level REST Client兩個,前者兼容所有版本的ES,後者是基於前者開發出來的,只暴露了部分API,待完善

  • Spring-Data-Elasticsearch(推薦)

除了上述方式,Spring 也提供了本身基於 SpringData 實現的一套方案Spring-Data-Elasticsearch。爲什們推薦這種呢,因爲這種方式 Spring 爲我們封裝了常見的es操作。和使用 Jpa 操作數據庫一樣方便。

在ES中一個 Index 可以理解爲一個庫,Type 就是一張表,一個Index可以對應多個Type,或者一個Index只能對應一個Type(從6.0.0 起就是一對一)。

六、Elasticsearch的安裝

從網上把 Elasticsearch 的安裝包下載下來之後,直接解壓,進入bin目錄下,雙擊執行Elasticsearch.bat,看到Started 說明啓動成功,打開瀏覽器測試一下,輸入http://localhost:9200/,則成功。

Elasticsearch-Head插件

Elasticsearch-Head將是一款專門針對於 Elasticsearch 的客戶端工具,類似 Mysql 的 Sqlyog 或者 Navicat數據庫軟件可視化界面。

運行head插件:grunt server

訪問:localhost:9100

七、ElasticSearch實現聯表查詢

SpringBoot整合ElasticSearch+父子查詢

相關鏈接:https://blog.csdn.net/a_lllk/article/details/83409880

父子關係的type和映射關係要提前建立好。

這裏講一下三種實現方式:

  • 嵌套查詢 Nested Query:文檔包含 nested 類型的字段。這些字段用來索引數組對象,其中每個對象作爲獨立的文檔可以被檢索(使用 nested 查詢)。

  • 父子查詢Has_Child 和 Has_Parent :父子關係可以在一個單獨的索引中的兩個文檔類型間存在。has_child 查詢返回了父文檔,其子文檔匹配了特定的查詢。而 has_parent 查詢返回子文檔,其父文檔匹配了特定的查詢。(類似於主外鍵)**要點:**父子關係元數據映射,用於確保查詢時候的高性能,但是有一個限制,就是父子數據必須存在於一個shard中

  • 應用層聯接

八、Nested 和 Parent-Child的區別以及使用場景

嵌套查詢和父子查詢的主要區別

由於存儲結構的不同,Nested 和 Parent-Child 的方式有不同的應用場景,Nested 所有實體存儲在同一個文檔,而 Parent-Child 模式得子 Type 和 父Type 存儲在不同的文檔裏。所以查詢效率上 Nested 要高於 Parent-Child,但是更新的時候 Nested 模式下,ElasticSearch 會刪除整個文檔再創建,而 Parent-Child 只會刪除你更新的文檔在重新創建,不影響其他文檔。所以更新效率上 Parent-Child 要高於 Nested。

嵌套查詢和父子查詢的具體的使用場景

Nested:在少量子文檔,並且不會經常改變的情況下使用。比如:訂單裏面的產品,一個訂單不可能會有成千上萬個不同的產品,一般不會很多,並且一旦下單後,下單的產品是不可更新的。

Parent-Child:在大量文檔,並且會經常發生改變的情況下使用。比如:用戶的瀏覽記錄,瀏覽記錄會很大,並且會頻繁更新

總結

以上就是我關於搜索引擎的相關總結,當然這篇文章只能算是對搜索引擎的一個入門,後面我還會出相關的文章的哦。

最後,最近很多小夥伴找我要Linux學習路線圖,於是我根據自己的經驗,利用業餘時間熬夜肝了一個月,整理了一份電子書。無論你是面試還是自我提升,相信都會對你有幫助!目錄如下:

免費送給大家,只求大家金指給我點個贊!

電子書 | Linux開發學習路線圖

也希望有小夥伴能加入我,把這份電子書做得更完美!

有收穫?希望老鐵們來個三連擊,給更多的人看到這篇文章

推薦閱讀:

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章