分佈式搜索elasticsearch 基本概念

ElasticSearch官網:http://www.elasticsearch.org/

先上一張elasticsearch的總體框架圖:



ElasticSearch是基於Lucene開發的分佈式搜索框架,包含如下特性:

分佈式索引、搜索

索引自動分片、負載均衡

自動發現機器、組建集羣

支持Restful 風格接口

配置簡單等。


下圖是ElasticSearch的第三方插件管理工具,通過它可以很清晰的看到它索引分佈的情況:哪塊分佈在那裏,佔用空間多少都可以看到,並且可以管理索引。


當一臺機掛了時,整個系統會對掛機裏的內容重新分配到其它機器上,當掛掉的機重新加入集羣時,又會重新把索引分配給它。當然,這些規則都是可以根據參數進行設置的,非常靈活。ElasticSearch是先把索引的內容保存到內存之中,當內存不夠時再把索引持久化到硬盤中,同時它還有一個隊列,是在系統空閒時自動把索引寫到硬盤中。

的後端存儲方式可以有一下四種:

1. 像普通的 Lucene 索引,存儲在本地文件系統中;

2. 存儲在分佈式文件系統中,如 freeds;

3. 存儲在 Hadoop 的 hdfs中;

4. 存儲在亞馬遜的 S3 雲平臺中。

它支持插件機制,有豐富的插件。比如和 mongoDB、couchDB 同步的river 插件,分詞插件,Hadoop 插件,腳本支持插件等。

下面介紹elasticsearch的幾個概念:

cluster

代表一個集羣,集羣中有多個節點,其中有一個爲主節點,這個主節點是可以通過選舉產生的,主從節點是對於集羣內部來說的。es 的一個概念就是去中心化,字面上理解就是無中心節點,這是對於集羣外部來說的,因爲從外部來看 es 集羣,在邏輯上是個整體,與任何一個節點的通信和與整個 es 集羣通信是等價的。在配置文件中可以配置集羣的名字,在同一局域網內的機器,配置相同的cluster名字,將會自動組建集羣,不需要其它特殊配置。

shards

代表索引分片,es 可以把一個完整的索引分成多個分片,這樣的好處是可以把一個大的索引拆分成多個,分佈到不同的節點上,構成分佈式搜索。分片的數量只能在索引創建前指定,並且索引創建後不能更改。

replicas

代表索引副本,es 可以設置多個索引的副本,副本的作用一是提高系統的容錯性,當某個節點某個分片損壞或丟失時可以從副本中恢復。二是提高es的查詢效率,es 會自動對搜索請求進行負載均衡。

recovery

代表數據恢復或叫數據重新分佈,es 在有節點加入或退出時會根據機器的負載對索引分片進行重新分配,掛掉的節點重新啓動時也會進行數據恢復。

river

代表 es 的一個數據源,也是其它存儲方式(如:數據庫)同步數據到es的一個方法。它是以插件方式存在的一個 es 服務,通過讀取 river 中的數據並把它索引到 es 中,官方的 river 有 couchDB、RabbitMQ、Twitter、Wikipedia。

gateway

代表 es 索引的持久化存儲方式,es默認是先把索引存放到內存中,當內存滿了時再持久化到硬盤。當這個 es 集羣關閉再重新啓動時就會從 gateway 中讀取索引數據。es 支持多種類型的 gateway,有本地文件系統(默認),分佈式文件系統,Hadoop 的 HDFS 和 amazon 的 s3 雲存儲服務。

discovery.zen

代表 es 的自動發現節點機制,es是一個基於 p2p 的系統,它先通過廣播尋找存在的節點,再通過多播協議來進行節點之間的通信,同時也支持點對點的交互。

Transport

代表es 內部節點或集羣與客戶端的交互方式,默認內部是使用 tcp 協議進行交互,同時它支持 http 協議(json格式)、thrift、servlet、memcached、zeroMQ等的傳輸協議(通過插件方式集成)。
發佈了69 篇原創文章 · 獲贊 56 · 訪問量 44萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章