ElasticSearch(七)之elasticsearch集羣搭建及參數詳解

介紹

elasticsearch集羣的搭建教程很多。網上一搜都是，但是，搭建不難。更重要的是明白集羣原理，性能以及運維知識點。所以，本文將從這些點着重介紹。

配置參數詳解

在elasticsearch配置文件中有以下這些參數，將逐一介紹(其實配置文件中英文描述已經非常清楚)：

• cluster.name
  集羣名，自定義集羣名，默認爲elasticsearch，建議修改，因爲低版本多播模式下同一網段下相同集羣名會自動加入同一集羣，如生產環境這樣易造成數據運維紊亂。

• node.name
  節點名，同一集羣下要求每個節點的節點名不一致，起到區分節點和辨認節點作用

• node.master
  是否爲主節點，選項爲true或false，當爲true時在集羣啓動時該節點爲主節點，在宕機或任務掛掉之後會選舉新的主節點，恢復後該節點依然爲主節點

• node.data
  是否處理數據，選項爲true或false。負責數據的相關操作

• path.data
  默認數據路徑，可用逗號分隔多個路徑

• path.logs
  默認日誌路徑

• bootstrap.mlockall
  內存鎖，選項爲true或false，用來確保用戶在es-jvm中設置的ES_HEAP_SIZE參數內存可以使用一半以上而又不溢出

• network.host
  對外暴露的host，0.0.0.0時暴露給外網

• http.port
  對外訪問的端口號，默認爲9200，所以外界訪問該節點一般爲http://ip:9200/

• transport.tcp.port
  集羣間通信的端口號，默認爲9300

• discovery.zen.ping.unicast.hosts
  集羣的ip集合，可指定端口，默認爲9300，如 ["192.168.1.101","192.168.1.102"]

• discovery.zen.minimum_master_nodes
  最少的主節點個數，爲了防止腦裂，最好設置爲(總結點數/2 + 1)個

• discovery.zen.ping_timeout
  主節點選舉超時時間設置

• gateway.recover_after_nodes
  值爲n，網關控制在n個節點啓動之後才恢復整個集羣

• node.max_local_storage_nodes
  值爲n，一個系統中最多啓用節點個數爲n

• action.destructive_requires_name
  選項爲true或false，刪除indices是否需要現實名字

理解主節點、副節點、分片與複製分片

關係

起初創建節點與分片的關係，設置shards=2,replicas=1

解析

• node-master主節點
  集羣中用於元數據(metadata)的請求處理，比如確定分片位置，索引的新增、刪除請求分配等

• node
  包括client node和 data node

1. `client node` node.master=true,node.data=false 用於轉發請求，起到平衡負載的作用
2. `data node` node.master=flase,node.data=true
> 節點上保存了數據分片。它負責數據相關操作，比如分片的 CRUD，以及搜索和整合操作。這些操作都比較消耗 CPU、內存和 I/O 資源

• shards 分片
  在設置索引時默認(5)或自己設置的分片數量，即indices(1)--shards(n)，而每插入一條數據都會在唯一主分片中，即Document(n)--shards(1)

• replicas 複製分片
  同樣在設置索引時會默認(1)或自定義複製分片數量，該數量對應關係爲每個主分片對應的複製分片，即shards(1)--replicas(n)

要點

1. 當集羣健康狀態爲yello表示存在複製分片未被分配(unassigned)到節點中（或者分配的複製節點個數少於設置的個數）,這時如果硬件有故障將無法找回數據。
2. 在同一個節點上既保存原始數據又保存副本是沒有意義的，因爲一旦失去了那個節點，我們也將丟失該節點上的所有副本數據。
3. 主分片數量一般是在建立索引時就固定的，一般是不作修改的，如果減少分片數量意味着數據將要丟失
4. 複製分片一定意義上可以起到負載的功能，提高數據的冗餘量。但如果只是在相同節點數目的集羣上增加更多的副本分片並不能提高性能，因爲每個分片從節點上獲得的資源會變少。 你需要增加更多的硬件資源來提升吞吐量

節點與分片模型

同樣設置shards=2,replicas=1

分佈式文檔存儲的關係原理

這個由於在官網指南中寫的很清楚了，直接貼出章節。
分佈式文檔存儲

集羣搭建

配置集羣

修改配置文件

# vi /etc/elasticsearch/elasticsearch.yml

# 統一的集羣名
cluster.name: syncwt-es
# 當前節點名
node.name: syncwt-es-node-1
# 對外暴露端口使外網訪問
network.host: 0.0.0.0
# 對外暴露端口
http.port: 9200
# ...還有很多可以設置，這些是基礎的。具體看上面的配置參數說明

重啓並查看集羣健康狀態：

# sudo systemctl start elasticsearch.service
# curl -XGET 'http://localhost:9200/_cat/health?v'

集羣可視化插件安裝elasticsearch-head

# cd ${elasticsearch_HOME}
# ./plugin install mobz/elasticsearch-head

頁面訪問效果(單節點)：
http://47.105.74:9200/_plugin/head/

注意

1. 集羣中es的版本應保持一致，最好內網部署，外網不是很穩定。
2. 可用容器(如docker)封裝統一部署集羣各節點以保持配置一致性
3. 可在一臺機器上運行多個節點來構建集羣，只是性能會和機器配置相關

總結

1. 集羣中節點選型策略。node-data節點(隨着數據增加而增加)，note-client(隨着查詢壓力而增加)節點
2. 集羣節點數量上升時，多關注配置參數，如gateway.recover_after_nodes等，會帶來很多效率的提高
3. 當集羣數量較大時，建議橫向擴展集羣。單純增加es節點的內存和CPU不會有很大提升，建議多增加節點

下面配置信息來源於網絡:

1.1. 基本配置
    elasticsearch的config文件夾裏面有兩個配置文 件：elasticsearch.yml和logging.yml，第一個是es的基本配置文件，第二個是日誌配置文件，es也是使用log4j來記錄日 志的，所以logging.yml裏的設置按普通log4j配置文件來設置就行了。下面主要講解下elasticsearch.yml這個文件中可配置的東西。
cluster.name: elasticsearch
配置es的集羣名稱，默認是elasticsearch，es會自動發現在同一網段下的es，如果在同一網段下有多個集羣，就可以用這個屬性來區分不同的集羣。
node.name: "Franz Kafka"
節點名，默認隨機指定一個name列表中名字，該列表在es的jar包中config文件夾裏name.txt文件中，其中有很多作者添加的有趣名字。
node.master: true
指定該節點是否有資格被選舉成爲node，默認是true，es是默認集羣中的第一臺機器爲master，如果這臺機掛了就會重新選舉master。
node.data: true
指定該節點是否存儲索引數據，默認爲true。
index.number_of_shards: 5
設置默認索引分片個數，默認爲5片。
index.number_of_replicas: 1
設置默認索引副本個數，默認爲1個副本。
path.conf: /path/to/conf
設置配置文件的存儲路徑，默認是es根目錄下的config文件夾。
path.data: /path/to/data
設置索引數據的存儲路徑，默認是es根目錄下的data文件夾，可以設置多個存儲路徑，用逗號隔開，例：
path.data: /path/to/data1,/path/to/data2
path.work: /path/to/work
設置臨時文件的存儲路徑，默認是es根目錄下的work文件夾。
path.logs: /path/to/logs
設置日誌文件的存儲路徑，默認是es根目錄下的logs文件夾
path.plugins: /path/to/plugins
設置插件的存放路徑，默認是es根目錄下的plugins文件夾
bootstrap.mlockall: true
設置爲true來鎖住內存。因爲當jvm開始swapping時es的效率會降低，所以要保證它不swap，可以把ES_MIN_MEM和 ES_MAX_MEM兩個環境變量設置成同一個值，並且保證機器有足夠的內存分配給es。同時也要允許elasticsearch的進程可以鎖住內存，Linux下可以通過`ulimit -l unlimited`命令。
network.bind_host: 192.168.0.1
設置綁定的ip地址，可以是ipv4或ipv6的，默認爲0.0.0.0。 
network.publish_host: 192.168.0.1
設置其它節點和該節點交互的ip地址，如果不設置它會自動判斷，值必須是個真實的ip地址。
network.host: 192.168.0.1
這個參數是用來同時設置bind_host和publish_host上面兩個參數。
transport.tcp.port: 9300
設置節點間交互的tcp端口，默認是9300。
transport.tcp.compress: true
設置是否壓縮tcp傳輸時的數據，默認爲false，不壓縮。
http.port: 9200
設置對外服務的http端口，默認爲9200。
http.max_content_length: 100mb
設置內容的最大容量，默認100mb
http.enabled: false
是否使用http協議對外提供服務，默認爲true，開啓。
gateway.type: local
gateway的類型，默認爲local即爲本地文件系統，可以設置爲本地文件系統，分佈式文件系統，Hadoop的HDFS，和amazon的s3服務器。
gateway.recover_after_nodes: 1
設置集羣中N個節點啓動時進行數據恢復，默認爲1。
gateway.recover_after_time: 5m
設置初始化數據恢復進程的超時時間，默認是5分鐘。
gateway.expected_nodes: 2
設置這個集羣中節點的數量，默認爲2，一旦這N個節點啓動，就會立即進行數據恢復。
cluster.routing.allocation.node_initial_primaries_recoveries: 4
初始化數據恢復時，併發恢復線程的個數，默認爲4。
cluster.routing.allocation.node_concurrent_recoveries: 2
添加刪除節點或負載均衡時併發恢復線程的個數，默認爲4。
indices.recovery.max_size_per_sec: 0
設置數據恢復時限制的帶寬，如入100mb，默認爲0，即無限制。
indices.recovery.concurrent_streams: 5
設置這個參數來限制從其它分片恢復數據時最大同時打開併發流的個數，默認爲5。
discovery.zen.minimum_master_nodes: 1
設置這個參數來保證集羣中的節點可以知道其它N個有master資格的節點。默認爲1，對於大的集羣來說，可以設置大一點的值（2-4）
discovery.zen.ping.timeout: 3s
設置集羣中自動發現其它節點時ping連接超時時間，默認爲3秒，對於比較差的網絡環境可以高點的值來防止自動發現時出錯。
discovery.zen.ping.multicast.enabled: false
設置是否打開多播發現節點，默認是true。
discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]
設置集羣中master節點的初始列表，可以通過這些節點來自動發現新加入集羣的節點。
下面是一些查詢時的慢日誌參數設置
index.search.slowlog.level: TRACE
index.search.slowlog.threshold.query.warn: 10s
index.search.slowlog.threshold.query.info: 5s
index.search.slowlog.threshold.query.debug: 2s
index.search.slowlog.threshold.query.trace: 500ms
index.search.slowlog.threshold.fetch.warn: 1s
index.search.slowlog.threshold.fetch.info: 800ms
index.search.slowlog.threshold.fetch.debug:500ms
index.search.slowlog.threshold.fetch.trace: 200ms

1.2. 高級配置（線程池）
一個Elasticsearch節點會有多個線程池，但重要的是下面四個：
索引（index）：主要是索引數據和刪除數據操作（默認是cached類型）
搜索（search）：主要是獲取，統計和搜索操作（默認是cached類型）
批量操作（bulk）：主要是對索引的批量操作（默認是cached類型）
更新（refresh）：主要是更新操作（默認是cached類型）
可以通過給設置一個參數來改變線程池的類型（type），例如，把索引的線程池改成blocking類型：
            min: 1   
            size: 30   
            wait_time: 30s  

下面是三種可以設置的線程池的類型：
cache
cache線程池是一個無限大小的線程池，如果有很多請求的話都會創建很多線程，下面是個例子：
    threadpool:   
        index:   
            type: cached  

fixed
fixed線程池保持固定個數的線程來處理請求隊列。
size參數設置線程的個數，默認設置是cpu核心數的5倍
queue_size可以控制待處理請求隊列的大小。默認是設置爲-1，意味着無限制。當一個請求到來但隊列滿了的時候，reject_policy參數可以控制它的行爲。默認是abort，會使那個請求失敗。設置成caller會使該請求在io線程中執行。
    threadpool:   
        index:   
            type: fixed   
            size: 30   
            queue: 1000   
            reject_policy: caller  

blocking
blocking線程池允許設置一個最小值（min，默認爲1）和線程池大小（size，默認爲cpu核心數的5倍）。它也有一個等待隊列，隊列的大小（queue_size ）默認是1000，當這隊列滿了的時候。它會根據定好的等待時間（wait_time，默認是60秒）來調用io線程，如果超時沒有執行就會報錯。
    threadpool:   
        index:   
            type: blocking   
            min: 1   
            size: 30   
            wait_time: 30s  

筆者在實際工作中，由於程序啓動時即產生大量請求，導致隊列大小溢出的情況，從而查詢請求報錯，可以在以下2個解決方法權衡處理：
1、增加隊列長度，但隨之帶來的是CPU消耗高。
2、優化程序，適當控制程序的併發請求量。

1.3. 操作系統配置
1、文件句柄限制：ES在索引過程中，尤其是有很多分片和副本時，會創建若干文件。因此操作系統對打開文件數量的限制不能少於32000。對於linux服務器，通過可以在/etc/security/limits.conf中進行修改，並且可以用ulimit命令來查看當前值。
2、節點內存配置：ES每個節點默認的2014M內存空間可能是不夠的。如果日誌文件中有out of memory error錯誤，則應將環境變量ES_HEAP_SIZE設爲大於1024的值。注意該值應超過總可用物理內存的50%，剩餘內存可用作磁盤高速緩存，可大大提高搜索性能。

作者：syncwt
鏈接：https://www.jianshu.com/p/149a8da90bbc
來源：簡書
簡書著作權歸作者所有，任何形式的轉載都請聯繫作者獲得授權並註明出處。