分佈式搜索elasticsearch高級配置之(一)------分片分佈規則設置

分片分佈是把索引分片分佈到節點的過程。這個操作會在初次啓動集羣,副本分配,負載均衡,或增加刪除節點時進行。

下面是一些與分片分佈相關的設置:
cluster.routing.allocation.allow_rebalance
設置根據集羣中機器的狀態來重新分配分片,可以設置爲always, indices_primaries_active和indices_all_active,默認是設置成indices_all_active來減少集羣初始啓動時機器之間的交互。
cluster.routing.allocation.cluster_concurrent_rebalance
設置在集羣中最大允許同時進行分片分佈的個數,默認爲2,也就是說整個集羣最多有兩個分片在
進行重新分佈。
cluster.routing.allocation.node_initial_primaries_recoveries
設置指定初始每個節點。由於多數情況下是使用local的gateway,這應該會更快,
cluster.routing.allocation.node_concurrent_recoveries
設置在節點中最大允許同時進行分片分佈的個數,默認爲2
cluster.routing.allocation.disable_allocation
使主要分片或副本的分佈失效。要知道,如果主分片不存在(那個節點掛了)那麼其副本仍然會被提升爲主分片,這個設置只有在動態地使用集羣更新設置api調用時才生效。
cluster.routing.allocation.disable_replica_allocation
使副本分佈失效。和上一個設置一樣,只有動態地使用集羣更新設置api調用時才生效。
indices.recovery.concurrent_streams
當從一個點(peer)恢復分片時當前節點最多允許的文件讀取流的個數,默認爲5

自定義分片分佈規則
可以通過設置分片的分佈規則來人爲地影響分片的分佈,下面是個例子:

假設我們有幾個機架。當我們啓動一個節點,我們可以設置一個叫rack_id(其它名字也可以)的屬性,例如下面設置:
node.rack_id: rack_one
上面這個例子設置了一個屬性叫rack_id,它的值爲rack_one。現在,我們要設置rack_id作爲分片分佈規則的一個屬性(在所有節點都要設置)。
cluster.routing.allocation.awareness.attributes: rack_id
上面設置意味着rack_id會用來作爲分片分佈的依據。例如:我們啓動兩個node.rack_id設置rack_one的節點,然後建立一個5個分片,一個副本的索引。這個索引就會完全分佈在這兩個節點上。如果再啓動另外兩個節點,node.rack_id設置成rack_two,分片會重新分佈,但是一個分片和它的副本不會分配到同樣rack_id值的節點上。可以爲分片分佈規則設置多個屬性,例如:
cluster.routing.allocation.awareness.attributes: rack_id,zone
注意:當設置了分片分佈屬性時,如果集羣中的節點沒有設置其中任何一個屬性,那麼分片就不會分佈到這個節點中。

強制分佈規則
更多的時候,我們不想更多的副本被分佈到相同分佈規則屬性值的一羣節點上,那麼,我們可以強制分片規則爲一個指定的值。
例如,我們有一個分片規則屬性叫zone,並且我們知道有兩個zone,zone1和zone2.下面是設置:
cluster.routing.allocation.awareness.force.zone.values: zone1,zone2
cluster.routing.allocation.awareness.attributes: zone
現在我們啓動兩個node.zone設置成zone1的節點,然後創建一個5個分片,一個副本的索引。索引建立完成後只有5個分片(沒有副本),只有當我們啓動node.zone設置成zone2的節點時,副本纔會分配到那節點上。

分片分佈過濾
允許通過include/exclude過濾器來控制分片的分佈。這些過濾器可以設置在索引級別上或集羣級別上。下面是個索引級別上的例子:

假如我們有四個節點,每個節點都有一個叫tag(可以是任何名字)的屬性。每個節點都指定一個tag的值。如:節點一設置成node.tag: value1,節點二設置成node.tag: value2,如此類推。我們可以創建一個索引然後只把它分佈到tag值爲value1和value2的節點中,可以通過設置
index.routing.allocation.include.tag 爲value1,value2達到這樣的效果,如:
 

[html]
curl -XPUT localhost:9200/test/_settings -d '{   
  1.     "index.routing.allocation.include.tag" : "value1,value2"   
  2. }'  


與此相反,通過設置index.routing.allocation.exclude.tag爲value3,我們也可以創建一個索引讓其分佈在除了tag設置爲value3的所有節點中,如:
 

[html]
curl -XPUT localhost:9200/test/_settings -d '{   
  1.     "index.routing.allocation.exclude.tag" : "value3"   
  2. }'  

include或exclude過濾器的值都會使用通配符來匹配,如value*。一個特別的屬性名是_ip,它可以用來匹配節點的ip地址。

顯然,一個節點可能擁有多個屬性值,所有屬性的名字和值都在配置文件中配置。如,下面是多個節點的配置:

node.group1: group1_value1 
node.group2: group2_value4

同樣的方法,include和exclude也可以設置多個值,如:

 

[html]
curl -XPUT localhost:9200/test/_settings -d '{   
  1.     "index.routing.allocation.include.group1" : "xxx"   
  2.     "index.routing.allocation.include.group2" : "yyy",   
  3.     "index.routing.allocation.exclude.group3" : "zzz",   
  4. }'  

上面的設置可以通過索引更新的api實時更新到索引上,允許實時移動索引分片。

集羣範圍的過濾器也可以定義,可以通過集羣更新api實時更新到集羣上。這些設置可以用來做讓一些節點退出集羣的操作。下面是通過ip地址去掉一個節點的操作:

 

[html]
curl -XPUT localhost:9200/_cluster/settings -d '{   
  1.     "transient" : {   
  2.         "cluster.routing.allocation.exclude._ip" : "10.0.0.1"   
  3.     }   
  4. }'  


 

參考資料:http://www.elasticsearch.org/guide/reference/modules/cluster.html

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章