ElasticSearch2.3.3離線搭建(windows+Linux) 原 薦

1、ElasticSearch介紹

ElasticSearch 是一個基於Lucene的搜索服務器。它提供了一個分佈式多用戶能力的全文搜索引擎,基於RESTful web接口。Elasticsearch 是用Java開發的,並作爲Apache許可條款下的開放源碼發佈,是當前流行的企業級搜索引擎。設計用於雲計算中,能夠達到實時搜索,穩定,可靠,快速,安裝使用方便。

我們建立一個網站或應用程序,並要添加搜索功能,但是想要完成搜索工作的創建是非常困難的。我們希望搜索解決方案要運行速度快,我們希望能有一個零配置和一個完全免費的搜索模式,我們希望能夠簡單地使用JSON通過HTTP來索引數據,我們希望我們的搜索服務器始終可用,我們希望能夠從一臺開始並擴展到數百臺,我們要實時搜索,我們要簡單的多租戶,我們希望建立一個雲的解決方案。因此我們利用Elasticsearch 來解決所有這些問題以及可能出現的更多其它問題。

2、ElasticSearch優點

便於安裝支持多平臺:Linux,Windows等

便於開發支持多語言:Java,Python,PHP等

查詢速度快,使用於大量數據查詢

支持分詞系統和聚合分析等多種功能

3、window和Linux

提示:以elasticsearch-2.3.3爲例,無論是Windows還是Linux在配置elasticsearch.yml文件時對其中的配置項保持嚴格的縮進,否則啓動可能報錯

並且當前安裝elasticsearch版本較低,後續版本可能與此不同但是萬變不離其宗。

3.1、Windows搭建ElasticSearch

(1)將下載好的elasticsearch-2.3.3.zip包解壓

(2)進入elasticsearch-2.3.3目錄下的conf下

(3)修改elasticsearch.yml(詳細介紹見文章結尾)配置文件中的network.host選項爲自己本地的ip地址

(4)在此返回到elasticsearch-2.3.3目錄下並進入到bin目錄下雙擊啓動elasticsearch.bat該文件即可

3.2、Linux搭建elasticsearch

(1)將下載好的elasticsearch-2.3.3.zip包解壓

(2)進入elasticsearch-2.3.3目錄下的conf下

(3)修改elasticsearch.yml(詳細介紹見文章結尾)配置文件

cluster.name:英文集羣名稱 
node.name: 英文節點名稱
path.data: 數據存放位置
path.logs:日誌存放位置
network.host:主節點ip地址
transport.tcp.port: tcp端口一般使用9300
http.port: web訪問端口一般使用9200

 

(4)在此返回到elasticsearch-2.3.3目錄下並進入到bin目錄下執行./elasticsearch即可,後臺執行需在後面加上-d

4、安裝head,kopf,elasticsearch-sql可視化插件等

4.1、查看elasticsearch-2.3.3目錄下是否含有plugins改目錄,如果沒有則需要手動創建

4.2、將head.zip解壓至plugins目錄下按照以上步驟重新啓動即可

訪問地址:http://ip:9200/_plugin/head/

同理kopf和elasticsearch-sql安裝

特殊說明:只有elasticsearch-sql插件只能查詢並且可以將sql轉爲elasticsearch聚合語句;而kopf和head既可以做查詢又可以做增、刪、改

head插件展示效果圖

 

kopf插件展示效果圖

 

elasticsearch-sql插件展示效果圖

5、關於elasticsearch.yml配置詳解

(1)集羣名稱,默認爲elasticsearch

            cluster.name:elasticsearch

(2)節點名稱,es啓動時會自動創建節點名稱,但你也可進行配置

            node.name: "node1"

(3)是否作爲主節點,每個節點都可以被配置成爲主節點,默認值爲true

            node.master: true

(4)是否存儲數據,即存儲索引片段,默認值爲true

            node.data: true

            {master和data同時配置會產生一些奇異的效果:

            1) 當master爲false,而data爲true時,會對該節點產生嚴重負荷;

            2) 當master爲true,而data爲false時,該節點作爲一個協調者;

            3) 當master爲false,data也爲false時,該節點就變成了一個負載均衡器。}

(5)每個節點都可以定義一些與之關聯的通用屬性,用於後期集羣進行碎片分配時的過濾

             node.rack: rack1

(6)默認情況下,多個節點可以在同一個安裝路徑啓動,如果你想讓你的es只啓動一個節點,可以進行如下設置

            node.max_local_storage_nodes: 1

(7)設置一個索引的碎片數量,默認值爲5

            index.number_of_shards: 5

(8)設置一個索引可被複制的數量,默認值爲1

            index.number_of_replicas: 1

(9)配置文件所在的位置,即elasticsearch.yml和logging.yml所在的位置

            path.conf: /path/to/conf

(10) 分配給當前節點的索引數據所在的位置:

            path.data: /path/to/data

(11) 臨時文件位置:

            path.work: /path/to/work

(12)日誌文件所在位置:

            path.logs: /path/to/logs

(13) 插件安裝位置:

            path.plugins: /path/to/plugins

(14) 插件託管位置,若列表中的某一個插件未安裝,則節點無法啓動:

            plugin.mandatory: mapper-attachments,lang-groovy

(15) JVM開始交換時,ElasticSearch表現並不好:你需要保障JVM不進行交換,可以將bootstrap.mlockall設置爲true禁止交換:

            bootstrap.mlockall: true

            請確保ES_MIN_MEM和ES_MAX_MEM的值是一樣的,並且能夠爲ElasticSearch分配足夠的內在,併爲系統操作保留足夠的內存。

(16)默認情況下,ElasticSearch使用0.0.0.0地址,併爲http傳輸開啓9200-9300端口,爲節點到節點的通信開啓9300-9400端口,也可以自行設置IP地址:

            network.bind_host: 192.168.0.1

(17)publish_host設置其他節點連接此節點的地址,如果不設置的話,則自動獲取,publish_host的地址必須爲真實地址:

            network.publish_host: 192.168.0.1

(18)bind_host和publish_host可以一起設置:

            network.host: 192.168.0.1

(19)可以定製該節點與其他節點交互的端口:

            transport.tcp.port: 9300

(20)節點間交互時,可以設置是否壓縮,轉爲爲不壓縮:

            transport.tcp.compress: true

(21)可以爲Http傳輸監聽定製端口:

            http.port: 9200

(22)設置內容的最大長度:

            http.max_content_length: 100mb

(23)禁止HTTP

            http.enabled: false

(24)網關允許在所有集羣重啓後持有集羣狀態,集羣狀態的變更都會被保存下來,當第一次啓用集羣時,可以從網關中讀取到狀態,默認網關類型(也是推薦的)是local:

            gateway.type: local

(25)允許在N個節點啓動後恢復過程:

            gateway.recover_after_nodes: 1

(26)設置初始化恢復過程的超時時間:

            gateway.recover_after_time: 5m

(27)設置該集羣中可存在的節點上限:

            gateway.expected_nodes: 2

(28)設置一個節點的併發數量,有兩種情況,一種是在初始復甦過程中:

            cluster.routing.allocation.node_initial_primaries_recoveries: 4

            另一種是在添加、刪除節點及調整時:

            cluster.routing.allocation.node_concurrent_recoveries: 2

(29)設置復甦時的吞吐量,默認情況下是無限的:

            indices.recovery.max_size_per_sec: 0

(30)設置從對等節點恢復片段時打開的流的數量上限:

            indices.recovery.concurrent_streams: 5

(31)設置一個集羣中主節點的數量,當多於三個節點時,該值可在2-4之間:

            discovery.zen.minimum_master_nodes: 1

(32)設置ping其他節點時的超時時間,網絡比較慢時可將該值設大:

            discovery.zen.ping.timeout: 3s

            http://elasticsearch.org/guide/reference/modules/discovery/zen.html上有更多關於discovery的設置。

(33)禁止當前節點發現多個集羣節點,默認值爲true:

            discovery.zen.ping.multicast.enabled: false

(34)設置新節點被啓動時能夠發現的主節點列表:

            discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]

6、elasticsearch集羣的簡單說明

單點與集羣的關係是依靠同一個主節點名稱和不同子節點名稱,不同端口號,不同ip作爲聯繫的介質,在配置文件中只需要在個別配置項配置多個不同ip和不同端口,並且同一個集羣名稱即可

7、工作中elasticsearch踩過的坑

(1)在個別業務場景下需要查詢大量的數據並展示出來,無論是http請求查詢也好還是elasticsearch API查詢也好,當查詢大於1024條數據事基本都會遇到一個報錯;顯示查詢內容大於1024,這時需要在elasticsearch的配置文件中增加一個設置:

            index.query.bool.max_clause_count: 100000

(2)踩坑繼續補充中.............

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章