ELK日誌分析平臺-----實戰（一）-----ES搜索引擎

原創 xrt0211 2020-06-14 16:27

ELK日誌分析平臺-----實戰（一）-----ES搜索引擎

學習目標：

ELK主要由三個重要組件：

  1. elasticsearch搜索分析引擎
  2. logstash數據採集
  3. kibana可視化

##########elasticsearch實戰#############

1.elasticsearch的簡介

Elasticsearch 是一個開源的分佈式搜索分析引擎，建立在一個全文搜索引擎庫 Apache Lucene基礎之上。

Elasticsearch 不僅僅是 Lucene，並且也不僅僅只是一個全文搜索引擎：

  1. 一個分佈式的實時文檔存儲，每個字段 可以被索引與搜索
  2. 一個分佈式實時分析搜索引擎
  3. 能勝任上百個服務節點的擴展，並支持 PB 級別的結構化或者非結構化數據

模塊介紹

基礎模塊         功能
cluster：       管理集羣狀態，維護集羣層面的配置信息。
alloction：		封裝了分片分配相關的功能和策略。
discovery：		發現集羣中的節點，以及選舉主節點。
gateway：		對收到master廣播下來的集羣狀態數據的持久化存儲。
indices：		管理全局級的索引設置。
http：			允許通過JSON over HTTP的方式訪問ES的API。
transport：		用於集羣內節點之間的內部通信。
engine：		封裝了對Lucene的操作及translog的調用。

elasticsearch應用場景:

  1. 信息檢索

  2. 日誌分析

  3. 業務數據分析

  4. 數據庫加速

  5. 運維指標監控

官網：https://www.elastic.co/cn/

注意：我們下載軟件時可以去這個網站下載，https://elasticsearch.cn/download/ 這個網站的速度快。

2.elasticsearch安裝與配置

軟件下載：
https://elasticsearch.cn/download/
安裝軟件：
#rpm -ivh jdk-8u171-linux-x64.rpm
#rpm -ivh elasticsearch-7.6.1.rpm //7.6版本自帶jdk

[root@server4 ~]# rpm -ivh elasticsearch-7.6.1.rpm		# 安裝ES

修改配置文件：
# vim /etc/elasticsearch/elasticsearch.yml
cluster.name: my-es					#集羣名稱
node.name: server4					#主機名需要解析
path.data: /var/lib/elasticsearch	#數據目錄
path.logs: /var/log/elasticsearch	#日誌目錄
bootstrap.memory_lock: true			#鎖定內存分配
network.host: 192.168.43.74			#主機ip
http.port: 9200						#http服務端口
cluster.initial_master_nodes: ["server4"]

對配置文件進行修改之後，我們的服務是不能啓動的，因爲我們還需修改系統的限制

修改系統限制
# vim /etc/security/limits.conf        			在最後添加以下內容：
elasticsearch soft memlock unlimited            
elasticsearch hard memlock unlimited			
elasticsearch 	   - 	nofile 	65536			#限定文件數量，不得大於內核限制（sysctl -a | grep file）
elasticsearch	   -	nproc 	4096			# 進程數


由於服務有systemd 啓用，所以我們去指定systemd的系統限制：
vim /usr/lib/systemd/system/elasticsearch.service
## 在service語句塊下添加以下內容###
LimitNOFILE=65535
LimitMEMLOCK=infinity


修改java虛擬機限制：
[root@server4 elasticsearch]# vim /etc/elasticsearch/jvm.options
-Xms1g
-Xmx1g
Xmx設置不超過物理RAM的50%,以確保有足夠的物理RAM留給內核文件系統緩存。但不要超過32G。
這裏我們應該給這臺虛擬機2G的內存。

我們還需要去禁用交換分區，會影響數據的交互：

[root@server4 elasticsearch]# echo 0 > /proc/sys/vm/swappiness #數值越大越傾向於使用swap分區
[root@server4 elasticsearch]# cat /proc/sys/vm/swappiness 
0
[root@server4 elasticsearch]# swapoff -a
[root@server4 elasticsearch]# vim /etc/fstab      # 禁用掉開機自啓
#/dev/mapper/rhel-swap   swap                    swap    defaults        0 0

配置完以上步驟後，現在就可以啓動了：

[root@server4 elasticsearch]# systemctl daemon-reload
[root@server4 elasticsearch]# systemctl start elasticsearch.service
[root@server4 elasticsearch]# curl 192.168.43.74:9200
{
  "name" : "server4",
  "cluster_name" : "my-es",
  "cluster_uuid" : "dcU5g1TWRzqUQnsLmRf-lw",
  "version" : {
    "number" : "7.6.1",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "aa751e09be0a5072e8570670309b1f12348f023b",
    "build_date" : "2020-02-29T00:15:25.529771Z",
    "build_snapshot" : false,
    "lucene_version" : "8.4.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

在這裏插入圖片描述
但是，我們發現這樣顯然還不夠刺激，我們想要給它加一個圖形界面：
我們需要去下載插件：下載elasticsearch-head插件

wget https://github.com/mobz/elasticsearch-head/archive/master.zip
head插件本質上是一個nodejs的工程,因此需要安裝node:
wget https://mirrors.tuna.tsinghua.edu.cn/nodesource/rpm_9.x/el/7/x86_64/nodejs9.11.2-1nodesource.x86_64.rpm

[root@server4 ~]# ls
 master.zip								# 需要這個插件
[root@server4 ~]# unzip master.zip 
[root@server4 ~]# ls
 elasticsearch-head-master  master.zip
然後我們需要進入這個目錄裏面執行 npm 這個命令，這時我們安裝node包
[root@server4 ~]# rpm -ivh nodejs-9.11.2-1nodesource.x86_64.rpm 
warning: nodejs-9.11.2-1nodesource.x86_64.rpm: Header V4 RSA/SHA256 Signature, key ID 34fa74dd: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:nodejs-2:9.11.2-1nodesource      ################################# [100%]

然後我們進入目錄，由於npm install 很慢，所以我們更換一個倉庫下載
[root@server4 ~]# cd elasticsearch-head-master/
[root@server4 elasticsearch-head-master]# npm install --registry=https://registry.npm.taobao.org
PhantomJS not found on PATH		# 發現環境變量少了一個東西，
Downloading https://github.com/Medium/phantomjs/releases/download/v2.1.1/phantomjs-2.1.1-linux-x86_64.tar.bz2
Saving to /tmp/phantomjs/phantomjs-2.1.1-linux-x86_64.tar.bz2
# 讓去這裏下載

[root@server4 ~]# ls
 phantomjs-2.1.1-linux-x86_64.tar.bz2		#下載好了
 [root@server4 ~]# tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2 
 [root@server4 ~]# cd phantomjs-2.1.1-linux-x86_64/


[root@server4 phantomjs-2.1.1-linux-x86_64]# ls
bin  ChangeLog  examples  LICENSE.BSD  README.md  third-party.txt
[root@server4 phantomjs-2.1.1-linux-x86_64]# cd bin/			
[root@server4 bin]# ls
phantomjs
[root@server4 bin]# cp phantomjs /usr/local/bin/		# 複製這個二進制文件到環境變量就可以使用這個命令了


[root@server4 ~]# phantomjs 
phantomjs: error while loading shared libraries: libfontconfig.so.1:  #又缺少了一個庫文件
[root@server4 ~]# yum install fontconfig-2.13.0-4.3.el7.x86_64 -y
[root@server4 ~]# phantomjs 
phantomjs> 
phantomjs> 
# 就代表成功了

在重新npm install
[root@server4 elasticsearch-head-master]# npm install --registry=https://registry.npm.taobao.org


我們還要修改ES主機ip和端口：
[root@server4 elasticsearch-head-master]# cd _site/
[root@server4 _site]# ls
app.css  app.js  background.js  base  fonts  i18n.js  index.html  lang  manifest.json  vendor.css  vendor.js
[root@server4 _site]#

在這裏插入圖片描述

[root@server4 _site]# npm run start &      # 啓動head插件
[1] 17355
[root@server4 _site]# 
> elasticsearch-head@0.0.0 start /root/elasticsearch-head-master
> grunt server

(node:17365) ExperimentalWarning: The http2 module is an experimental API.
Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100
^C
[root@server4 _site]# netstat -antlp |grep 9100
tcp        0      0 0.0.0.0:9100            0.0.0.0:*               LISTEN      17365/grunt

在這裏插入圖片描述

在瀏覽器訪問是這樣的，但是連接不成功，因爲不允許跨域訪問，所以我們應該修改ES跨域主持

[root@server4 _site]# vim /etc/elasticsearch/elasticsearch.yml
# Set a custom port for HTTP:    #在下面添加兩行內容
#
http.port: 9200

http.cors.enabled: true			# 是否支持跨域
http.cors.allow-origin: "*"		# *表示支持所有域名

systemctl restart elasticsearch.service		# 重啓服務

在這裏插入圖片描述
連接上了之後，創建一個索引：
在這裏插入圖片描述

刷新一下：
在這裏插入圖片描述
加粗的是主分片，細的是輔分片，健康狀態變成了黃色，代表主分片存在，輔分片丟失。如過變成了紅色，就代表沒有可用分片了。

3.elasticsearch分佈式部署

以相同的方法再安裝兩個ES節點,配置如下：

[root@server4 _site]# ssh-keygen
[root@server4 _site]# ssh-copy-id server1
[root@server4 _site]# ssh-copy-id server2		# 做免密,然後將配置的文件全部複製過去
[root@server4 ~]# scp elasticsearch-7.6.1-x86_64.rpm server1:
[root@server4 ~]# scp elasticsearch-7.6.1-x86_64.rpm server2:
[root@server4 elasticsearch]# scp -p /etc/elasticsearch/elasticsearch.yml server1:/etc/elasticsearch/                                                                                                                                                             
[root@server4 elasticsearch]# scp -p /etc/elasticsearch/elasticsearch.yml server2:/etc/elasticsearch/
[root@server4 security]# scp /etc/security/limits.conf server1:/etc/security/
[root@server4 security]# scp /etc/security/limits.conf server2:/etc/security/
[root@server4 system]# scp /usr/lib/systemd/system/elasticsearch.service server1:/usr/lib/systemd/system/
[root@server4 system]# scp /usr/lib/systemd/system/elasticsearch.service server2:/usr/lib/systemd/system/

然後更改他們的配置文件：

vim /etc/elasticsearch/elasticsearch.yml 

server4：
discovery.seed_hosts: ["server4", "server1", "server2"]		# 改這裏，其它不變
cluster.initial_master_nodes: ["server4","server1","server2"]		# 需要多個master結點進行切換

server1：
node.name: server1
network.host: 192.168.43.71
discovery.seed_hosts: ["server4", "server1", "server2"]
cluster.initial_master_nodes: ["server4","server1","server2"]

server2：
node.name: server2
network.host: 192.168.43.72
discovery.seed_hosts: ["server4", "server2", "server1"]
cluster.initial_master_nodes: ["server4","server1","server2"]


然後在三個結點都
 systemctl daemon-reload 
 systemctl start elasticsearch.service			# server1是restart

然後我們查看查看ES集羣狀態

在這裏插入圖片描述
在這裏插入圖片描述
當前server4 是master結點，其他兩個是worker結點

elasticsearch節點角色

Master：
主要負責集羣中索引的創建、刪除以及數據的Rebalance等操作。Master不負責數據的索引和檢索，所以負載較輕。當Master節點失聯或者掛掉的時候，ES集羣會自動從其他Master節點選舉出一個Leader。

Data Node：
主要負責集羣中數據的索引和檢索，一般壓力比較大。

Coordinating Node：
原來的Client node的，主要功能是來分發請求和合並結果的。所有節點默認就是Coordinating node，且不能關閉該屬性。

Ingest Node：
專門對索引的文檔做預處理

elasticsearch節點優化

在生產環境下，如果不修改elasticsearch節點的角色信息，在高數據量，高併發的場景下集羣容易出現腦裂等問題。

默認情況下，elasticsearch集羣中每個節點都有成爲主節點的資格，也都存儲數據，還可以提供查詢服務。

節點角色是由以下屬性控制：

  1. node.master: false|true
  2. node.data: true|false
  3. node.ingest: true|false
  4. search.remote.connect: true|false
    默認情況下這些屬性的值都是true。
node.master：這個屬性表示節點是否具有成爲主節點的資格
    注意：此屬性的值爲true，並不意味着這個節點就是主節點。
    因爲真正的主節點，是由多個具有主節點資格的節點進行選
    舉產生的。
node.data：這個屬性表示節點是否存儲數據。
node.ingest: 是否對文檔進行預處理。
search.remote.connect：是否禁用跨集羣查詢

我們現在就有五種組合：

第一種組合：（默認）
node.master: true
node.data: true
node.ingest:  true
search.remote.connect: true
這種組合表示這個節點即有成爲主節點的資格，又存儲數據。
如果某個節點被選舉成爲了真正的主節點，那麼他還要存儲數據，這樣對於這個節點的壓力就比較大了。
測試環境下這樣做沒問題，但實際工作中不建議這樣設置。

第二種組合：（Data node）
node.master: false
node.data: true
node.ingest: false
search.remote.connect: false
這種組合表示這個節點沒有成爲主節點的資格，也就不參與選舉，只會存儲數據。
這個節點稱爲data(數據)節點。在集羣中需要單獨設置幾個這樣的節點負責存儲數據。後期提供存儲和查詢服務。

第三種組合：（master node）
node.master: true
node.data: false
node.ingest: false
search.remote.connect: false
這種組合表示這個節點不會存儲數據，有成爲主節點的資格，可以參與選舉，有可能成爲真正的主節點。
這個節點我們稱爲master節點。

第四種組合：（Coordinating Node）
node.master: false
node.data: false
node.ingest: false
search.remote.connect: false
這種組合表示這個節點即不會成爲主節點，也不會存儲數據，
這個節點的意義是作爲一個協調節點，主要是針對海量請求的時候可以進行負載均衡。

第五種組合：（Ingest Node）
node.master: false
node.data: false
node.ingest: true
search.remote.connect: false
這種組合表示這個節點即不會成爲主節點，也不會存儲數據，
這個節點的意義是ingest節點，對索引的文檔做預處理。

所以我們進行設置，來調整我們的集羣：

在server4中：

vim /etc/elasticsearch/elasticsearch.yml 

# ------------------------------------ Node ------------------------------------
#
# Use a descriptive name for the node:
#
node.name: server4
node.master: true
node.data: false
node.ingest: false
search.remote.connect: false

# 讓他成爲master節點

在這裏插入圖片描述
在server1上：

vim /etc/elasticsearch/elasticsearch.yml 

# Use a descriptive name for the node:
#
node.name: server1
node.master: true
node.data: true
node.ingest: false
search.remote.connect: false

讓他可以接管master，也存儲數據

在這裏插入圖片描述
server2上：

vim /etc/elasticsearch/elasticsearch.yml 

# Use a descriptive name for the node:
#
node.name: server1
node.master: true
node.data: true
node.ingest: false
search.remote.connect: false

讓他可以接管master，也存儲數據,這裏我們先不做預處理結點

在這裏插入圖片描述
然後重啓三臺服務，這時serve4是起不來的，是因爲我們設置 不做存儲結點，但是之前已經有數據了，所以我們要進行清理

[root@server4 bin]# pwd
/usr/share/elasticsearch/bin

[root@server4 bin]# ./elasticsearch-node repurpose
------------------------------------------------------------------------

    WARNING: Elasticsearch MUST be stopped before running this tool.

23:38:49.741 [main] WARN  org.elasticsearch.cluster.metadata.MetaData - Adding unknown custom object with type index_lifecycle
23:38:49.744 [main] WARN  org.elasticsearch.cluster.metadata.MetaData - Adding unknown custom object with type licenses
Found 1 shards in 1 indices to clean up
Use -v to see list of paths and indices affected
Node is being re-purposed as master and no-data. Clean-up of shard data will be performed.
Do you want to proceed?
Confirm [y/N] y
Node successfully repurposed to master and no-data.

這時候，我們在刷新頁面：
在這裏插入圖片描述
生產集羣中可以對這些節點的職責進行劃分

  1. 建議集羣中設置3臺以上的節點作爲master節點，這些節點只負責成爲主節點，維護整個集羣的狀態。
  2. 再根據數據量設置一批data節點，這些節點只負責存儲數據，後期提供建立索引和查詢索引的服務，這樣的話如果用戶請求比較頻繁，這些節點的壓力也會比較大。
  3. 所以在集羣中建議再設置一批協調節點，這些節點只負責處理用戶請求，實現請求轉發，負載均衡等功能。

節點需求

  1. master節點：普通服務器即可(CPU、內存 消耗一般)
  2. data節點：主要消耗磁盤、內存。
    path.data: data1,data2,data3
    這樣的配置可能會導致數據寫入不均勻，建議只指定一個數據路徑，磁盤可以使用raid0陣列，而不需要成本高的ssd。
  3. Coordinating節點：對cpu、memory要求較高。

以上就是elasticsearch實戰的相關知識！！！！！！

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

MFS(二)---mfs使用 數據恢復 StorageClass詳解

一、數據恢復 在mfs分佈式文件系統刪除文件後，系統並不會在磁盤上將文件刪除，而是有一個回收時間，回收時間可以使用以下命令在客戶端的mfs目錄查看： [root@foundation1 data1]# mfsgettrashtim

CL82 2020-06-30 18:20:24

企業實戰（14）基於LVS-DR模式負載均衡+Keepalived高可用集羣實戰詳解

Keepalived簡介  keepalived 是linux下一個輕量級的高可用解決方案，它與HACMP實現功能類似，都可以實現服務或者網絡的高可用，但是又有差別：hacmp是一個專業的、功能完善的高可用軟件，它提供了HA軟件所

非著名运维 2020-06-30 11:51:40

企業實戰（13）LVS負載均衡NAT（網絡地址轉換）模式實戰詳解（一）

什麼是集羣 一組通過高速網絡互連的計算組，並以單一系統的模式加以管理。 將很多服務器集中起來一起，提供同一種服務，在客戶端看起來就像是隻有一個服務器。 可以在付出較低成本的情況下獲得在性能、可靠性、靈活性方面的相對較高的收益。

非著名运维 2020-06-30 11:51:40

企業實戰（13）LVS負載均衡DR（直接路由）模式實戰詳解（二）

什麼是集羣 一組通過高速網絡互連的計算組，並以單一系統的模式加以管理。 將很多服務器集中起來一起，提供同一種服務，在客戶端看起來就像是隻有一個服務器。 可以在付出較低成本的情況下獲得在性能、可靠性、靈活性方面的相對較高的收益。

非著名运维 2020-06-30 10:59:47

基於Linux下限制指定用戶或IP地址通過SSH登錄（訪問控制）

環境介紹：  ssh主機：192.168.2.128  客戶端：192.168.2.129  客戶端：192.168.2.130 IP限制：  針對指定的IP地址進行限制SSH登錄。 1.修改hosts.allow主機允許配置文件

非著名运维 2020-06-30 10:59:36

企業級------持續集成與持續交付------（一）-----git工具使用

企業級------持續集成與持續交付------（一）-----git工具使用 1.git簡介 Git特點： 速度 簡單的設計 對非線性開發模式的強力支持（允許成千上萬個並行開發的分支） 完全分佈式 有能力高效管理類似 Linu

xrt0211 2020-06-26 08:47:20

Saltstack (十) ---使用saltstack 遠程部署 zabbix-server

Rhel7.5下 zabbix 4.4 的安裝可以參考：https://blog.csdn.net/qq_35887546/article/details/104863668#t6 首先準備zabbix-server的安裝包及依賴

CL82 2020-06-25 15:16:51

k8s (十二) --- Kubernetes 存儲 之 PV 持久卷

Kubernetes 存儲 之 PV 持久卷一、persistent volumes簡介簡介pv和pvc的區別二、volume和claim的生命週期供給靜態動態綁定使用釋放回收三、PV詳解Capacity（容量）訪問模式Class

CL82 2020-06-25 15:16:51

k8s (二十二) --- kubernetes Helm詳解及使用helm部署redis高可用集羣

kubernetes Helm詳解及部署一、Helm二、Helm安裝三、Helm倉庫的使用四、使用Helm部署redis-ha拉取部署文件解壓更改變量文件部署redis高可用集羣測試集羣高可用集羣的動態拉伸 一、Helm Helm

CL82 2020-06-25 15:16:51

Linux企業實戰-ansible(38)判斷

絕大多數語言中，都使用“if“作爲條件判斷的關鍵字，而在ansible中，條件判斷的關鍵字是"when"，我們可以使用when關鍵字爲任務指定條件，條件成立，則執行任務，條件不成立，則不執行任務 當item>1的時候才執行msg中的內容

silence-1 2020-06-23 05:58:58

Linux企業實戰-ansible(46)loop代替with

利用loop關鍵字代替with 利用loop和dict代替我們的with_dict 也可以使用loop和filter代替loop和lookup 上述列表輸出不會被拉平我們可以使用flatten進行操作 當由多層嵌套的時候我

silence-1 2020-06-23 05:58:58

Linux企業實戰-ansible(51)jinja2宏

宏定義如下所示 查看渲染出來的模板 我們也可以通過宏調用參數 也可以使用默認數值 我們定義三個變量其中兩個賦予默認數值 這樣我們發現有默認值的被賦予了a沒默認值的賦予了1 這樣顯然不符合我們的規定 所以我們必須把沒有默認

silence-1 2020-06-23 05:58:58

Linux企業實戰-ansible(32)關鍵字

之前講過如下兩個playbook的效果是一樣的 我們還可以設置嵌套列表 運行結果如下 這樣輸出結果和我們想象的不一樣我們希望像列表一樣輸出的123在一起ab在一起，此時我們只需要把關鍵字改一下就可以吧item改爲list 單層列

silence-1 2020-06-23 05:58:58

Linux企業實戰-ansible(52)宏參數

在宏的內部，有三個默認的內置特殊變量可供我們使用，它們分別是varargs、kwargs、caller varargs可以將多餘的參數放在一起 如果我們不設置形參然後還傳遞參數 相當於Python中的可變參數 varargs=

silence-1 2020-06-23 05:58:58

Linux企業實戰-ansible(42)fail

有關錯誤處理的功能在我們playbook中的用法fail模塊 運行結果如下 報錯並且指出了錯誤的根源 我們可以自定義輸出的消息 我們使用fail模塊結合when模塊 如果上述不使用--error也可以使用--westos則顯示

silence-1 2020-06-23 05:58:58