Elasticsearch數據庫 | Elasticsearch-7.5.0應用搭建實戰

原創 琥珀碼客 2020-11-06 13:17

Elasticsearch 是一個可用於分佈式以及符合RESTful 風格的搜索和數據分析引擎。—— Elastic Stack 官網

0FNnW8.png

搭建Elasticsearch的“那些事兒"

BW1nxS.jpg

有一天，在黃金梅麗號的甲板上，韋柏告訴薩博，需要在接下來的項目開發過程中，運用到Elasticsearch數據庫，主要用於黃金梅麗號上的各種設備採集數據實時查詢，或許後期還會運用於分佈式日誌系統的搭建運用等，讓薩博先做一次技術預研。於是，在薩博查詢大量的資料發現，關於Elasticsearch數據庫的搭建，網上的資料幾乎是千篇一律，或者多數都是沒有一個完整的流程。甚至，還發現，對於Elasticsearch數據庫實際應用方面，大多數海賊只侷限於ELK等這樣的情況，就像是大多數海賊提到Redis，就只覺得這個玩意兒，只能用於緩存層面，但是實際上人家的功能強大到超出了海賊的想象空間。甚至於，薩博在一個阿里巴巴的地方，找到了關於Elasticsearch數據庫免費試用的資源，但是對於免費的午餐，也許那一天收費之後，那就只能用一首“浪浪”來祭奠這萬惡的黃金之惡。於是在薩博精心研究和分析發現，除了傳統部署Elasticsearch數據庫之外，有個叫Docker 的東西，除了能夠穩定運行Elasticsearch數據庫之外，還能節省不少的服務器內存。於是呀，薩博就開始了探索在Docker上搭建Elasticsearch之之路......

Docker部署Elasticsearch的“那些事兒"

1.基礎先決條件

阿里雲或者虛擬機VM主機一個，並且自行裝有Docker容器：
BWUuHU.png

ps[⚠️注意事項]：
對於Docker安裝請參考：Linux環境基於CentOS7 搭建部署Docker容器

2.最大文件打開數

[2.1]參數優化：ulimit -a |grep open

[root@centos-meteor ~]# ulimit -a |grep open
open files   (-n) 65535
[root@centos-meteor ~]#

[2.2] 修改配置文件： /etc/security/limits.conf

#在最下邊添加如下兩行
* soft nofile 65536
* hard nofile 65536
* soft nproc 2048
* hard nproc 4096

[2.3] 確認是否修改： ulimit -a |grep open

[root@centos-meteor ~]# ulimit -a |grep open
open files   (-n) 65535
[root@centos-meteor ~]#

3.調整系統進程數

修改方法：vim /etc/security/limits.d/20-nproc.conf

#調整成以下配置
*          soft    nproc     4096
root       soft    nproc     unlimited

4.調整虛擬內存和最大併發連接數

虛擬內存（Virtual memory）->vm.max_map_count
Elasticsearch默認使用 hybrid mmapfs / niofs 目錄來存儲索引。默認操作系統對mmap計數的限制太低，可能引發內存不足的異常

[1]臨時解決方法：

sysctl –w vm.max_map_count=262144
sysctl –w vm.max_map_count=262144

如果不優化會出現啓動Elasticsearch的時候會出現如下提示：

max virtual memory areas vm.max_map_count [65535] is too low, increase to at least [262144]

[2]永久生效方案：更新系統文件/etc/sysctl.conf的vm.max_map_count字段
執行命令：vim /etc/sysctl.conf

[root@turbo-master ~]# vim /etc/sysctl.conf
[root@turbo-master ~]#
#Settings Elasticsearch Virtual Memory—>655360
vm.max_map_count=655360
fs.file-max=655360
vm.overcommit_memory=1

加載到系統：sysctl -p --load /etc/sysctl.conf

[root@centos-meteor elasticsearch]# sysctl -p --load /etc/sysctl.conf
vm.swappiness = 0
net.ipv4.neigh.default.gc_stale_time = 120
net.ipv4.conf.all.rp_filter = 0
net.ipv4.conf.default.rp_filter = 0
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_announce = 2
net.ipv4.tcp_max_tw_buckets = 5000
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_syn_backlog = 1024
net.ipv4.tcp_synack_retries = 2
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1
kernel.sysrq = 1
vm.max_map_count = 655360
fs.file-max = 655360
vm.overcommit_memory = 1
[root@centos-meteor elasticsearch]#

5.關閉elasticsearch自檢測

在elasticsearch.yml中添加配置項：

bootstrap.memory_lock: false
bootstrap.system_call_filter: false

ps[⚠️注意事項]：
主要是避免以下問題：
[1]最大文件打開數: max file descriptors [1024] for elasticsearch process is too low, increase to at least [65536]
[2]調整虛擬內存和最大併發連接數: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
[3]關閉elasticsearch自檢測: system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk
[4]調整系統進程數: max number of threads [1024] for user [lish] likely too low, increase to at least [2048]

實戰部署ElasticSearch服務

Docker 部署應用服務的基本步驟：Search[查詢鏡像]->Pull[拉取鏡像]->Run[部署鏡像]

1.查詢Elasticsearch 鏡像：

docker search elasticsearch

elasticsearch-search

ps[注意事項]：

  1. 一般拉取鏡像資源都是從Docker官方倉庫[docker-hub]拉取，或者自己構建的Docker雲倉庫aliyun-docker 等
  2. 本教程選取的ELK鏡像均是基於ELK官方Docker倉庫elastic-io

2.拉取Elasticsearch 鏡像：

docker pull docker.elastic.co/elasticsearch/elasticsearch:7.3.1

elasticsearch-pull

ps[注意事項]：
1.本教程採用7.3.x版本，目前最新版本7.4.x[主要用7.3.x版本在阿里雲搭建過，避免入坑問題]
2.拉取的過程中可能會出現[net/http: TLS handshake timeout]問題,多嘗試幾次,主要是網絡帶寬限制問題

3.修改鏡像名稱:

docker tag docker.elastic.co/elasticsearch/elasticsearch:7.3.1  elasticsearch:latest

elasticsearch-tag

ps[注意事項]：
1.名稱過長導致查看些許不便，通過docker tag source-image[來源鏡像] target-image[目標鏡像]，推薦統一採用[target-image:target-version]格式定義，且不佔用空間，相當於重命名鏡像
2.對於拉取kibana[docker.elastic.co/kibana/kibana:7.3.1]和logstash[docker.elastic.co/logstash/logstash:7.3.1] 都建議修改。

4.部署鏡像服務：
部署命令：

docker run -itd -p 9200:9200 -p 9300:9300 --restart=always --privileged=true --name elasticsearch-server -e "discovery.type=single-node" -e ES_JAVA_OPTS="-Xms=512m -Xms=512m" elasticsearch:latest

默認配置目錄：

/usr/share/elasticsearch/config
/usr/share/elasticsearch/logs

查看容器列表：

docker ps --format "table {{.ID}}\t{{.Names}}\t{{.Ports}}"
![docker ps]

(https://ftp.bmp.ovh/imgs/2019/11/d7e09058af3fadbd.png)
ps[注意事項]:

1.需要開放端口[9200和9300]->9200作爲Http協議，主要用於外部通訊,9300作爲Tcp協議，jar之間就是通過tcp協議通訊,通常部署集羣就是通過9300通信。推薦[宿主機自定義端口:9200]
2.--restart=always :配置容器重啓策略,當宿主機重啓由於配置了開機自啓動，不用手動啓動
3.--privileged：配置容器操作權限[true-root操作權限，false-當前容器用戶操作權限]
4.對於部署網絡模式推薦默認橋接模式,也自定義可以host模式等

5.修改配置：
進入容器：docker exec -it container-id[容器id] or container-name[容器名稱] /bin/bash
例如：docker exec -it f2d2e97da375 /bin/bash #f2d2e97da375-> container-id
docker-exec

修改配置文件:

[root@f2d2e97da375 elasticsearch]# ls 
LICENSE.txt  NOTICE.txt  README.textile  bin  config  data  jdk  lib  logs  modules  plugins
[root@f2d2e97da375 elasticsearch]# 
[root@f2d2e97da375 elasticsearch]# cd config  
[root@f2d2e97da375 config]# ls
elasticsearch.keystore  elasticsearch.yml  jvm.options  log4j2.properties  role_mapping.yml  roles.yml  users  users_roles
[root@f2d2e97da375 config]# vi elasticsearch.yml

添加跨域配置：http.cors.enabled: true && http.cors.allow-origin: "*" 

cluster.name: "docker-cluster"
network.host: 0.0.0.0
http.cors.enabled: true
http.cors.allow-origin: "*"

然後退出exit容器，在宿主機重啓容器：docker restart container-id[容器id] or container-name[容器名稱]
docker restart f2d2e97da375

[root@f2d2e97da375 config]# exit
exit
[root@centos-meteor ~]# docker restart f2d2e97da375
f2d2e97da375
[root@centos-meteor ~]#

ps[注意事項]：
1.進入容器方式：包括使用 docker attach 命令或 docker exec 命令，
推薦使用 docker exec 命令。原因：

  • docker attach: 使用exit退出容器，會導致容器的停止
  • docker exec：使用exit退出容器，不會導致容器的停止
  • 參考docker進入容器的幾種方法博客-docker進入容器的幾種方法
    2.如果Docker安裝了可視化界面 Portainer，推薦採用這種方式進入容器：
    docker-portainer

搭建部署ElasticSearch-Head服務

ElasticSearch-Head：彈性搜索集羣的Web前端界面，是使用Nodjs構建的，主要用於查看ElasticSearch相關信息

1.拉取Elasticsearch-Head 鏡像：docker pull mobz/elasticsearch-head:5

[root@centos-amber ~]# docker pull mobz/elasticsearch-head:5
5: Pulling from mobz/elasticsearch-head
75a822cd7888: Pull complete 
57de64c72267: Pull complete 
4306be1e8943: Pull complete 
871436ab7225: Pull complete 
0110c26a367a: Pull complete 
1f04fe713f1b: Pull complete 
723bac39028e: Pull complete 
7d8cb47f1c60: Pull complete 
7328dcf65c42: Pull complete 
b451f2ccfb9a: Pull complete 
304d5c28a4cf: Pull complete 
4cf804850db1: Pull complete 
Digest: sha256:55a3c82dd4ba776e304b09308411edd85de0dc9719f9d97a2f33baa320223f34
Status: Downloaded newer image for mobz/elasticsearch-head:5
docker.io/mobz/elasticsearch-head:5
[root@centos-amber ~]#

2.修改Elasticsearch-Head 鏡像名稱：docker tag  mobz/elasticsearch-head:5   elasticsearch-head:latest

[root@centos-amber ~]# docker tag  mobz/elasticsearch-head:5        elasticsearch-head:latest
[root@centos-amber ~]# docker images
REPOSITORY                                      TAG                 IMAGE ID            CREATED             SIZE
grafana/grafana                                 latest              05d1bcf30d16        7 days ago          207MB
nginx                                           latest              540a289bab6c        3 weeks ago         126MB
prom/prometheus                                 latest              2c8e464e47f4        3 weeks ago         129MB
moxm/sentinel-dashboard                         latest              0ccaac81584e        4 weeks ago         167MB
portainer                                       latest              4cda95efb0e4        4 weeks ago         80.6MB
portainer/portainer                             latest              4cda95efb0e4        4 weeks ago         80.6MB
apache/skywalking-ui                            latest              fa66ca9c9862        2 months ago        123MB
apache/skywalking-oap-server                    latest              376a37cdf65c        2 months ago        190MB
docker.elastic.co/kibana/kibana                 7.3.1               b54865ba6b0b        2 months ago        1.01GB
docker.elastic.co/elasticsearch/elasticsearch   7.3.1               3d3aa92f641f        2 months ago        807MB
elasticsearch                                   latest              3d3aa92f641f        2 months ago        807MB
prom/node-exporter                              latest              e5a616e4b9cf        5 months ago        22.9MB
google/cadvisor                                 latest              eb1210707573        12 months ago       69.6MB
elasticsearch-head                              latest              b19a5c98e43b        2 years ago         824MB
mobz/elasticsearch-head                         5                   b19a5c98e43b        2 years ago         824MB
tutum/influxdb                                  latest              c061e5808198        3 years ago         290MB
[root@centos-amber ~]#

3.部署Elasticsearch-Head 容器：

docker run -itd --restart=always --privileged=true -p 9100:9100 --name elasticsearch-head-server elasticsearch-head:latest

查看容器服務：

docker ps --format "table {{.ID}}\t{{.Names}}\t{{.Ports}}"

docker-elasticsearch-head

4.瀏覽器訪問：http://remote-ip:9100/
elasticsearch-head

實戰測試ElasticSearch-Head服務

1.準備數據：
BW0ZiF.png

{
    "companyId": "ebcb4f99e0cb4ad781278ae636c1031f",
    "classifyName": "激素檢測",
    "deviceType": "激素檢測",
    "data": {
    	"deviceId": "20000060100000002",
        "deviceNo": "QC00020000060100000002",
        "appid": "00000000",
        "sim": "89860404191792655118",
        "csq": "30",
        "electric": "98",
        "voltage": "13279",
        "softVer": "5143000500010601-01020006|5143000500010601-01010003",
        "hardVer": "5143000500010601-00000002|5143000500010601-00000002",
        "status": "0",
        "date": "2020-09-13 11:23:52",
        "elements": [
        	{
                "key": "20",
                "value": "10",
                "time": "2020-09-13 11:23:52"
            },
            {
                "key": "21",
                "value": "11",
                "time": "2020-09-13 11:23:52"
            },
            {
                "key": "22",
                "value": "12",
                "time": "2020-09-13 11:23:52"
            },
            {
                "key": "23",
                "value": "13",
                "time": "2020-09-13 11:23:52"
            }
        ]
    }
}

2.設置請求頭：application/json;charset=UTF-8
BW0KMR.png

3.發送PUT請求：http://remote-ip/device/deviceData/QC00020000060100000001
BW0tRH.png

{
    "_index": "device",
    "_type": "deviceData",
    "_id": "QC00020000060100000002",
    "_version": 1,
    "result": "created",
    "_shards": {
        "total": 2,
        "successful": 1,
        "failed": 0
    },
    "created": true
}

4.打開瀏覽器查看結果：
BW0gzj.png

實戰搭建ElasticSearch總結

1.部署基本命令：

docker run -itd -p 9200:9200 -p 9300:9300 --restart=always --privileged=true --name elasticsearch-server --network-alias elasticsearch-server --hostname elasticsearch-server -v /docker/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /docker/elasticsearch/data:/usr/share/elasticsearch/data -v /docker/elasticsearch/logs:/usr/share/elasticsearch/logs  -e "discovery.type=single-node" -e ES_JAVA_OPTS="-server -Xms512m -Xmx512m -Xmn256m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m -XX:+AlwaysPreTouch -XX:-UseBiasedLocking " -e TZ="Asia/Shanghai"  elasticsearch:latest

2.配置文件[elasticsearch.yml ]:

cluster.name: elasticsearch-cluster
node.name: elasticsearch-server
network.host: 0.0.0.0
network.bind_host: 0.0.0.0
network.publish_host: 0.0.0.0
http.cors.enabled: true
http.cors.allow-origin: "*"
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
transport.tcp.port: 9300
transport.tcp.compress: true
http.max_content_length: 128mb

3.分詞插件安裝：

./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.5.0/elasticsearch-analysis-ik-7.5.0.zip

4.Docker 部署 ElasticSearch-Head：

docker run -itd --restart=always --privileged=true -p 9100:9100 --network-alias elasticsearch-head-server --name elasticsearch-head-server --hostname elasticsearch-head-server -v /docker/elasticsearch-head/app:/usr/src/app elasticsearch-head:latest

5.ElasticSearch-Head 使用406錯誤：
BWBnk8.png
ajaxSettings部分json配置：

    ajaxSettings: {
      url: ajaxLocation,
      isLocal: rlocalProtocol.test(ajaxLocParts[1]),
      global: true,
      type: "GET",
      //contentType: "application/x-www-form-urlencoded",
      contentType: "application/json;charset=UTF-8",
      processData: true,
      async: true,
      /*
		timeout: 0,
		data: null,
		dataType: null,
		username: null,
		password: null,
		cache: null,
		traditional: false,
		headers: {},
		*/

      accepts: {
        xml: "application/xml, text/xml",
        html: "text/html",
        text: "text/plain",
        json: "application/json, text/javascript",
        "*": "*/*",
      },

inspectData 部分json配置：

  // Detect, normalize options and install callbacks for jsonp requests
  jQuery.ajaxPrefilter("json jsonp", function (s, originalSettings, jqXHR) {
    //var inspectData = s.contentType === "application/x-www-form-urlencoded" &&
    var inspectData =
      (s.contentType === "application/x-www-form-urlencoded" &&
        typeof s.data === "string") ||
      (s.contentType === "application/json;charset=UTF-8" &&
        typeof s.data === "string");

版權聲明：本文爲博主原創文章，遵循相關版權協議，如若轉載或者分享請附上原文出處鏈接和鏈接來源。

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

Qt/C++音視頻開發71-指定mjpeg/h264格式採集本地攝像頭/存儲文件到mp4/設備推流/採集推流

一、前言 用ffmpeg採集本地攝像頭，如果不指定格式的話，默認小分辨率比如640x480使用rawvideo格式，大分辨率比如1280x720使用mjpeg格式，當然前提是這個攝像頭設備要支持這些格式。目前市面上有一些廠家做的本地設備支持

飛揚青雲 2024-04-25 14:40:54

git命令下，mac環境下載依賴相關報錯問題解決方案

1.安裝fundry框架curl -L https://foundry.paradigm.xyz | bash 2.寫入環境變量source /Users/xx/.bashrc 3.foundryup 問題1報錯：致命錯誤：無法訪問 'h

西紅柿愛喫馬鈴薯 2024-04-25 14:40:34

Python函數參數爲列表問題

def ADD(a): print(3,a,hex(id(a))) a.remove(2) print(3,a,hex(id(a))) a=a.append(10)

Danlis 2024-04-25 14:39:54

使用 NestJS 和 qrcode.js 創建 QR 碼生成器 API

前言 QR碼（Quick Response Code）是一種二維碼，於1994年開發。它能快速存儲和識別數據，包含黑白方塊圖案，常用於掃描獲取信息。QR碼具有高容錯性和快速讀取的優點，廣泛應用於廣告、支付、物流等領域。通過掃描QR碼，用戶可

葡萄城技術團隊 2024-04-25 14:39:44

ebpf在Android安全上的應用：ebpf的一些基礎知識(上篇)

ebpf在Android安全上的應用：ebpf的一些基礎知識(上篇) 一、ebpf介紹 eBPF 是一項革命性的技術，起源於 Linux 內核，它可以在特權上下文中（如操作系統內核）運行沙盒程序。它用於安全有效地擴展內核的功能，而無需通過更

windy_2 2024-04-25 14:36:53

CIRCLEQ_INSERT_AFTER, C語言循環隊列

  CMakeLists.txt # CMakeList.txt : CMake project for llist, include source and define # project specific logic here. #

mingzhanghui 2024-04-25 14:34:32

[MDP.BlazorCore] 快速建立跨Web、App執行的BlazorApp專案

團隊資源受限的時候，使用Blazor開發應用系統，只需開發一份程式碼及使用一種程式語言，就同時產出Web跟App應用系統。 本篇文章，紀錄使用MDP.BlazorCore所提供的樣板，快速建立跨Web、App執行的BlazorApp專案。為

Clark159 2024-04-25 14:32:42

Hessian矩陣以及在血管增強中的應用——OpenCV實現【2024年更新】

有別於廣爲人知的Sobel、Canny等一階算法，基於Hessian矩陣能夠得到圖像二階結果，這將幫助我們深入分析圖像本質。 Hessian矩陣在圖像處理中有着廣泛的應用：其中在圖像分割領域，包括邊緣檢測、紋理分析等；在圖像增強領域，包括邊

jsxyhelu 2024-04-25 14:32:02

七天.NET 8操作SQLite入門到實戰 - （2）第七天Blazor班級管理頁面編寫和接口對接

前言 上一章節我們引入BootstrapBlazor UI組件完成了EasySQLite後臺界面的基本架子的搭建，本章節的主要內容是Blazor班級管理頁面編寫和接口對接。 七天.NET 8 操作 SQLite 入門到實戰詳細教程 第一天

追逐時光 2024-04-25 14:30:41

WPF開源輕便、快速的桌面啓動器

前言 今天大姚給大家分享一款WPF開源、簡單、輕便、快速的桌面啓動器（支持多主題、多語言：簡體中文、繁體中文、英文等）：CurvaLauncher。 WPF介紹 WPF 是一個強大的桌面應用程序框架，用於構建具有豐富用戶界面的 Window

追逐時光 2024-04-25 14:30:41

MySQL 分庫分表方案，總結太全了。。

來源：https://www.cnblogs.com/405845829qq/p/7552736.html 前言 公司最近在搞服務分離，數據切分方面的東西，因爲單張包裹表的數據量實在是太大，並且還在以每天60W的量增長。 之前瞭解過數據庫的

Java技術棧 2024-04-25 14:30:11

公司來了個新同事，把 DDD 運用得爐火純青！

前言 我們生活中都聽說了DDD，也瞭解了DDD，那麼怎麼將一個新項目從頭開始按照DDD的過程進行劃分與架構設計呢？ 一、專業術語 各種服務 IAAS：基礎設施服務，Infrastructure-as-a-service PAAS：平臺服務

Java技術棧 2024-04-25 14:30:11

抖音的倒水問題, 計算機bfs求解

暴力求解 bfs方法.並且找到的一定是最少步驟 問題: 抖音上面又來了一個倒水遊戲 例子: 3個杯子, 容量12, 9, 5 上來12是滿的. 然後都沒有刻度只能倒到一個滿這種倒法, 然後最後希望倒出2個6ml的. # 抖音上面又來了一個倒

張博的博客 2024-04-25 14:28:41

tar和zip包加密解密壓縮

    1、概述 嗯，最近有些機密文件無處安放，因爲太機密了，後來確定加密後放到服務器上。研究一番後發現tar和zip命令都能實現，所以在此記錄一下。 壓縮：tar -zcvf - ./packageTest | openssl des3

馬昌偉 2024-04-25 14:22:40

解決mysql 事務死鎖的方法

使用以下命令查看引擎的狀態 SHOW ENGINE INNODB STATUS;   如果有事務死鎖可以看到如下圖的關鍵字   找到上圖的線程id 使用 kill 57763 .解決問題。 問題回放，事務死鎖如何產生？ 本地調試

雨V幕 2024-04-25 14:22:00