centos7使用Elasticsearch收集日誌和指標
一、安裝jdk1.8（已安裝）
java -version
二、下載二進制安裝包
官網：ES下載地址
Wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.0.1-linux-x86_64.tar.gz
在其他節點重複執行
三、解壓到相關目錄，創建目錄鏈接
tar -zvxf elasticsearch-7.0.1-linux-x86_64.tar.gz -C /usr/local/
ln -s /usr/local/elasticsearch-7.0.1/ /usr/local/elasticsearch
四、創建elasticsearch相關的組和用戶
groupadd elk
useradd elk -g elk
五、創建elasticsearch相關的目錄，並修改相關文件的權限
mkdir -p /opt/data/elasticsearch/{data,logs}
chown -R elk:elk /usr/local/elasticsearch-7.0.1/
chown -R elk:elk /opt/data/elasticsearch/
六、修改配置文件，注意！！！
（1）cluster.name，集羣名，同一集羣保持一致
（2）node.name，節點名，集羣下，節點名唯一，不能重複
（3）path.data: /opt/data/elasticsearch/data，數據目錄
（4）path.logs: /opt/data/elasticsearch/logs，日誌目錄
（5）network.host：監聽的IP地址
（6）http.port：監聽的端口
（7）discovery.seed_hosts：集羣初始化發現的節點通訊地址
（8）cluster.initial_master_nodes: 集羣初始化發現的節點
七、啓動elasticsearch
su elk
cd /usr/local/elasticsearch
bin/elasticsearch -d
八、elasticsearch錯誤收集
（1）max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536] 意思是說你的進程不夠用了
解決方案：
切到root 用戶，執行命令vim /etc/security/limits.conf
在文件的末尾添加下面的參數值：
- soft nofile 65536
- hard nofile 131072
- soft nproc 2048
- hard nproc 4096
前面的*符號必須帶上，然後重新啓動就可以了。執行完成後可以使用命令 ulimit -n 查看進程數
ulimit -n
65536
（2）max virtual memory areas vm.max_map_count [65530]is too low, increase to at least [262144]，需要修改系統變量的最大值了
解決方案：
vi /etc/sysctl.conf
#修改配置sysctl.conf增加配置值
vm.max_map_count=655360
執行命令 sysctl -p，然後重新啓動ES服務
（3）org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elasticsearch as root
因爲安全問題elasticsearch 不讓用root用戶直接運行，所以要創建新用戶。
解決方案：
切換elk用戶命令：su - elk
（4）Centos7不支持SecComp，而ES默認bootstrap.system_call_filter爲true進行檢測，所以導致檢測失敗，失敗後直接導致ES不能啓動。
解決方案：
vi /usr/local/elasticsearch/config/elasticsearch.yml
#在elasticsearch.yml中新增配置bootstrap.system_call_filter，設爲false。
bootstrap.system_call_filter: false
九、elasticsearch測試訪問
（1）curl -X GET “10.0.1.87:9200/_cluster/health?pretty”
（2）瀏覽器訪問：10.0.1.87:9200
十、安裝kibana
（1）下載kibana對應版本的安裝包
Wget https://artifacts.elastic.co/downloads/kibana/kibana-7.0.1-linux-x86_64.tar.gz
（2）解壓安裝包到指定目錄
tar -zvxf kibana-7.0.1-linux-x86_64.tar.gz -C /usr/local/
ln -s /usr/local/kibana-7.0.1-linux-x86_64/ /usr/local/kibana
（3）kibana配置文件
cd /usr/local/kibana/config/
server.port: 5601
server.host: “10.0.1.87”
elasticsearch.hosts: [“http://10.0.1.87:9200”,“http://10.0.1.88:9200”,“http://10.0.1.89:9200”]
#elasticsearch.username: “user”
#elasticsearch.password: “pass”
（4）啓動kibana
/usr/local/kibana/bin/kibana &
（5）測試
ss -antlup | grep 5601
十一、日誌和指標收集
（1）系統日誌和指標
（2）Apache日誌和指標
（3）Nginx日誌和指標
（4）ES日誌和指標
（5）IIS日誌和指標
（6）Kafka日誌和指標
（7）Logstash日誌和指標
（8）Mysql日誌和指標
（9）postgreSQL日誌和指標
（10）Redis日誌和指標
（11）SQLServer、MongoDB指標
十二、Filebeat日誌收集（Elasticsearch logs）
參考文檔：
Filebeat日誌
（1）下載並安裝 Filebeat
curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.0.1-x86_64.rpm
sudo rpm -vi filebeat-7.0.1-x86_64.rpm
（2）編輯配置
output.elasticsearch:
hosts: ["<es_url>"]
username: “elastic”
password: “”
setup.kibana:
host: “<kibana_url>”
其中， 是 elastic 用戶的密碼，<es_url> 是 Elasticsearch 的 URL，<kibana_url> 是 Kibana 的 URL。
（3）啓用和配置 elasticsearch 模塊
sudo filebeat modules enable elasticsearch
（4）修改elasticsearch配置文件
Vi /etc/filebeat/modules.d/elasticsearch.yml
link
修改日誌路徑
（5）啓動 Filebeat
sudo filebeat setup
sudo service filebeat start
（6）模塊狀態
Kibana查看數據
十三、Metricbeat 指標收集
（1）下載並安裝 Metricbeat
curl -L -O https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-7.0.1-x86_64.rpm
sudo rpm -vi metricbeat-7.0.1-x86_64.rpm
（2）編輯配置
修改 /etc/metricbeat/metricbeat.yml 以設置連接信息：
output.elasticsearch:
hosts: ["<es_url>"]
username: “elastic”
password: “”
setup.kibana:
host: “<kibana_url>”
其中， 是 elastic 用戶的密碼，<es_url> 是 Elasticsearch 的 URL，<kibana_url> 是 Kibana 的 URL。
（3）啓用和配置 kafka 模塊
sudo metricbeat modules enable kafka
在 /etc/metricbeat/modules.d/kafka.yml 文件中修改設置。
link
（4）啓動 Metricbeat
sudo metricbeat setup
sudo service metricbeat start
（5）模塊狀態
確認從 Metricbeat kafka 模塊收到數據