安裝
1、官網下載相應安裝包
2、解壓到安裝目錄
3、編輯配置文件logstash.conf(在bin目錄中，沒有的話，可以自己新建一個)
input {
file { # 指定一個文件作爲輸入源
path => “D:/install/nginx-1.14.2/logs/elk_access.log” # 指定文件的路徑
start_position => “beginning” # 指定何時開始收集
type => “nginx” # 定義日誌類型，可自定義
}
}
filter { # 配置過濾器
grok {
match => { “message” => “%{IPORHOST:http_host} %{IPORHOST:clientip} - %{USERNAME:remote_user} [%{HTTPDATE:timestamp}] “(?:%{WORD:http_verb} %{NOTSPACE:http_request}(?: HTTP/%{NUMBER:http_version})?|%{DATA:raw_http_request})” %{NUMBER:response} (?:%{NUMBER:bytes_read}|-) %{QS:referrer} %{QS:agent} %{QS:xforwardedfor} %{NUMBER:request_time:float}”} # 定義日誌的輸出格式
}
geoip {
source => “clientip”
}
}
output {
stdout { codec => rubydebug }
elasticsearch {
hosts => [“127.0.0.1:9200”]
index => “nginx-test-%{+YYYY.MM.dd}”
}
}
編輯完配置文件之後，還需要檢測配置文件是否有錯：
D:\install\elastic\Logstash\logstash-6.5.3\bin> .\logstash.bat -f .\logstash.conf --config.test_and_exit
-f 指定需要被檢測的配置文件的路徑
–config.test_and_exit 指定檢測完之後就退出，不然就會直接啓動了
出現如下圖表示配置無誤
4、檢查完畢之後，進入你的nginx主機配置文件所在的目錄中，修改配置文件：
>server {
listen 80;
#server_name '';
location / {
proxy_pass http://192.168.77.128:5601;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
access_log /tmp/elk_access.log main2;
}
log_format main2 '$http_host $remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$upstream_addr" $request_time';
5、完成以上配置文件的編輯之後，檢測配置文件有沒有錯誤，沒有的話就啓動Nginx：
6、啓動完成之後，就可以直接輸入127.0.0.1就可以直接訪問kibana了（因爲配置的是80端口）
7、通過瀏覽器訪問http://127.0.0.1:9200/_cat/indices?v
可以看到，nginx-test索引已經生成了，那麼這時就可以到kibana上配置該索引：
使用beats採集日誌
之前也介紹過beats是ELK體系中新增的一個工具，它屬於一個輕量的日誌採集器，以上我們使用的日誌採集工具是logstash，但是logstash佔用的資源比較大，沒有beats輕量，所以官方也推薦使用beats來作爲日誌採集工具。而且beats可擴展，支持自定義構建。
官方介紹：
https://www.elastic.co/cn/products/beats
在 主節點 上安裝filebeat，filebeat是beats體系中用於收集日誌信息的工具：
安裝方法一樣 官網下載/服務器下載
編輯配置文件filebeat.yml
filebeat.inputs:
- type: log
paths:
- D:/install/nginx-1.14.2/logs/elk_access.log
output.elasticsearch:
hosts: ["localhost:9200"]
修改完成後就可以啓動filebeat服務了：
D:\install\elastic\Filebeat\filebeat-6.5.4-windows-x86_64> .\filebeat.exe
啓動成功後，到es服務器上查看索引，可以看到新增了一個以filebeat-6.5.4開頭的索引，這就代表filesbeat和es能夠正常通信了：(上圖中已經展示了)
以上這就是如何使用filebeat進行日誌的數據收集，可以看到配置起來比logstash要簡單，而且佔用資源還少。