從零進階--教你如何使用Filebeta實現日誌可視化收集
簡介:
Filebeat是一個開源的文件收集器,也是一款輕量級的日誌傳輸工具。採用go語言開發,重構logstash採集器源碼,安裝在服務器上作爲代理來監視日誌目錄或特定的日誌文件,並把它們發送到logstash或elasticsearch,然後在Kibana上實現可視化。
其他介紹可參考官方文檔:
一、Filebeat安裝
下載地址:
源碼安裝:
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.4.1-linux-x86_64.tar.gz
rpm下載安裝:
curl -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.4.1-x86_64.rpm rpm -ivh filebeat-6.4.1-x86_64.rpm
下面我們以rpm安裝
二、Filebeat應用
因爲我的是以rpm安裝的,所以我們可以在/etc/filebeat/下面發現有filebeat.yml
我們可以發現在filebeat.yml配置文件裏面,主要配置的模塊有兩個
Filebeat: 在這個模塊裏面,我們可以配置監控的日誌,通過這個模塊,我們可以指定日誌的絕對路徑,日誌的類型,感知更新時間等等的·一些配置。
Output:在這個模塊裏面,主要的作用的是,filesbetas收集的日誌輸出到哪裏,在這裏,我們可以配置elasticsearch和logstash,兩者二選一就可以了。
配置收集日誌目錄:
/etc/filebeat/filebeat.yml
下面以獲取nginx的日誌爲例
安裝Elasticsearch GeoIP和用戶代理插件
在es的服務器上:
#su - www #cd /usr/local/elasticsearch #bin /elasticsearch-plugin install ingest-geoip #bin /elasticsearch-plugin install ingest-user-agent
三、Filebeat採集數據,寫入到elasticsearch
修改Filebeat配置
#vim /etc/filebeat/filebeat.yml filebeat.inputs: - type: log #定義日誌格式 enabled: true paths: - /data/wwwlogs/*.log #定義日誌的路徑 output.elasticsearch: hosts: ["172.25.0.30:9200"] #定義的es的url username: "elastic" 定義es的賬號,已做安全連接 password: "changeme" setup.kibana: host: "172.25.0.30:5601" #定義kibana的url
啓動filebeat
#cd /etc/filebeat #filebeat modules enable nginx
修改/etc/filebeat/modules.d/nginx.yml
文件中的設置
#vim /etc/filebeat/modules.d/nginx.yml # cat modules.d/nginx.yml - module: nginx # Access logs access: enabled: true var.paths: ["/data/wwwlogs/*.log"] # Error logs error: enabled: true var.paths: ["/data/wwwlogs/error.log"] #filebeat setup # service filebeat start Starting filebeat (via systemctl): [ OK ]
進去kibana添加filebeat
下一步就可以創建完畢了
創建完畢後
我們直接跳到Discover,查看我們獲取的數據
可以發現我們是已經獲取到nginx的完整的數據了
繼續查看我們的nginx的儀表板。
我們可以發現,我已經可以通過filebeat採集到nginx的日誌的數據了,並生成的數據圖像,到這裏我們的獲取數據就完成了,elasticsearch通過filebeat獲取數據就完成了。
四、Filebeat採集數據,寫入到logstash
1、修改Filebeat配置
#vim /etc/filebeat/filebeat.yml filebeat.inputs: - type: log #定義日誌格式 enabled: true paths: - /data/wwwlogs/*.log #定義日誌的路徑 output.logstash: # The Logstash hosts hosts: ["172.25.0.30:5044"]
2、配置logstash
logstash服務器:
因爲需要配置logstah來獲取數據,所以我們需要配置logstash
#vim /etc/logstash/conf.d/filebeat.conf
input { beats { port => "5044" #定義輸入端口 } } filter { grok { match => { "message" => "%{COMBINEDAPACHELOG}" } } date { match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ] target => ["datetime"] } geoip { source => "clientip" } } output { elasticsearch { hosts => "172.25.0.30:9200" #定義輸出的es的url。 index => "nginx_log" #定義標題索引 } stdout { codec => rubydebug } }
更改權限
#chown www:www /etc/logstash/conf.d/filebeat.conf
3、啓動logstash,測試
# ./usr/local/src/logstash-6.3.0/bin/logstash -f /etc/logstash/conf.d/filebeat.conf
啓動之後,可以發現logstash已經從filebeat收集到數據了
查看logstash的啓動狀態,發現5044已經起來了。
4、添加索引,出數據
查看是否已經獲取到數據
我們發現已經是可以獲取到目標主機的nginx日誌了。到這裏我們使用logstash獲取日誌就完成了。
五、總結
Filebeat不僅僅可以收集nginx,還可以收集mysql、apache、redis和系統日誌。從我們的搭建過程來看,可以發現filebeat配置並不是很難,不過更好的應用還是需要進一步熟悉才行。。