這篇文章主要給大家介紹了關於如何利用MongoDB存儲Docker日誌的相關資料,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友沒呢下面隨着小編來一起學習學習吧
前言
日誌是系統很重要的一個組成部分,通過日誌可以及時發現系統中存在的問題,也可以爲修復問題提供線索。Docker提供了多種插件方式管理日誌,本文就對使用MongoDB存儲Docker日誌的過程做個記錄。
數據流
Docker產生的日期 發送到 FluentD,然後FluentD在轉存到MongoDB。
配置Fluentd
前提:操作系統是CentOS7,已安裝MongoDB3.4
1. 安裝Fluentd
CentOS 7的軟件庫並沒有包含Fluentd的安裝包,所以需要手動安裝。在CentOS使用的軟件td-agent。
# curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent3.sh | sh
上面命令會在/etct/yum.repo.d/目錄中,創建一個td-agent的安裝庫 td.repo,然後自動安裝td-agent。安裝完畢後設爲自動啓動。
# systemctl start td-agent # systemctl enable td-agent
如果在啓動過程中出現問題,可以查看位於/var/log/td-agent/下日誌文件td-agent.log
2. 配置將docker日誌轉存到MongoDB
轉存到MongoDB需要插件支持,但是默認情況下td-agent是沒有安裝該插件的,需要安裝。
# yum -y install td-agent-gemt # td-agent-gem install fluent-plugin-mongo
編輯/etc/td-agent/td-agent.conf,增加
## match tag=docker.* and dump to mongodb ## 在docker啓動容器時,日誌的tag要符合docker.*的形式 <match docker.*> @type mongo # 數據庫地址 host 127.0.0.1 # 數據庫端口 port 22017 # 存儲日誌的數據庫和數據集名稱 database docker collection log </match>
重啓td-agent。
啓動容器
啓動容器的命令改爲:
$ docker run --mount type=bind,source=/home/demo/app,destination=/app --log-driver=fluentd --log-opt tag="docker.log" python3:latest python3 /app/test.py
運行完畢後,可以到MongoDB中查看日誌。
後續
但是在實際的使用過程中,卻發現Docker生成的日誌並不會立即寫入到MongoDB中,有大概1分鐘左右的延遲。
查閱Fluentd的文檔得知,有一個flush參數可以控制日誌的寫入頻率,默認的是60s。更改flush_interval參數就可以提高寫入頻率,具體更改如下:
## match tag=docker.* and dump to console <match docker.*> @type mongo host 127.0.0.1 port 22017 database docker collection log <buffer> flush_mode interval flush_interval 1s </buffer> </match>
剛開始對文檔理解不太透徹,增加了flush_interval參數後,並沒有發揮作用,第一次更改時,並沒有將flush_mode和flush_interval放在buffer結構中。也就是:
## match tag=docker.* and dump to console <match docker.*> @type mongo host 127.0.0.1 port 22017 database docker collection log flush_mode interval flush_interval 1s </match>
從日誌中也可以看出上面的配置,並沒有發揮作用:
2018-01-19 14:33:32 +0800 [warn]: parameter '**flush_mode**' in <match docker.*> @type mongo host "1270.0.0.1" port 22017 database "docker" collection "log" flush_mode interval flush_interval 1s buffer_chunk_limit 8m time_key time <inject> time_key time time_format %Y-%m-%d %H:%M:%S.%L </inject> </match> is not used.
上面說flush_mode並沒有起作用。
總結
以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作具有一定的參考學習價值,如果有疑問大家可以留言交流,謝謝大家對神馬文庫的支持。
參考文檔: