fluentd日誌處理-安裝配置（一）

主機安裝td-agent

curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh | sh
yum remove 應用名

docker命令總結

docker安裝fluentd的官方文檔
https://hub.docker.com/r/fluent/fluentd

執行這條命令拉取docker images，並運行
docker run -d -p 24224:24224 -p 24224:24224/udp -v /data:/fluentd/log fluent/fluentd
docker exec -it cd499192c2a3 /bin/sh

安裝rubygems庫

這裏主要是升級一下ruby庫和安裝基礎的依賴包

 buildDeps="sudo make gcc g++ libc-dev ruby-dev" \
 && apt-get update \
 && apt-get install -y --no-install-recommends $buildDeps \
 && sudo gem install \
        fluent-plugin-elasticsearch \
對安裝的軟件包做一下清除，可以減小images的大小
 sudo gem sources --clear-all \
 && SUDO_FORCE_REMOVE=yes \
    apt-get purge -y --auto-remove \
                  -o APT::AutoRemove::RecommendsImportant=false \
                  $buildDeps \
 && rm -rf /var/lib/apt/lists/* \
           /home/fluent/.gem/ruby/2.3.0/cache/*.gem          
apt-get update
apt-get install rubygems build-essential

安裝插件

我們需要ES、S3、geoip、rewrite-tag-filter

gem install fluent-plugin-elasticsearch
gem install fluent-plugin-s3
gem install fluent-plugin-rewrite-tag-filter
gem install fluent-plugin-multi-format-parser
fluent-gem install fluent-plugin-multi-format-parser
fluentd安裝geoip時，必須安裝“libmaxminddb”，先把依賴包安裝好後，geoip就能裝上了。
apk add --update --virtual .build-deps sudo build-base ruby-dev
apk add --no-cache geoip geoip-dev libmaxminddb
apk add automake autoconf libtool
/usr/bin/gem install fluent-plugin-geoip
gem install geoip2_c

geoip數據庫的安裝

cd /home/ec2-user/Fluentd/plugin
wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz
gunzip GeoLiteCity.dat.gz