ELK日誌平臺搭建logstash+elasticsearch+redis+Kibana

安裝redis

首先下載redis

wget http://download.redis.io/releases/redis-3.0.4.tar.gz

下載之後解壓，編譯安裝

tar -zvxf redis-3.0.4.tar.gz

make

make install

然後啓動redis

redis-server redis.conf &

添加&符號表示後臺啓動

安裝logstash

服務器端

首先安裝java環境這裏使用比較簡單的方法

yum install jdk –y

如果你手動安裝的話建議安裝java1.8

下載logstash

wget https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz

下載之後解壓

tar –zxvf logstash-1.5.4.tar.gz

然後到logstash目錄下，創建config目錄並創建一個logstash_server.conf文件，創建logs目錄存放日誌並創建logstash.log文件

編輯文件

vim logstash_server.conf

將一下內容寫入到logstash_server.conf中

input { 
        redis { 
                host => "127.0.0.1"           #本地的reds地址 
                port => 6379                      #redis端口 
                type => "redis-input"           #輸入類型 
                data_type => "list"               #使用redis的list存儲數據 
                key => "key_count" 
        } 
}

output { 
        stdout {} 
        elasticsearch { 
                host => "127.0.0.1"               #elasticsearch地址 
                cluster => "elasticsearch" 
                codec => "json" 
                protocol => "http"                  #elasticsearch使用的協議 
        } 
}

配置完成後啓動logstash

bin/logstash agent --verbose --config config/logstash_server.conf --log logs/logstash.log &

 

數據採集端

數據採集端的安裝步驟與服務器端的安裝步驟相同

只是在配置文件有所不同

在數據採集端創建logstash_client.conf

數據採集端的conf文件配置爲：

input {
	file {
		type => "type_count"                  

                 #日誌所在的目錄

   	        path => "/data/logs/count/stdout.log", "/data/logs/count/stderr.log"]
		exclude => ["*.gz", "access.log"]   #排除一些不想加入的日誌
	}   
}

output {
	stdout {}
	redis {
		host => "192.168.0.65"
		port => 6379
		data_type => "list"         #數據類型也要保持一致
		key => "key_count"          #key 要與服務器端的相同 
	}   
}

配置完成後啓動logstash

bin/logstash agent --verbose --config config/logstash_server.conf --log logs/logstash.log &

 

安裝elasticsearch

下載elasticsearch

wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.2.tar.gz

解壓： tar –zvxf elasticsearch-1.7.2.tar.gz

elasticsearch 不需要特別的配置，只需要啓動即可

切到elasticsearch的目錄下進行啓動：bin/elasticsearch –d

-d命令表示後臺啓動elasticsearch

安裝kibana

下載kibana

wget https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz 

解壓：tar –zxvf kibana-4.1.2-linux-x64.tar.gz

kibana需要配置一下elasearch所在的服務器地址

切到kibana的目錄下

vim config/kibana.yml 

找到   elasticsearch_url: "http://localhost:9200" 這一行修改爲 elasticsearch_url: http://127.0.0.1:9200 
kibana的啓動需要需要一個.kibana的隱藏文件，可以在啓動kibana之後執行下面的命令：

curl -XPUT localhost:9200/.kibana

 

測試安裝是否成功

我們啓動redis監控輸入的信息

redis-cli –p 6379 mointor

然後我們到客戶端的日誌文件中寫入一些測試信息：

 

echo 'this is a test message!' >>  /data/logs/count/stderr.log

會看到服務器端接收到信息：

到此，基本的搭建就已經完成了

到瀏覽器訪問即可：http://192.168.0.65:5601