原创 Authentication token manipulation error
問題 root密碼修改時報Authentication token manipulation error錯誤： 分析 linux系統中，賬戶的密碼都是存儲在/etc/shadow文件中，要修改賬戶的密碼必定要修改shadow文件。這裏出現這
2019-02-22 16:59:45
1
原创 Elasticsearch常用的的RESTful API
所有其他語言可以使用 RESTful API 通過端口 9200 和 Elasticsearch 進行通信，你可以使用WEB客戶端或者curl命令來和ES交互。下面介紹用curl命令來交互的具體用法： 一、格式 curl -X<VERB>
2019-02-22 16:59:44
原创 ELK6.5+Beats6.5+Kafka2.1.0集羣搭建
環境架構 對於能安裝Beats的設備，我們直接使用Beats來收集日誌，對於不能安裝Beats的設備（例如防火牆、交換機等），我們配置Rsyslog遠程傳輸到Logstash收集端，最後都發送到Kafka隊列裏。 一、 Elastics
2019-02-22 16:59:44
10
原创 ELK實戰--利用auditbeat採集系統審計日誌並生成視圖
一、背景 Auditbeat是輕量型的審計日誌採集器，可以收集linux審計框架的數據、監控文件完整性。能夠組合相關消息到一個事件裏，生成標準的結構化數據，方便分析，而且能夠與Logstash、Elasticsearch和Kibana無縫集
2019-02-22 16:59:41
142
原创 ELK+Beats+Kafka集羣搭建
環境架構 對於能安裝Beats的設備，我們直接使用Beats來收集日誌，對於不能安裝Beats的設備（例如防火牆、交換機等），我們配置Rsyslog遠程傳輸到Logstash收集端，最後都發送到Kafka隊列裏。 一、 Elastics
2019-02-16 13:28:14
1
原创 Elasticsearch涉及的RESTful API
所有其他語言可以使用 RESTful API 通過端口 9200 和 Elasticsearch 進行通信，你可以使用WEB客戶端或者curl命令來和ES交互。下面介紹用curl命令來交互的具體用法： 一、格式 curl -X<VERB>
2019-01-31 13:46:37
原创 利用auditbeat採集系統審計日誌並生成圖像
一、背景 Auditbeat是輕量型的審計日誌採集器，可以收集linux審計框架的數據、監控文件完整性。能夠組合相關消息到一個事件裏，生成標準的結構化數據，方便分析，而且能夠與Logstash、Elasticsearch和Kibana無縫集
2019-01-18 13:45:34
83
原创 ELK分析MySQL慢查詢日誌並生成圖像
一、背景 1.MySQL慢查詢日誌格式： # Time: 181109 15:04:08 # User@Host: t***[t***] @ [172.16.14.51] Id: 8960747 # Query_time: 35.918
2018-11-10 02:24:24
4
原创 Logstash常用正則表達式
grok-patterns USERNAME [a-zA-Z0-9._-]+ USER %{USERNAME} EMAILLOCALPART [a-zA-Z][a-zA-Z0-9_.+-=:]+ EMAILADDRESS %{EMAILLO
2018-11-03 02:26:49
原创 ELK分析Apache訪問日誌並生成圖像
一、背景 我們的ELK架構如下圖所示，各個應用節點日誌直接通過rsyslog實時傳輸到Logstash節點，Logstash對生成的各節點日誌文件做處理後傳輸到Elashticsearch。 二、 logstash配置文件 input部分
2018-11-02 02:24:46
6
原创 Elasticsearch索引定時清理
問題 近期,kibana頁面上出現Elasticsearch plugin is red錯誤信息,重啓elasticsearch後又頻繁出現該問題,觀察elasticsearch發現各節點之間出現連接超時的現象. 解決方法 懷疑是索引條目太
2018-10-31 02:25:14
原创 Authentication token manipulation error
問題 root密碼修改時報Authentication token manipulation error錯誤： 分析 linux系統中，賬戶的密碼都是存儲在/etc/shadow文件中，要修改賬戶的密碼必定要修改shadow文件。這裏出現這
2018-10-26 02:30:25
原创 python數據庫適配器（一）
如上圖是應用程序與關係型數據庫的多層通信，第一個框一般是C/C++程序，後兩個框是python程序。在python應用中，都是使用數據庫適配器去訪問數據庫的，不同數據庫有不同的適配器，但是都有一套標準，具體屬性如下：python的DB-AP
2018-09-10 03:51:17