原创 ELK日誌監控分析系統Logstash詳解之——filter模塊

摘要: Logstash三個組件的第二個組件,也是真個Logstash工具中最複雜,最蛋疼的一個組件,當然,也是最有作用的一個組件。 1、grok插件 grok插件有非常強大的功能,他能匹配一切數據,但是他的性能和對資源的損耗同樣讓人詬病

原创 elasticsearch6.2和logstash啓動出現的錯誤

elasticsearch6.2啓動失敗,出現如下提示:1、Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c5330000, 98

原创 ELK日誌監控分析系統Logstash詳解之——output模塊

摘要: Logstash的output模塊,相比於input模塊來說是一個輸出模塊,output模塊集成了大量的輸出插件,可以輸出到指定文件,也可輸出到指定的網絡端口,當然也可以輸出數據到ES.在這裏我只介紹如何輸出到ES,至於如何輸出到

原创 ELK實戰篇--logstash日誌收集eslaticsearch和kibana

前篇:ELK6.2.2日誌分析監控系統搭建和配置ELK實戰篇好,現在索引也可以創建了,現在可以來輸出nginx、apache、message、secrue的日誌到前臺展示(Nginx有的話直接修改,沒有自行安裝)編輯nginx配置文件,修

原创 ELK日誌監控分析系統Logstash詳解之——input模塊

摘要: Logstash由三個組件構造成,分別是input、filter以及output。我們可以吧Logstash三個組件的工作流理解爲:input收集數據,filter處理數據,output輸出數據。至於怎麼收集、去哪收集、怎麼處理、

原创 linux配置bond雙網卡綁定

第一步:# vi /etc/sysconfig/network-scripts/ifcfg-bond0 DEVICE=bond0 BONDING_OPTS="mode=0 miimon=100" BOOTPROTO=none O

原创 ELK日誌分析Elasticsearch模塊——語法基礎CRUD

摘要: ElastICsearch的基本操作:增刪改查,有必要了解,以備不時之需. 增刪改查是數據庫的基礎操作方法。ES 雖然不是數據庫,但是很多場合下,都被人們當做一個文檔型 NoSQL 數據庫在使用,原因自然是因爲在接口和分佈式架構層

原创 阿里雲OSS遷移到騰訊雲COS使用工具COS_MIGRATION 方法一

cos_migration遷移工具可以將您在阿里雲存儲上的文件同步到騰訊雲對象存儲(COS)上。功能說明主要特性:支持斷點續傳支持並行數據下載/上傳支持自動同步增量數據客戶只需配置阿里雲的存儲信息以及騰訊雲(COS)的賬號信息,運行工具,

原创 中小團隊基於Docker的devops實踐—持續集成自動部署elk日誌加zabbix告警

筆者所在的技術團隊負責了數十個項目的開發和維護工作,每個項目都至少有dev、qa、hidden、product四個環境,數百臺機器,在各個系統之間疲於奔命,解決各種瑣碎的問題,如何從這些瑣碎的事情中解放出來?devops成了我們不二的選

原创 在Nginx上配置多個站點

有時候你想在一臺服務器上爲不同的域名運行不同的站點。比如www.siteA.com作爲博客,www.siteB.com作爲論壇。你可以把兩個域名的IP都解析到你的服務器上,但是沒法在Nginx的根目錄裏同時運行兩個不同的網站。這時候,你就

原创 3、node之pm2搭建node生產環境

pm2保駕護航 pm2 是一個帶有負載均衡功能的 node 應用進程管理工具 forever已經out了,嚴重推薦pm2方式運行nodejs,這是最好的,沒有之一。 內建負載均衡(使用 Node cluster 集羣模塊) 後臺運行0

原创 Linux 下ssh sftp配置之密鑰方式登錄詳解

     由於vsftp採用明文傳輸,用戶名密碼可通過抓包得到,爲了安全性,需使用sftp,鎖定目錄且不允許sftp用戶登到服務器。由於sftp使用的是ssh協議,需保證用戶只能使用sftp,不能ssh到機器進行操作,且使用密鑰登陸、不是