logstash學習

原創 原創 2021-12-25 21:37

目前公司微商城已經上了k8s，但是日誌查看不是很方便，感覺沒有之前在虛擬機上（vm）上查看日誌方便。因爲之前的日誌是按照日期，進行壓縮打包的，但是在k8s中，查看日誌就沒有那麼方便，也不用用grep這些管道來方便查詢。

###安裝

cd 
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.3.1.tar.gz
tar zxvf logstash-7.3.1.tar.gz
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

如何保障服務的高可用：提升可觀測性

保障服務的高可用，必不可少的措施，就是需要對服務資源使用度量情況、運行異常、邏輯錯誤、請求鏈路、等各項度量指標、日誌和鏈路瞭如指掌，並且通過對服務的實時監控和分析，配置指標預警值，對異常進行告警，通知到相關負責人，通過可觀測性的提升，預防和

原創 2024-02-26 00:41:47

Java日誌框架學習

前言   Java開發者對於日誌框架，想必都不陌生。我自己使用過的有Log4j、logback。作爲Java開發者，應該都遇到因日誌包衝突導致的異常問題，排查過程也或多或少知曉 Java日誌接口包、橋接包、產品包的混亂關係，本篇目的是爲了

原創 2024-02-22 23:52:29

阿里雲消息隊列 Kafka 生態集成的實踐與探索

消息隊列 Kafka 簡介 Apache Kafka是一個分佈式流平臺，作爲互聯網領域不可或缺的消息組件，在全球獲得了廣泛的應用。在使用過程中，Kafka一般被作爲消息流轉的核心樞紐，上下游系統通過Kafka實現異步，削峯填谷。在大數據處

原創 2023-03-01 00:13:05

微服務日誌調用鏈事件(request-id)，從nginx到elk

Nginx生成request-id 每次請求通過nginx時，生成一個request-id,添加到請求頭上。 通過nginx內置的 $request_id 實現 proxy_set_header X-Request-Id $reque

原創 2022-04-30 13:40:44

es使用記錄

此文章要對ES有一些基礎 應用背景：官網重建，需要全網站檢索所有的文章、服務、附件等；數據庫設計上，由於業務隔離的原因，數據被分散在各個表中 技術選型：在開發週期限制條件下，準備了兩個方案：                   1、查詢直

原創 2022-04-30 12:55:14

logstash將mysql數據映射到es過程中的date數據格式問題

問題現象： {"index"=>{"_index"=>"product", "_type"=>"_doc", "_id"=>"146", "status"=>400, "error"=>{"type"=>"mapper_parsing_e

原創 2022-04-30 11:49:21

甲方安全建設之日誌採集實操乾貨

前言 沒有永遠的安全，如何在被攻擊的情況下，快速響應和快速溯源分析攻擊動作是個重要的話題。想要分析攻擊者做了什麼、怎麼攻擊進來的、還攻擊了誰，那麼日誌是必不可少的一項，因此我們需要儘可能採集多的日誌來進行分析攻擊者的動作，甚至在攻擊者剛落

原創 2024-04-07 22:46:03

centos7 搭建elasticsearch8.8.1

1、下載    官網：https://www.elastic.co/cn/downloads/elasticsearch    華爲鏡像：https://mirrors.huaweicloud.com/elasticsearch/    官

原創 2023-08-19 09:20:45

centos7 搭建kibana-8.8.1

1、下載      官網地址：https://www.elastic.co/cn/downloads/kibana      華爲鏡像：https://mirrors.huaweicloud.com/kibana/      官網下載速度比

原創 2023-08-19 09:20:44

深度學習彈性數據流水線系統 GoldMiner，大幅提升任務和集羣效率

第一板塊：開篇 近日，阿里雲機器學習平臺PAI和北京大學楊智老師團隊合作的論文《GoldMiner: Elastic Scaling of Training Data Pre-Processing Pipelines for Deep L

原創 2023-06-26 00:35:31

雲存儲，爲 AI 創新提速

當下，如火如荼的 AI 大模型對算力和數據存儲提出了更高的要求。在 6 月 1 日結束的“阿里雲峯會·粵港澳大灣區”上，阿里雲智能資深產品專家彭亞雄在 AI 新範式與商業創新論壇上做了《雲存儲，爲 AI 創新提速》的主題分享。彭亞雄認爲，在

原創 2023-06-09 00:29:05

Install ElasticSearch8.7 with Docker(include kibana & ElasticSearch-Head plugins)

創建網絡-拉取鏡像-啓動es docker network create elastic docker pull docker.elastic.co/elasticsearch/elasticsearch:8.7.1 docker run

原創 2023-05-21 21:32:46

DLRover：螞蟻開源大規模智能分佈式訓練系統

文｜沙劍 螞蟻集團高級技術專家 專注分佈式深度學習領域 主要負責螞蟻大規模分佈式訓練引擎的設計和開發 本文 4491 字 閱讀 12分鐘 本文整體介紹了 DLRover 的項目動機與核心能力，未來我們會發布一系列文章，來從同步/異步

原創 2023-03-14 23:36:34

Elasticsearch安裝啓動報錯

異常信息如下： org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elasticsearch as root

原創 2023-02-17 12:59:16

ElasticSearch聚合查詢Restful語法和JavaApi詳解（基於ES7.6）

（一）概述 在前面關於ES的一系列文章中，已經介紹了ES的概念、常用操作、JavaAPI以及實際的一個小demo，但是在真實的應用場景中，還有可能會有更高階的一些用法，今天主要介紹兩種相對來說會更難一些的操作，聚合查詢。該文檔基於Elast

獨釣漁 2022-04-30 13:14:08