原创 Centons7下安裝配置Sqoop、Linux下安裝配置Sqoop

本篇文章主要介紹在windows下使用vmware虛擬機中的Linux(Centons7)下配置安裝Sqoop。 簡要步驟: ①、下載Sqoop解壓包 ②、解壓Sqoop ③、配置Sqoop ④、配置環境變量 ⑤、查看是否安裝成功 ⑥、查

原创 Centons7下安裝配置Flume、Linux下安裝配置Flume、Flume的簡單使用示例、Flume整合Kafka使用

本篇文章主要介紹在windows下使用vmware虛擬機中的Linux(Centons7)下配置安裝Flume。 目前Flume 的最新版本爲1.8,筆者安裝的是1.6,是Flume的一個經典版本,通常在生產環境中使用的就是這個版本,在安

原创 java.lang.IllegalArgumentException: Body parameter 0 was null、Spring Cloud之微服務之間相互調用接收不到參數解決方案

錯誤如下:微服務之間相互調用傳參問題 a服務調用B服務,b 服務接收不到參數   錯誤截圖:     錯誤信息: java.lang.IllegalArgumentException: Body parameter 0 was nu

原创 Spring Cloud之微服務之間相互調用、如何讓一個微服務調用另外一個微服務

在使用微服務架構中,可能遇到一些業務情況會涉及服務之間相互調用,下面通過一個簡單的demo給大家演示下,演示的是oms服務需要調用ump服務。 代碼如下: 1、oms服務提供者  主要是這個註解: @EnableFeignClient

原创 linux安裝docker、Centons7下安裝docker

本篇文章主要介紹在Linux(Centons7)下安裝docker,根據官網的文檔操作的安裝步驟,以下分爲大概步驟和詳細步驟,也會把一些遇到的坑和解決方案經驗分享給大家。 Docker的三大核心概念:鏡像、容器、倉庫 鏡像:類似虛擬機的鏡

原创 docker裏安裝nginx容器、同時配置多個nginx容器

本篇文章主要介紹在Linux(Centons7)下安裝docker的中安裝nginx容器,以下分爲大概步驟和詳細步驟,也會把一些遇到的坑和解決方案經驗分享給大家,nginx容器安裝其實就是下載啓動即可,配置多個nginx需要額外修改即可。

原创 Kafka優化總結、Kafka數據丟失解決方案、重複消費解決方案

一、Kafka優化總結 翻譯原文如下: https://www.infoq.com/articles/apache-kafka-best-practices-to-optimize-your-deployment 1. 設置日誌配置參數以

原创 啓動elk報錯 Unable to connect to Elasticsearch at http://localhost:9200

筆者安裝完elk後啓動,訪問kibana,結果頁面如下,查看日誌報錯,但是可以單獨訪問Elasticsearch。去網上查閱有說端口占用、配置文件修改不對、防火牆打開導致,搞了一天還是沒解決,後來重新在一臺機器重新安裝又可以了,很是疑惑,

原创 Spring Boot項目整合ELK、Kafka

本篇文章主要介紹使用Spring Boot整合log4j,配合ELK(Elasticsearch , Logstash, Kibana)整合Kafka完成日誌收集,應用場景比較多的是分佈式項目,這樣可以直接收集各個節點的日誌到一起,便於錯

原创 ELK整合Kafka

本篇文章主要介紹使用ELK(Elasticsearch , Logstash, Kibana)整合Kafka完成日誌收集,應用場景比較多的是分佈式項目,這樣可以直接收集各個節點的日誌到一起,便於查看和做其他業務,下一篇文章介紹整合Spri

原创 ELK常見錯誤問題、ELK的一些坑、Unable to connect to Elasticsearch at http://localhost:9200

筆者在學習使用ELK中遇到一些坑和未解決的問題,在這裏分享給大家,希望大家遇到類似問題的評論回覆下解決方案。 安裝過程的坑: 1、虛擬機安裝時注意把處理器的核數調節到2以上,生產環境不用。 2、安裝Jdk。 3、在安裝elasticsea

原创 ELK啓動報錯:OpenJDK 64-Bit Server VM warning

筆者在學習安裝ELK時,由於是本地電腦裝的虛擬機環境,可能配置不夠,在啓動logstash後遇到一個錯誤。 錯誤信息: OpenJDK 64-Bit Server VM warning: If the number of process

原创 Linux安裝ELK、logstash部署安裝(三)

本篇文章主要介紹在Linux(Centons7)下安裝ELK的logstash部署安裝,筆者選擇了6.1版本,現在已經有6.5的新增了一些功能,推薦安裝6.5,使用yum方式安裝。 注意,logstash至少要有1G內存才能執行 在安裝L

原创 Linux安裝ELK、elasticsearch部署安裝(二)

本篇文章主要介紹在Linux(Centons7)下安裝ELK的elasticsearch部署安裝,筆者選擇了6.1版本,現在已經有6.5的新增了一些功能,推薦安裝6.5,使用yum方式安裝。 注意,logstash至少要有1G內存才能執行

原创 ELK架構體系、ELK運行原理、ELK應用場景、ELK簡單介紹(一)

筆者接觸到ELK是由於公司項目採用微服務架構,這樣在部署時各個服務需要在不同機器上,而且每個服務部署好幾份,這個時候日誌到收集就是問題了,不能像之前那樣單體應用都在一個機器,可以直接登錄查看,所以就開始去了解ELK,最後用ELK+Kafk