原创 Centons7下安裝配置Sqoop、Linux下安裝配置Sqoop
本篇文章主要介紹在windows下使用vmware虛擬機中的Linux(Centons7)下配置安裝Sqoop。 簡要步驟: ①、下載Sqoop解壓包 ②、解壓Sqoop ③、配置Sqoop ④、配置環境變量 ⑤、查看是否安裝成功 ⑥、查
原创 Centons7下安裝配置Flume、Linux下安裝配置Flume、Flume的簡單使用示例、Flume整合Kafka使用
本篇文章主要介紹在windows下使用vmware虛擬機中的Linux(Centons7)下配置安裝Flume。 目前Flume 的最新版本爲1.8,筆者安裝的是1.6,是Flume的一個經典版本,通常在生產環境中使用的就是這個版本,在安
原创 java.lang.IllegalArgumentException: Body parameter 0 was null、Spring Cloud之微服務之間相互調用接收不到參數解決方案
錯誤如下:微服務之間相互調用傳參問題 a服務調用B服務,b 服務接收不到參數 錯誤截圖: 錯誤信息: java.lang.IllegalArgumentException: Body parameter 0 was nu
原创 Spring Cloud之微服務之間相互調用、如何讓一個微服務調用另外一個微服務
在使用微服務架構中,可能遇到一些業務情況會涉及服務之間相互調用,下面通過一個簡單的demo給大家演示下,演示的是oms服務需要調用ump服務。 代碼如下: 1、oms服務提供者 主要是這個註解: @EnableFeignClient
原创 linux安裝docker、Centons7下安裝docker
本篇文章主要介紹在Linux(Centons7)下安裝docker,根據官網的文檔操作的安裝步驟,以下分爲大概步驟和詳細步驟,也會把一些遇到的坑和解決方案經驗分享給大家。 Docker的三大核心概念:鏡像、容器、倉庫 鏡像:類似虛擬機的鏡
原创 docker裏安裝nginx容器、同時配置多個nginx容器
本篇文章主要介紹在Linux(Centons7)下安裝docker的中安裝nginx容器,以下分爲大概步驟和詳細步驟,也會把一些遇到的坑和解決方案經驗分享給大家,nginx容器安裝其實就是下載啓動即可,配置多個nginx需要額外修改即可。
原创 Kafka優化總結、Kafka數據丟失解決方案、重複消費解決方案
一、Kafka優化總結 翻譯原文如下: https://www.infoq.com/articles/apache-kafka-best-practices-to-optimize-your-deployment 1. 設置日誌配置參數以
原创 啓動elk報錯 Unable to connect to Elasticsearch at http://localhost:9200
筆者安裝完elk後啓動,訪問kibana,結果頁面如下,查看日誌報錯,但是可以單獨訪問Elasticsearch。去網上查閱有說端口占用、配置文件修改不對、防火牆打開導致,搞了一天還是沒解決,後來重新在一臺機器重新安裝又可以了,很是疑惑,
原创 Spring Boot項目整合ELK、Kafka
本篇文章主要介紹使用Spring Boot整合log4j,配合ELK(Elasticsearch , Logstash, Kibana)整合Kafka完成日誌收集,應用場景比較多的是分佈式項目,這樣可以直接收集各個節點的日誌到一起,便於錯
原创 ELK整合Kafka
本篇文章主要介紹使用ELK(Elasticsearch , Logstash, Kibana)整合Kafka完成日誌收集,應用場景比較多的是分佈式項目,這樣可以直接收集各個節點的日誌到一起,便於查看和做其他業務,下一篇文章介紹整合Spri
原创 ELK常見錯誤問題、ELK的一些坑、Unable to connect to Elasticsearch at http://localhost:9200
筆者在學習使用ELK中遇到一些坑和未解決的問題,在這裏分享給大家,希望大家遇到類似問題的評論回覆下解決方案。 安裝過程的坑: 1、虛擬機安裝時注意把處理器的核數調節到2以上,生產環境不用。 2、安裝Jdk。 3、在安裝elasticsea
原创 ELK啓動報錯:OpenJDK 64-Bit Server VM warning
筆者在學習安裝ELK時,由於是本地電腦裝的虛擬機環境,可能配置不夠,在啓動logstash後遇到一個錯誤。 錯誤信息: OpenJDK 64-Bit Server VM warning: If the number of process
原创 Linux安裝ELK、logstash部署安裝(三)
本篇文章主要介紹在Linux(Centons7)下安裝ELK的logstash部署安裝,筆者選擇了6.1版本,現在已經有6.5的新增了一些功能,推薦安裝6.5,使用yum方式安裝。 注意,logstash至少要有1G內存才能執行 在安裝L
原创 Linux安裝ELK、elasticsearch部署安裝(二)
本篇文章主要介紹在Linux(Centons7)下安裝ELK的elasticsearch部署安裝,筆者選擇了6.1版本,現在已經有6.5的新增了一些功能,推薦安裝6.5,使用yum方式安裝。 注意,logstash至少要有1G內存才能執行
原创 ELK架構體系、ELK運行原理、ELK應用場景、ELK簡單介紹(一)
筆者接觸到ELK是由於公司項目採用微服務架構,這樣在部署時各個服務需要在不同機器上,而且每個服務部署好幾份,這個時候日誌到收集就是問題了,不能像之前那樣單體應用都在一個機器,可以直接登錄查看,所以就開始去了解ELK,最後用ELK+Kafk