原创 Mysql索引(一篇就夠le)

  我想很多人對mysql的認知可能就是CRUD(代表創建(Create)、更新(Update)、讀取(Retrieve)和刪除(Delete)操作),也不敢說自己會用和熟悉mysql,當然我就是其中一個,雖然知道mysql有很多東西,但是

原创 對Elasticsearch生命週期的思考

什麼是es索引的生命週期?有啥用?可以怎麼用?用了有什麼好處呢? 在現實的生產環境中有沒有覺得自己剛開始設計的索引的分片數剛剛好,但是隨着時間的增長,數據量增大,增長速度增大的情況下,你的es索引的設計是否還合理呢? 在現實的生產存儲中,有

原创 elasticsearch備份和還原(基於hdfs)

備份和還原,爲什麼elasticsearch還需要備份呢,明明可以設置副本做到高可用,那怕啥呢? 其實在實際的生產環境中,一般最終的結果數據都是要備份的,這樣的做的目的,就是能夠以最快的速度還原數據,找回數據。明明mysql可以有主從,es

原创 想寫一篇jvm的工具入門

爲什麼要寫一個jvm的工具入門呢,一是自己也不會,二是因爲不會所以想學一下,還有就是這個確實很重要,對學習jvm有很多的用處,對定位問題有很大的便利,以前畢業那會我記得有個筆試,知道JAVA_HOME/bin目錄的工具嗎,例舉下3個以上,並

原创 elasticsearch跨集羣數據遷移

寫這篇文章,主要是目前公司要把ES從2.4.1升級到最新版本7.8,不過現在是7.9了,官方的文檔:https://www.elastic.co/guide/en/elasticsearch/reference/current/index.

原创 搞懂ELK並不是一件特別難的事(ELK)

本篇文章主要介紹elk的一些框架組成,原理和實踐,採用的ELK本版爲7.7.0版本 一、ELK介紹 1.1、ELK簡介   ELK是Elasticsearch、Logstash、Kibana三大開源框架首字母大寫簡稱(但是後期出現的file

原创 論logstash的玩法(ELK)

本篇文章採用的採用的是logstash-7.7.0版本,主要從如下幾個方面介紹 1、logstash是什麼,可以用來幹啥 2、logstash的基本原理是什麼 3、怎麼去玩這個elk的組件logstash 一、logstash是什麼,有哪些

原创 一篇文章搞懂filebeat(ELK)

本文使用的filebeat是7.7.0的版本本文從如下幾個方面說明: filebeat是什麼,可以用來幹嘛 filebeat的原理是怎樣的,怎麼構成的 filebeat應該怎麼玩 一、filebeat是什麼 1.1、filebeat和b

原创 nginx功能介紹和基本安裝

一、簡介   nginx是一款自由的、開源的、高性能的HTTP服務器和反向代理服務器;同時也是一個IMAP、POP3、SMTP代理服務器;nginx可以作爲一個HTTP服務器進行網站的發佈處理,另外nginx可以作爲反向代理進行負載均衡的實

原创 java虛擬機類加載詳解

一、概述 1.1、概念   Java虛擬機把描述類的數據從Class文件加載到內存, 並對數據進行校驗、 轉換解析和初始化,將其放在運行時數據區的方法區內,然後在堆區創建一個java.lang.Class對象,用來封裝類在方法區內的數據結構

原创 flink1.10安裝詳解

flink從flink1.10版本對其內存結構發生改變,所以在環境配置的時候也要主要具體怎麼配置比較合適。 內存結構可以看官網:https://ci.apache.org/projects/flink/flink-docs-release-

原创 java虛擬機概述

      想了好久,還是決定寫一個jvm的一個系列,學習java基礎,我感覺必須要動要動一下jvm,不然不會知道去排查問題和優化代碼,這篇文章大概就是寫一個jvm的一個總體的概述。後續會寫具體詳細的章節來介紹jvm,因爲最近自己也在學習j

原创 解決yum命令後出現libldap-2.4.so.2: cannot open shared object file

問題: [root@lgh ~]# yum There was a problem importing one of the Python modules required to run yum. The error leading

原创 linux分析工具之lsof詳解

一、概述       在linux中,所有東西都是以文件的形式存在的,所以我們在linux上的操作都是通過對文件的操作來執行我們所需要的邏輯,比如我們對文件數據的訪問,修改,訪問網絡的連接等,剛好lsof(list open file)命令

原创 hadoop之yarn詳解(框架進階篇)

   前面在hadoop之yarn詳解(基礎架構篇)這篇文章提到了yarn的重要組件有ResourceManager,NodeManager,ApplicationMaster等,以及yarn調度作業的運行過程,Yarn將它的功能分爲兩層: