原创 elasticsearch_export Metrics含義
最近需要做elasticsearch監控相關的需求，採用elasticsearch_export採集es的各項監控指標，供後續prometheus、grafana、kibana等展示。 現特意梳理elasticsearch_export
2020-06-26 18:49:32
3
原创 Kibana7.3.0試用
1.安裝ElasticSearch7.3.0 安裝步驟參看：https://blog.csdn.net/znb769525443/article/details/99472962 2.安裝kibana-7.3.0-linux-x86_64
2020-06-26 18:49:32
原创 Protected multilib versions XXX
今天在安裝Ambari軟件時，碰到Protected multilib versions : libtirpc-0.2.4-0.15.el7.i686 != libtirpc-0.2.4-0.15.el7.i86_64報錯。 通過分析問題
2020-06-26 18:49:32
原创 ElasticSearch7.3.0安裝及監控工具Cerebro-0.8.4
1.官網下載相應軟件 elasticsearch7.3.0：https://www.elastic.co/cn/downloads/elasticsearch cerebro-0.8.4：https://github.com/lmenez
2020-06-26 18:49:32
1
原创 ES 單元測試案例
import org.elasticsearch.cluster.ClusterModule; import org.elasticsearch.common.io.stream.NamedWriteableRegistry; impo
2020-06-26 18:49:32
3
原创 HDFS糾刪碼（Erasure Coding）
目的 HDFS默認的3副本策略，在存儲空間和其他比如網絡帶寬上有200%的開銷，因而副本策略是昂貴的。但是對於具有相對較低I/O的冷熱數據集，在正常操作期間很少訪問其他副本塊，但仍然消耗與第一個副本相同的資源量。 因此，一種改進措施是使用
2020-06-26 18:49:32
原创 elasticsearch2.4升級至5.2.2版本，SearcherSourceBuilder的json字符串轉成SearcherSourceBuilder對象
最近在做一個項目的ES版本升級，從2.4升級至5.2版。由於升級版本跨度比較大，一些Java api都已經廢棄了。原來的api，SearchRequestBuilder支持setSource()參數爲json格式的字符串。 （1）ES2.
2020-06-10 12:13:17
原创 -bash: /dev/null: Permission denied
今天在Centos7上運行如下命令 ######添加hdfs用戶##### useradd hdfs ######切換至hdfs用戶##### su - hdfs 報如下錯誤 -bash: /dev/null: Permission
2020-02-22 02:49:18
1
原创 JAVA判斷時間格式爲 "yyyy.MM.dd"
今天碰到一個需求，需要判斷日期格式爲"yyyy.MM.dd"，代碼如下： import java.text.DateFormat; import java.text.SimpleDateFormat; import java.util.
2020-02-22 02:49:18
7
原创 Mysql5.7強制修改密碼
環境說明： mysql5.7.26 mysql配置文件目錄：/etc/my.cnf 採用的方式：mysql主從複製模式，同時使用半同步 今天登錄mysql時，忘記了密碼，想着強制修改密碼。步驟如下： 1.修改/etc/my.cnf 在my
2019-09-26 21:21:50
原创 郵件發送系統
本文主要介紹如何實現一個郵件發送系統，主要功能是批量將文件發送至目的郵箱。 主要以QQ郵箱爲例介紹。 1.開啓QQ郵箱的POP3/SMTP服務或者IMAP/SMTP服務 2.配置resources/config/config.json文
2019-09-16 21:29:59
原创 Microsoft Visual Studio 13強力卸載
環境說明： Window 10 Microsoft Visual Studio13 今天在卸載Microsoft Visual Studio13時，死活都卸載不了，報如下錯誤： 按照網上說法下載https://github.com/mi
2019-09-08 21:31:10
原创 Lucene列式存儲格式DocValues詳解
原文鏈接：http://www.nosqlnotes.com/technotes/searchengine/lucene-docvalues/?utm_source=tuicool&utm_medi
2019-08-28 22:40:16
2
原创 Spark(Streaming)寫入數據到文件-關鍵爲根據數據內容輸出到不同自定義名稱文件(saveAsHadoopFile以及自定義MultipleOutputFormat)
原文鏈接：http://ileaf.tech/bigdata/2018/07/02/Spark-Streaming-%E5%86%99%E5%85%A5%E6%95%B0%E6%8D%AE%E5%8
2019-08-28 22:40:16
1
原创 KSQL：Apache Kafka的流式SQL
更新：KSQL 現在可作爲Confluent Platform的一個組件提供。 我很高興地宣佈KSQL，爲Apache kafka流SQL引擎®。KSQL降低了流處理世界的入口，提供了一個簡單而完全交互的SQL接口，用於處理Kafka中
2019-06-14 11:25:18
33