原创 ES監控及解決方案探究
1.概述 1.目前的ES支持查詢集羣健康的API，網上也有一堆關於Es的監控的插件以及非插件 2.大部分只能監控集羣當前的狀態，但是有時候業務上會遇到未分配的分片問題，我們無法通過未分配的分片定位到它們的位置，此時對於集羣的修復
2020-06-20 10:50:58
原创 HDFS standbyNameNode Java.io.IOException:Premature EOF from inputStream[運維必備]
1、報錯 Java.io.IOException:Premature EOF from inputStream 可以看到是重演編輯日誌時候出錯了 2、hadoop元數據目錄 Edits_
2020-06-20 10:50:58
7
原创 zookerper單機部署及操作命令詳解
單機模式安裝 準備環境，需要提前安裝好jdk，準備好zookeeper安裝包 上傳到用戶目錄下 安裝工具使用rz命令進行上傳，也可以使用xftp等工具上傳 安裝rz $sudo yum install -y lrzsz（此命令
2020-06-07 22:49:54
原创 HugeGraph圖數據庫入門
一、Hg介紹 http://localhost:8080 8080端口爲restful api接口 http://localhost:8088/ 8088端口爲hg的可視化組件端口 1、Hg中的圖概念 圖類似於普通數據庫的
2019-10-25 15:52:51
3
原创 Spark實戰經驗
一、背景 由於公司的老集羣對於現有的開發工作者來說並不是特別的友好，數據模型也不是特別適用。所以爲了讓使用者更友好、數據更可靠，建立新集羣、構建數倉，新集羣搭建到使用，基於spark引擎自己構建ETL框架，在大量數據下，期間難免會遇到
2019-02-27 21:31:33
原创 集羣磁盤擴容步驟
一、磁盤安裝配置 1、插入磁盤，重啓 2、重新啓動服務器，進入webbios設置頁面（開發集羣使用ctrl + H 進入webbios，不同服務器可能不一樣） 3、界面左側有配置陣列選項、下一步選擇增加配置、手動配置、將左側未配置的磁
2019-02-27 21:31:23
原创 SparkStreaming+Kafka2.0.0多主題多分區偏移量維護
偏移量保存到數據庫 一、版本問題 由於kafka升級到2.0.0不得不向上兼容，之前kafka1.0.0的接口已經完全不適應上個工具，重寫偏移量維護 Kafka1.0.x偏移量管理以及維護思路使用等的問題看上一篇文章 https://
2019-01-18 20:48:08
4
原创 SparkStreaming+Kafka0.9.0.0多主題多分區偏移量維護
偏移量保存到數據庫 一、版本介紹 具體使用方法，請看這兩篇文章，下面只介紹需要修改的地方 Kafka1.0.x偏移量管理以及維護思路使用等的問題看這一篇文章 https://blog.csdn.net/qq_41922058/arti
2019-01-18 20:48:08
1
原创 SparkStreaming+Kafka1.0.x多主題多分區偏移量維護
偏移量保存到數據庫 一、版本區別 之前版本的kafka偏移量都是保存在kafka中的，而現在的kafka偏移量保存在了自己的一個特殊主題__consumer__offsets中 二、維護思路 根據傳入的主題以及消費者組，先判斷庫中是否
2019-01-16 13:02:30
原创 Django_Models快速上手
Models創建表 -> Models增刪改查 -> 區別 -> 更多參數及字段 Models創建表 1.導入models模塊from django.db import models，默認自動導入 2.所有的Model都繼承自dja
2018-12-29 22:40:59
原创 Spark學習路線
準備 編程語言介紹 scala、java、python、R都有spark對應的api，但如果想深入理解spark還是需要學習scala的。（scala中隱式轉換特性可以很大程度提高spark開發效率）； Scala（FP+OP面向對象
2018-12-29 22:40:59
原创 Flume模擬場景各組件詳解
由於工作原因，博客沒進行更新，不過文章的確寫了，就是太懶不想排版，code21.cn可能不會更新了，服務器費用的確太貴 場景模擬 kafka實時json格式數據解析寫入hive 瞭解Flume Flume中最重要的概念就是agent，
2018-12-29 22:40:59
原创 lnmp服務器搭建全過程
一直想有一個自己的博客，就購買了虛擬主機，同時我也是一個喜歡折騰的人，不喜歡集成環境。又想追求速度，所以就安裝了純淨版的centos7.4 x64。 lnmp：linux，Nginx、mysql，php lamp：linux、Apac
2018-12-29 22:40:59
原创 Git快速上手及常用命令詳解
版權聲明：本文爲博主原創文章，未經博主允許不得轉載。 https://blog.csdn.net/qq_41922058/article/details/81369692 1.Git、Github、Gitee
2018-08-22 20:44:15
4
原创 HA_配置
版權聲明：本文爲博主原創文章，未經博主允許不得轉載。 https://blog.csdn.net/qq_41922058/article/details/81740032 規劃 Ssh信任配置方式Ssh信任配
2018-08-22 20:44:15
3