原创 maven快速編譯的一些小技巧
跳過測試 -DskipTests # 不執行測試用例，但編譯測試用例類生成相應的 class 文件至 target/test-classes 下 -Dmaven.test.skip=true # 不執行測試用例，也不編譯
2020-07-06 03:20:04
原创 Flink1.9.1源碼編譯支持hadoop-2.6.0-cdh5.16.2
準備 jdk-8u211-linux-x64.tar.gz flink-1.9.1-src.tgz flink-shaded-7.0-src.tgz apache-maven-3.6.1-bin.tar.g
2020-07-06 03:20:04
原创 flume-ng-1.6.0-cdh5.12.2 源碼編譯
安裝包 flume-ng-1.6.0-cdh5.12.2-src.tar.gz 源碼編譯 # 解壓進入跟目錄 tar -zxvf flume-ng-1.6.0-cdh5.12.2-src.tar.gz cd flume-ng-1.6.0
2019-10-25 13:08:08
原创 Python基本語法
目錄基本語法控制檯打印簡單的加減運算求一個數的N次方定義變量字符串的定義註釋查看變量當前的類型查看變量指向的物理地址獲取函數的描述信息判斷一個變量是否爲指定類型邏輯判斷字符串操作獲取字符串長度字符串拼接字符串分隔去掉字符串兩邊的空
2019-09-06 13:05:33
原创 YARN JVM重用功能——uber
原文鏈接：https://blog.csdn.net/samhacker/article/details/15692003 目錄Hadoop 1.x中的JVM重用功能簡單回顧一下Hado
2019-08-25 13:08:15
原创 Zookeeper 選舉機制
目錄Zookeeper 選舉機制zookeeper 三種選擇策略選擇機制中的概念ServeridZxid：Epoch：Server狀態：選舉狀態選舉消息內容FastLeaderElection 選舉算法介紹判斷是否已經勝出啓動時的
2019-08-25 13:08:15
原创 CDH完美卸載
目錄停止CM Server 和 所有Agent刪除服務數據在所有節點上殺死所有 cloudera 運行的進程卸載CDH的磁盤掛載刪除CDH服務組件的配置文件及軟件安裝目錄刪除數據庫刪除 cloudera-scm 用戶注意：我這邊全
2019-08-06 13:07:00
2
原创 CDH5.16.1完全離線部署
目錄CDH下載配置hostname及hosts關閉所有節點的防火火牆及清空規則關閉所有節點的selinux設置所有節點的時區一一致及時鐘同步設置時區時間同步部署集羣的JDK離線部署MySQL5.7CDH部署創建CDH的元數據庫和⽤
2019-08-06 13:07:00
1
原创 MySQL 5.7主從複製—單組單從
目錄MySQL安裝配置Master配置創建複製用戶查看master的pos點Slave配置配置Master信息啓動slave驗證是否配置成功注意問題1問題2問題3 MySQL安裝 MySQL安裝 配置 準備兩臺主機，都安裝上mys
2019-07-28 13:08:35
原创 ES常用命令
獲取羣集中的節點列表 GET /_cat/nodes?v 獲取集羣健康狀態 GET /_cat/health?v 列出所有index GET /_cat/indices?v 創建index #rz 即創建的index PUT /r
2019-07-28 13:08:35
原创 Maxwell部署及簡單使用
目錄概述配置MySQL開啓binlog創建Maxwell的數據庫和用戶快速啓動Maxwellstdout producer方式啓動MaxwellKafka producer方式啓動MaxwellMaxwell輸出的數據格式inse
2019-07-28 13:08:35
原创 Centos7下mysql5.7二進制包安裝
準備 mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz 注意：如果是虛擬機安裝，建議設置的磁盤空間不要低於16G，否則安裝時磁盤空間不夠，會導致mysql初始化失敗 環境準備 #解壓二進制包到/usr/
2019-07-28 13:08:35
原创 Spark Streaming + Kafka的offset管理
目錄簡述消費語義offset的三種管理方式offset管理demo自帶offset管理將offset存儲在MySQL中 簡述 Kafka+Spark Streaming主要用於實時流處理。到目前爲止，在大數據領域中是一種非常常見的
2019-07-28 13:08:34
原创 spark監控配置
目錄簡述通過Spark HistoryServer UI進行監控配置spark-defaults.conf配置spark-env.sh啓動 Spark HistoryServer停止Spark HistoryServer通過RES
2019-06-30 13:06:45
1
原创 hbase shell常用命令
列出指定namespace中的表 list_namespace_tables 'hbase' 創建namespace create_namespace "test" 列出所有namespace list_namespace 查看na
2019-06-22 13:06:36