原创 Hive分區操作及遇到的問題
添加分區 alter table user_bhv add if not exists partition (month="2020-03"); 刪除分區 alter table user_bhv drop partition (
2020-06-21 06:08:31
原创 LVM建立邏輯卷
先記錄一下lvm常用的命令 功能 PV VG LV scan pvscan vgscan lvscan create pvcreate vgcreate lvcreate display pvdisplay
2020-06-21 06:08:31
原创 flume與hdfs集成排雷指南
先說一下環境，flume 1.9.0，hadoop 3.2.1，兼容沒有問題，官方文檔沒什麼好說的，足夠詳細，每一項後面都附帶有例子，好評。但是在配置sink to hdfs的時候足足踩了不少雷，記錄下來希望可以幫到更多的人。
2020-06-21 05:14:55
6
原创 hadoop 3.2.1集羣高可用(HA)搭建
規劃 共三臺機器，目標是搭建一套配置了HA的雙副本hadoop集羣，關於zkfc，journalnode的詳細原理不再贅述，集羣詳細規劃如下： namenode datanode journalnode ZKFC
2020-06-21 05:14:55
原创 gradle 5.0以後與lombok的兼容問題
一直用的是gradle 4.x版本，與lombok一直相安無事。今天新拉一個工程把gradle更新到5.6.2之後就出問題了，現象是這樣的：如果代碼中使用到了bulider或toString等由lombok註解提供的功能，比如這樣
2020-06-21 05:14:55
原创 hadoop 3.2.1 Yarn集羣HA搭建及踩坑記錄
接上篇，hdfs集羣啓動後僅僅是一個分佈式文件系統而已，並不具備計算的能力，因此引出yarn，記錄一下yarn HA的搭建過程。 首先需要注意一點，Yarn與HDFS屬於兩個不同的集羣，一個負責文件存儲，一個負責作業調度，二者之
2020-06-21 05:14:55
原创 Linux配置ntp服務器及參數詳解
本來以爲挺簡單的一個活，足足折騰了一整天。 有三臺虛機(Ubuntu 16.04)，分別是9.5，3.77，8.182，要做成9.5連接公共ntp，其餘兩臺以9.5作爲ntp服務器，也就是這樣： 方案確定之後就可以開始幹活了。
2020-06-02 16:53:37
原创 HBase Unable to load native-hadoop library for your platform警告解決方案
在啓動hbase shell時出現了這樣的警告： 2020-03-02 18:46:49,380 WARN [main] util.NativeCodeLoader: Unable to load native-hadoop li
2020-03-03 07:37:23
原创 一次docker環境下spring錯誤讀取配置文件問題的排查紀錄
起因是發現docker環境上部署的spring配置文件讀取錯誤，jar的目錄下配置文件指向test環境但是實際應用啓動後卻讀取到Jar包內的dev配置文件。先記錄一下最終結論： 當執行java -jar命令啓動spring應用時，
2020-02-26 06:43:56
原创 mysql配置主從庫全流程紀錄
業務需要，正好自己從來沒有接觸過mysql運維相關，把步驟記錄下來。 環境信息 MySQL 5.7.25 主庫172.24.7.108 從庫172.24.7.109 主庫創建同步角色 查看已有用戶 select distinc
2020-02-26 06:43:56
原创 hadoop 3.x常用端口
分類 應用 端口 namenode rpc-address 8020 namenode http-address 9870 namenode https-address 9871 datanode add
2020-02-26 06:43:55
原创 Easyui dialog對話框遮擋關閉按鈕問題的解決
問題現象是這樣 dialog寬度獲取不對，導致右側關閉按鈕及底部按鈕被遮擋，此時如果拖動邊框改變對話框的大小被遮擋的部分又重新出現了。 彈層js定義如下 $("#report_panel").dialog({ width:
2018-09-03 06:08:02
1