原创 阿里雲上安裝FreeIPA（ipa-server && ipa-client）
基礎配置 環境：Centos7.6 1core 2GB hostname:ipa.haohaozhu.hadoop 配置hosts 172.17.239.208 ipa.haohaozhu.hadoop ipa.haohaozhu
2020-07-02 10:08:33
3
原创 實時數倉設計之mysql binlog
maxwell啓動的時候指定需要同步的表，因爲並不是所有的表都需要同步到實時數倉，指定表可以大大的減少發送到kafka的數據量，啓動命令例子： ./bin/maxwell --user=root --password=12345
2020-07-02 10:08:22
1
原创 從checkpoint恢復flink job
flink使用checkpoint方式保存task的狀態，當task失敗時，可以從之前checkpoint地方恢復狀態； 如果說整個應用掛了，如何根據之前checkpoint來恢復應用的狀態； 首先應用掛了的話，它默認會刪除之前check
2020-07-02 10:08:22
3
原创 Neo.TransientError.Transaction.DeadlockDetected
最近在倒騰neo4j,在使用多線程方式往neo4j插入關係數據時，有些線程拋出異常： Neo.TransientError.Transaction.DeadlockDetected 查了下原因，在創建關係數據時（nodea->nodeb
2020-07-02 10:08:22
原创 kudu master uuid異常修復
線上kudu集羣有3個master，無意間發現有個主節點連不上且無法識別，查看主節點頁面 每個master節點都會有一個唯一標識UUID，並且每個master都會保存master所有節點的uuid，而現在有個master的uuid變更
2020-07-02 10:08:22
5
原创 kerberos安全hadoop集羣開啓高可用
https://docs.cloudera.com/documentation/enterprise/6/latest/topics/cdh_hag_hdfs_ha_config.html 開啓高可用後，需要修改的地方 1.hiv
2020-07-02 10:08:22
原创 kafka topic 刪除異常
公司kafka集羣是允許刪除topic，但是前段時間組裏小夥伴有個topic總是刪不掉，也不知道他是怎麼刪的；後來我嘗試手動刪除zookeeper中的元數據，看看能否刪掉這個topic,操作如下 rmr /brokers/topics/
2020-05-21 08:58:15
原创 flink sql包衝突異常
使用flink on yarn方式提交Flink sql，拋出如下異常 org.apache.flink.client.program.ProgramInvocationException: The main method caused
2020-04-22 11:17:18
原创 線上kudu集羣優化
公司上線了kudu有段時間了，主要有兩個用途： 1.實時落地流量日誌以便滿足靈活的olap查詢 2.解析mysql binlog日誌，生成業務庫實時映射表 最近發現有張業務庫的實時映射表數據查詢起來非常慢，隨着不斷解析插入binlog
2020-04-02 10:51:03
8
原创 flink cep pattern動態加載
通常我們在提交一個flink cep任務，流程基本上是：開發，打包，部署；例如我們有一個任務：計算在60秒內，連續兩次登陸失敗的用戶 begin("begin").where(_.status=='fail').next("next")
2020-03-05 18:27:23
35
原创 airflow集成ldap問題
airlfow集成ldap默認需要開啓ssl/tls，但是配置文件中沒有開關選項，如要關閉只能修改代碼，只需要修改一個地方，vi /root/python3/lib/python3.6/site-packages/airflow/
2020-02-21 11:14:16
20
原创 nio之postion,limit,capacity
postion:當前可讀可寫的位置 capacity：緩衝區容量，初始化後，固定不變 limit：緩存區最小不可讀寫的區域的位置，緩衝區域limit索引以後的區域不可讀寫（含limit位置） 先初始化一個IntBuffer Int
2020-02-21 11:14:16
原创 topic partition leader rebalance
leader rebalance之前，有好幾個分區的leader都在broker1上 [root@es1 ~]# kafka-topics.sh --describe --zookeeper localhost:2181 --to
2020-02-21 11:14:16
原创 kafka運維
啓動： ./bin/kafka-server-start.sh -daemon config/server.properties 創建1replica 1 partition 的topic bin/kafka-topics.s
2020-02-21 11:14:16