原创 TDH一次因爲節點刪除報出來的sqoop導出數據報錯
報錯信息：ipc.client , server：htzq-tdh01:10020.Already tried 9 times原因分析：由於集羣刪除該節點htzq-tdh01導致下游系統使用sqoop做數據採集、推送報錯，sqoop用到hd
2021-11-15 14:17:05
原创 星環TDH之kafka筆記
1.kafka開通krb認證之後，需要在消費kafka時候加載配置文件./kafka-topics.sh --zookeeper 198.28.1.81:2181 --create --topic hs_user_useroperlog -
2021-11-02 14:17:15
原创 hdfs fsck / 檢查hdfs中block問題
遷移hdfs節點過程中，退役datanode節點，出現這個問題：使用命令檢查block報告hdfs fsck /返回結果截圖如下：參數說明：Total size ： hdfs集羣存儲大小，不包括複本大小。如：75423236058649 B
2021-10-16 14:16:58
2
原创 html2canvas + jsPDF 導出PDF，解決一半文字在上一頁一半文字在下一頁的問題
html頁面轉pdf下載 兩個js文件可供使用，地址如下： https://github.com/linwalker/render-html-to-pdf 唯一的缺點是圖片跨頁不好解決，最終的pdf文件如下： 解決下載pdf文件背景是
2021-09-01 14:17:53
原创 元數據比對-altas vs amundsen vs TDH-catalog(一)
一、 Altas屬於apache開源的元數據管理系統，可以對接hive、storm、kafka、hbase、sqoop等組件完成元數據管理以及數據的血緣關係。系統架構圖：MetaSource Sources：目前，Atlas支持從以下來源提
2021-08-30 14:17:12
原创 元數據比對-altas vs amundsen vs TDH-catalog(三)
Lyft 於2019年4月開發了Amundsen，並與10月開源。git項目地址：https://github.com/amundsen-io/amundsen安裝說明：https://github.com/amundsen-io/amun
2021-08-30 14:17:12
原创 元數據比對-altas vs amundsen vs TDH-catalog(二)
星環catalog元數據管理系統，底層是在altas的基礎上做了自己的開發，具有血緣關係、數據地圖展示，搜索（做的不好）表等，可以給表加標籤，還具有sql執行頁面。總體來說這套工具想法挺好，但是產品用起來不是特別友好，搜索想全文查找不是特別
2021-08-30 14:17:12
原创 springboot使用@data註解，減少不必要代碼-lombok插件
一、idea安裝lombok插件 安裝lombok插件 在這裏插入圖片描述 二、重啓idea 三、添加maven依賴 <dependency> <groupId>org.projectlombok</groupId>
2021-04-16 14:17:16
原创 echarts關係圖研究01
echarts網狀模型研究參考導向力算法D3.js，有很多例子，最終的目標就是分開相互關聯畫圖覆蓋問題echarts裏面也有能夠實現畫圖的例子我們今天主要分析下echarts中關係圖graph的數據模型通過找到例子中的數據發現，https:
2021-01-26 14:17:27
原创 傳統運維轉型智能化運維
轉載：https://blog.csdn.net/iamlake/article/details/104982518引子最近，在運維圈裏看到觸控科技的蕭總提出的一個概念“運維2.0”，學習之後，感觸頗多，和幾年前騰訊遊戲的應用運維團隊發起的
2021-01-05 14:17:17
原创 大話數據治理-01什麼是治理，治理什麼數據
某君請領導喫飯，領導婉拒。他本想回“好的”。卻回成了“媽的”。結果，他失業時才五十多歲！ 某女給男同事發微信：“你是同事中最出色的，跟你在一起，真的很開心！”因爲不細心，少打了個“出”字。很長時間後，還一直在納悶，爲啥被拉黑？以上是兩則笑話
2020-12-25 14:24:43
原创 開源血緣分析工具atlas源碼講解
需求說明：公司進行血緣分析，但是沒有好用的血緣分析工具，從開源的社區找到了atlas，感覺很智能，可以自動分析sql語句，做到字段級別的拆分，回溯血緣很好用，下面就是atlas的代碼講解sql分析器：Antlr (ANother Tool
2020-11-13 13:07:49
原创 logstash導出ElasticSearch數據到CSV及同步兩套ES的數據研究
一、安裝參考：https://www.cnblogs.com/cpy-devops/p/9287531.html首先保證系統安裝了java 1.8以上版本tar –zxvf /home/logstash-7.7.0.tar.gz -C /u
2020-06-15 13:52:21
原创 Inceptor命令04-表
ORC表與其他表的區別1. 只有TEXT、CSV、基於定寬文本文件外表這三種表支持對 字段類型 的修改以及增、刪字段。2. 禁止修改ORC表的字段類型3. 禁止對ORC表增、刪字段 ORC表建立的原則ORC非事務表的建表只需在建表語句中用
2020-05-01 13:13:14