原创 superset超詳細安裝文檔+安裝過程中報錯解決+30s查詢時間限制解決
系統自帶的是python2.7，此次安裝的python環境是python3.6，所以會用到Anaconda 此博客參考了https://blog.csdn.net/Alongpo/article/details/89316827 1.安裝
2020-07-01 07:12:07
5
原创 Apache Druid(0.15.0版本)數據遷移/數據保留規則實際使用指南（更新中）
1. 數據遷移(兩個Druid集羣間數據遷移) 參考 https://blog.csdn.net/u012164361/article/details/87881926 1.1拷貝老集羣segments到新集羣指定目錄下（
2020-07-01 05:08:44
原创 Python批量刪除指定文件夾下某一格式的文件，如.png圖片
import os def del_files(path): for root , dirs, files in os.walk(path): for name in files: if
2020-07-01 05:08:44
原创 sparkthrift服務隔段時間正常退出
CDH6.2集成sparkThrift服務 參考 https://blog.csdn.net/qq_34864753/article/details/102729859 公司網絡組爲了安全起見購買了 華爲的防火牆，安裝上後 啓動的spa
2020-07-01 05:08:44
原创 Imply方式安裝0.15.0版本Druid和實例（hdfs2druid）分享
刪除druid中的數據可參考 https://blog.csdn.net/qq_34864753/article/details/102861322 1. 下載imply ，解壓 https://imply.io/get-started
2020-07-01 05:08:44
原创 flink sink數據到elasticsearch(scala&java)
代碼參考了 zhisheng的java http://www.54tianzhisheng.cn/2018/12/30/Flink-ElasticSearch-Sink/ 以及同事的scala，在此說明一下 java 有add和upse
2020-07-01 05:08:44
原创 flume自定義攔截器：根據業務數據中的時間戳實現數據在hdfs中的正確分區
業務場景：埋點數據落hive表，且埋點數據中帶有數據產生時的時間字段 業務流程：kafka->flume->hdfs->hive 問題：晚到的埋點數據會落到哪個分區中 9點產生的埋點數據 由於數據上報或者flume sink的延遲會
2020-07-01 05:08:44
原创 apache druid壓力測試（工具:jmeter）
1. 官網下載 http://jmeter.apache.org/ 2. 解壓進入bin目錄，雙擊 ApacheJMeter.jar 運行程序 3.添加以下服務 線程組：這裏你可以設置線程數和循環次數等 http請求： http信
2020-07-01 05:08:44
4
原创 flume hdfs sink報錯: java.lang.NoSuchFieldError: IGNORE_CLIENT_LOCALITY
集羣環境：CDH 6.2.0 Hadoop 3.0.0 在使用flume hdfs sink時 報錯，java.lang.NoSuchFieldError: IGNORE_CLIENT_LOCALITY flume sink在相應目錄
2020-07-01 05:08:44
18
原创 Apache Druid刪除深度存儲（Deep Storage）中的數據
參考 https://blog.csdn.net/Alongpo/article/details/89604655 Druid安裝及demo測試請參考 https://blog.csdn.net/qq_34864753/article/
2020-07-01 05:08:44
1
原创 flink cep對於超時時間處理patternTimeoutFunction
Flink Cep是對複雜事件處理的一種手段，通過規則進行匹配，比如有 A B A C B C D是個消息，我們想獲取 B C這種事件的消息，就可以通過定義相關規則來進行業務處理，通常我們會對C消息到達的時間有要求，比如在3s之內，那麼我
2020-07-01 05:08:44
原创 python3解決No module named '_bz2'和libbz2.so.1.0: cannot open shared object file問題
解決 No module named '_bz2 將 bz2.cpython-36m-x86_64-linux-gnu.so放在/usr/local/python3.6/lib/python3.6/lib-dynload目錄下 http
2020-07-01 05:08:44
原创 NoClassDefFoundError: org/apache/flink/streaming/api/environment/StreamExecutionEnvironment 已解決
依賴中有配置 <!--<scope>provided</scope>--> 去掉即可
2020-07-01 05:08:44
原创 CDH集羣啓用kerberos認證及kerberos高可用HA【轉】
CDH集羣啓用kerberos參考 https://mp.weixin.qq.com/s?__biz=MzI4OTY3MTUyNg==&mid=2247484735&idx=1&sn=b021eb28562d566b5d3c97f3d4
2020-07-01 05:08:44
原创 kafka集羣監控（kafka_exporter&prometheus&Grafana）
爲了更直觀的展示kafka實時消息生產速率以及某一topic下group_id與當前kafka之間的消息積壓情況，採用kafka_exporter，promehues，grafana將相關指標實時展示 1. 下載 kafka_export
2020-02-25 07:04:25