原创 kafka同一個topic和gruopid下的雙flume客戶端消費測試
業務場景：單個flume客戶端無法消費某個數據量很大的topic，因此起兩個flume去消費同一個topic 數據流：kafka--->flume---->oss(阿里雲的分佈式存儲服務，可以是hdfs) 01.conf 和 02.con
2020-02-25 07:04:25
原创 Superset 集成mysql數據庫及報錯 No module named 'MySQLdb'解決
superset安裝請參考 https://blog.csdn.net/qq_34864753/article/details/93517511 這是superset添加數據源的界面 點擊Test Connection 報錯 No
2020-02-25 07:04:25
原创 kerberos環境下的presto集羣安裝
1. 沒有kerberos環境的presto集羣安裝請參考 https://blog.csdn.net/Alongpo/article/details/89499400 kerberos安裝需更改 /catalog 下的hive.prop
2020-02-25 07:04:25
原创 sentry權限查看
搭建的CDH集成了sentry，通過HUE來設置相關權限，具體角色有哪些權限呢？如何查看？ 1. 進入sentry所在數據庫 跟權限相關的就下兩個表
2020-02-25 07:04:25
原创 CDH啓用Kerberos導致hdfs,yarn等頁面無法訪問解決
CDH啓用Kerberos，導致namenode和resourcemanager等頁面無法訪問，訪問頁面的時候報錯 Problem accessing /cluster. Reason 解決方案： 將hdfs/yarn的配置中這個勾選去
2019-12-03 06:31:55
原创 CDH 6成功啓動spark-thrift服務（CDH 6.2.0）
因爲CDH自身集成的spark不包含thrift服務，因公司業務需求，需在集成了Kerberos&LDAP的CDH集羣中啓用spark-thrift服務 吐槽一句，百度出來的都是沒用的，還是翻牆找到解決方案的 1. 下載spark 安
2019-10-26 10:27:47
18
原创 CDH以及原生態HUE下載條數限制修改（默認10w行）
1.CDH版 需要到CDH的Cloudera Manager中進入HUE配置 hue_safety_valve.ini 的 Hue 服務高級配置代碼段（安全閥）配置項 然後加入 [beeswax] download_row_limit=5
2019-10-26 10:27:46
原创 Druid(0.15.0版本)數據分析工具實際使用指南(Druid 0.15.0版本)(更新中)
1. 刪除數據 1.dropByInterval 已有的interval，假如要刪除某些interval，例：刪除19年5月到6月的數據 2019-05-01T00:00:00.000Z/2019-01-01T00:00:
2019-09-06 08:19:18
1
原创 Imply方式安裝0.15.0版本Druid和實例（hdfs->druid）分享
1. 下載imply ，解壓 https://imply.io/get-started tar -xzf imply-3.0.12.tar.gz impy quickstart鏈接地址（供參考） https://docs.imply
2019-09-03 08:18:25
2
原创 haproxy+keepalived實現hiveserver2負載均衡（源碼和yum安裝haproxy+keepalived)
1. 準備工作 yum install gcc gcc-c++ make openssl-devel kernel-devel 2. Haproxy安裝(源碼安裝) 本次安裝使用的版本是 haproxy-1.5.14.tar.gz 1.
2019-07-31 10:02:32
3
原创 Hadoop namenode啓動之後datanode啓動不了
在將非HA的namenode轉爲 HA的配置過程中執行格式語句，啓動的時候發現namenode起了，datanode沒啓動 hadoop namenode -format sbin/start-dfs.sh 1. 查看日誌 hadoo
2019-07-30 07:55:10
原创 Hue權限管理實操
1. 收回某個user的role revoke role role_name from user user_name; 2.收回某個role的某張表的權限 revoke select on table table_name from
2019-07-30 07:55:10
原创 zookeeper安裝
見連接 https://note.youdao.com/ynoteshare1/index.html?id=5670dd2469e1c12a0b89d86ee3c98b2c&type=note
2019-07-10 09:48:36
原创 linux系統卸載jdk
參考 https://www.cnblogs.com/xinjie10001/p/6287124.html 一、查看Jdk的安裝路徑： whereis java which java （java執行路徑） echo $JAV
2019-07-09 09:41:39
原创 linux jps命令報錯-bash: jps: command not found 解決方案
參考 https://blog.csdn.net/zhanglu1236789/article/details/50445261 1.要知道jps跟jdk有關，也就是跟自己安裝的java相關 2.知道自己java的安裝路徑 whe
2019-07-09 09:41:39
2