原创 HDP2.6.5更換spark版本爲2.4.5 與carbondata2.0.1集成
文章目錄一更換spark版本第一種方式第二種方式問題啓動spark任務不成功spark集成carbondata從官網下載carbondata構建先決條件構建命令在YARN羣集上的Spark上安裝和配置CarbonData先決條件部
2020-06-30 03:57:07
4
原创 關於CDH 因jdk更換導致hue cloudera-scm-server無法正常使用
更換正確的jdk 官網推薦在/usr/java/jdk-<version> 啓動cloudera-scm-server 沒有任何報錯 查看日誌sudo tail -f /var/log/cloudera-scm-server/cloude
2020-06-08 14:03:41
原创 ambari2.7.3 安裝 impala
1.下載ambari-impala-service VERSION=`hdp-select status hadoop-client | sed 's/hadoop-client - \([0-9]\.[0-9]\).*/\1/'` s
2020-06-08 14:03:41
5
原创 ambari-server HA
文章目錄一、前言二、方案和思路1.原理2.mysql主從複製主從的作用主從的形式主從複製原理3.配置文件4.更換ambari-server監控ambari-server1更換ambari-server5.重啓amabri-agae
2020-06-08 14:03:41
2
原创 ansible 實現自動化部署ambari（純離線）
文章目錄前言一、業務場景二、選用技術三、準備四、服務器準備五、配置步驟1、配置網卡（所有節點）2、配置hosts映射（主節點）3、配置主節點到各個機器的ssh（主節點）4、安裝ansible5、配置ansible的hosts（an
2020-05-22 18:28:01
1
原创 kafka topic 權限控制
kafka topic 權限控制 kafka官網 配置 設置權限 #查看權限 ./kafka-acls.sh --authorizer-properties zookeeper.connect=test01:2181,test
2020-04-21 14:32:07
1
原创 redis 啓動 報錯 The RDB file contains module data I can't load: no matching module 'MBbloom--
##問題 redis啓動報錯 The RDB file contains module data I can’t load: no matching module 'MBbloom-- ’ ##原因.rdb快照異常 可參考 這裏.
2020-03-04 18:10:17
原创 ambari HDP2.6.5 安裝FLINK1.9
ambari HDP2.6.5 安裝FLINK1.9 ambari HDP2.6.5 安裝FLINK1.9 要下載Flink服務文件夾，請運行以下命令 VERSION=`hdp-select status hadoop-clien
2020-02-25 23:00:56
16
原创 Ambari 安裝 Azkaban
Azkaban on AmbariAzkaban 安裝部署編譯問題安裝構建ambari server創建mysql修改配置修改文件問題 Azkaban 安裝部署 編譯 從源代碼構建 Azkaban構建使用Gradle（使用Grad
2020-02-25 23:00:56
原创 Config inconsistency exists: unknown configType=kafka-broker
ambari卸載kafka 出現上述錯誤 查看日誌tail -100 /var/log/ambari-server/ambari-server.log ERROR [ambari-client-thread-29533] HostIm
2020-02-25 23:00:56
原创 ES 9300 Netty jar衝突
[2020-01-13T16:12:24,691][WARN ][o.e.t.n.Netty4Transport ] [yq1] send message failed [channel: NettyTcpChannel{localA
2020-02-25 23:00:55
7
原创 ambar2.7.3 安裝 impala
1.下載ambari-impala-service VERSION=`hdp-select status hadoop-client | sed 's/hadoop-client - \([0-9]\.[0-9]\).*/\1/'` s
2019-06-12 01:30:17
71
原创 centos7,進程最大打開文件數 too many open files錯誤
根據進程號查看openfiles數量 lsof -p 46528 | grep "WEB-INF/lib" | wc -l lsof -p 46528 wc -l vim /etc/security/limits.conf 和 /
2019-04-26 01:26:17
原创 IDEA spring boot maven項目中對接swagger jar衝突解決思路
最終的pom.xml <dependency> <groupId>io.springfox</groupId> <artifactId>springfox-swagger2</artifactId> <version>
2019-04-11 10:29:33
9
原创 scala JDBC 方式連接 impala 代碼以及pom.xml文件中的依賴
pom.xml依賴 <dependency> <groupId>com.cloudera</groupId> <artifactId>ImpalaJDBC41</artifactId> <version>2.5.42<
2019-04-11 10:29:33
2