原创 Hive——01：Hive、數倉介紹
01 Hive的基本介紹 1、hive產生的原因 · a) 方便對文件及數據的元數據進行管理，提供統一的元數據管理方式 b) 提供更加簡單的方式來訪問大規模的數據集，使用SQL語言進行數據分析 2、hive是什麼？ The
2020-06-19 11:07:39
原创 Ambari數據庫重要表結構
1、hosts（主機表） CREATE TABLE `hosts` ( `host_id` bigint(20) NOT NULL, -- 主機ID `host_name` varchar(255) NOT NULL, -
2020-06-19 11:07:39
1
原创 解決ISR丟失—— Kafka副本同步leader能力參數
replicas響應leader的最長等待時間，若是超過這個時間，就將replicas排除在管理之外 replica.lag.time.max.ms = 10000 如果relicas落後太多,將會認爲此partition
2020-06-19 11:07:39
原创 hive參數大全
parameters description default hive.server2.thrift.min.worker.threads 最小工作線程數 5 hive.server2.thrift.max.wo
2020-06-19 11:07:39
原创 Ranger同步Ldap用戶報錯AuthticationExceptiom :[LDAP:error code 49 - Invalid Credentials]
報錯截圖 LdapDeltaUserGroupBuilder.getUsers() failed with exception:java.naming.AuthticationExceptiom :[LDAP:error cod
2020-06-19 11:07:39
42
原创 Ambari報錯大全
Invalid transition. Invalid event: HOST_SVCCOMP_OP_IN_PROGRESS at INSTALL_FAILED 登錄mysql元數據庫 use ambari; select hos
2020-06-19 11:07:39
1
原创 Mysql報錯 Your password does not satisfy the current policy requirements ErrorCode: 1819
報錯信息 ERROR 1819 (HY000): Your password does not satisfy the current policy requirements 解決辦法 //查看 mysql 初始的密碼策略 mys
2020-06-19 11:07:39
原创 Nginx配置SSL模塊開啓https總結
閱讀本文前，請看下我寫的Nginx安裝部署（三步走） 瞭解下目錄位置，1分鐘就能看懂看完 一：開啓SSL模式 1、查看目前nginx是否開啓SSL /usr/local/nginx/sbin/nginx -V configure
2020-06-19 11:07:39
原创 Hive遠程數據庫模式安裝
Hive遠程數據庫模式安裝 安裝hive的步驟： 1、解壓安裝 2、修改環境變量 vi /etc/profile export HIVE_HOME=/opt/bigdata/hive-2.3.4 將bin目錄添加到PA
2020-06-19 09:59:17
原创 linux安裝mysql步驟（賦權語句）
linux安裝mysql步驟： 1、在linux上使用yum的方式安裝軟件 yum install mysql-server -y 2、啓動mysql的服務 service mysqld start 3、將mysql服務設置成
2020-06-19 09:59:17
原创 linux切換yum源爲阿里雲鏡像
linux切換yum源 1、需要提前安裝wget命令 yum install wget -y 2、切換到yum的安裝目錄 /etc/yum.repos.d/ 3、將所有的已經存在的文件添加備份 以下兩種方式任選其一 1、
2020-06-19 09:59:17
原创 Ranger同步LDAP用戶報錯401
問題 ranger整合LDAP時，同步用戶失敗，報錯401 ranger usersync日誌如下 問題分析 由上面的日誌可知，同步進程從ldap中查詢的用戶跟在ldap服務器上用命令查詢的用戶一致。也就是說，ldap數據已經查
2020-06-19 09:59:17
7
原创 kafka重要參數總結
num.partitions=1 #全局分區設置 默認1 offsets.topic.num.partitions=50 #__consumer_offsets分區設置 默認50 default.replication.
2020-06-19 09:59:17
原创 hive遠程元數據服務模式安裝
hive遠程元數據服務模式安裝： 1、選擇兩臺虛擬機，node03作爲服務端，node04作爲客戶端，（mysql在node1上） 2、分別在node03和node04上解壓hive的安裝包，或者在從node02上遠程拷貝hive
2020-06-19 09:59:17
原创 Ambari源碼API調用鏈剖析（最細）
1、Ambari-Server中基本的Rest API請求舉例 （1）認證 對Ambari API操作需要認證，在Ambari中採用的HTTP基本認證。 該認證可使用-u或是–user參數指定，例如： curl –user nam
2020-06-19 09:59:07
18