很久沒寫過部署文檔了，不過 Apache Ranger KMS 的手動部署較爲繁瑣，網上的相關資料基本都是散裝的，因此寫了一篇進行總結。

文章目錄

背景

需要一個高可用的 KMS 服務用於數據靜態加密（HDFS 透明加密 / ORC格式列加密），hadoop 原生基於 java keystore 的 KMS 方案在生產環境並不可靠，列了幾種可能的方案：

使用內部自建的 KMS ，實現 hadoop provider
使用 CDH 收費的 Navigator Key Trustee Server
使用 Apache Ranger KMS

綜合考慮最後選擇了方案三，Hadoop KMS是Apache社區開發的，將密鑰存入文件（Java keystore）中，而Ranger KMS則是把密鑰存入後臺數據庫中，通過Ranger Admin webui/Api 可以集中化管理KMS服務（密鑰管理，訪問策略，審計日誌）。

安裝部署

hadoop 版本: 2.6.0-cdh5.15.0
ranger 版本: 1.2.0 （筆者在該版本遇到 sql 初始化的BUG，github 上最新 1.2.1-snapshot 版本已解決該問題）

下載 range-1.2.0 源碼進行編譯，初次編譯耗時可能較長，可以放在後臺執行，相應包會生成在 target 目錄下。

wget http://mirrors.tuna.tsinghua.edu.cn/apache/ranger/1.2.0/apache-ranger-1.2.0.tar.gz 
tar -vxf apache-ranger-1.2.0.tar.gz 
cd apache-ranger-1.2.0
nohup mvn clean compile package assembly:assembly install -DskipTests=true -Drat.skip=true -Dmaven.test.skip=true > maven.log &

安裝 ranger-admin

mysql 增加用戶及數據庫

create database ranger;
alter database ranger character set latin1; 
create user 'rangeradmin'@'%' identified by '123456';
GRANT ALL PRIVILEGES ON ranger.* TO 'rangeradmin'@'%' IDENTIFIED BY '123456';
flush privileges;

解壓，修改配置文件

tar -vxf ranger-1.2.0-admin.tar.gz
cd ranger-1.2.0-admin
vim install.properties

install.properties

SQL_CONNECTOR_JAR=/path/to/mysql-connector-java-5.1.34.jar

db_root_user=...
db_root_password=...
db_host=...

# DB UserId used for the Ranger schema
db_name=ranger
db_user=rangeradmin
db_password=123456

# 禁用audit審計，如需開啓，需安裝solr
#audit_store=solr
#audit_solr_urls=
#audit_solr_user=
#audit_solr_password=
#audit_solr_zookeepers=

# Custom log directory path
RANGER_KMS_LOG_DIR=/home/admin/output/ranger/admin/logs

#PID file path
RANGER_KMS_PID_DIR_PATH=/home/admin/var/ranger/admin/run

保存後使用 root 進行 setup

./setup.sh

安裝成功後會提示

Installation of Ranger PolicyManager Web Application is completed.

啓動服務

./ews/ranger-admin-services.sh  start

通過 netstat -lntp|grep 6080 查看進程是否正常啓動，啓動後訪問 ip:6080 ，通過 admin/admin 訪問 webui 。

安裝 ranger-kms

mysql 增加用戶及數據庫

create database rangerkms;
alter database rangerkms character set latin1; 
create user 'rangerkms'@'%' identified by '123456';
GRANT ALL PRIVILEGES ON rangerkms.* TO 'rangerkms'@'%' IDENTIFIED BY '123456';
flush privileges;

解壓，修改配置文件

tar -vxf ranger-1.2.0-kms.tar.gz
cd ranger-1.2.0-kms
vim install.properties

SQL_CONNECTOR_JAR=/path/to/mysql-connector-java-5.1.34.jar

db_root_user=...
db_root_password=...
db_host=...

# DB UserId used for the Ranger KMS schema
db_name=rangerkms
db_user=rangerkms
db_password=123456

# Location of Policy Manager URL
POLICY_MGR_URL=http://$RANGER_ADMIN_HOST:6080

# This is the repository name created within policy manager
REPOSITORY_NAME=kmsdev

# Custom log directory path
RANGER_KMS_LOG_DIR=/home/admin/output/ranger/kms/logs

#PID file path
RANGER_KMS_PID_DIR_PATH=/home/admin/var/ranger/kms/run

保存後進行安裝

./setup.sh
./enable-kms-plugin.sh

一切順利後會顯示

Installation of Ranger KMS is completed

查看 rangerkms 數據庫會發現兩張表

ranger_keystore
ranger_masterkey

使用 keyadmin/keyadmin 登陸 webui，添加 kms 服務，服務名爲 kms-site.xml 中REPOSITORY_NAME 設置的值，此處爲 kmsdev

Service Name ：kmsdev
KMS URL ：kms://http@hostnip:9292/kms
Username ：keyadmin
Password ：keyadmin

啓動 ranger-kms

./ranger-kms start

通過 netstat -lntp|grep 9292 查看進程是否正常啓動

HDFS 配置

hdfs-site.xml

dfs.encryption.key.provider.uri kms://http@kms_host:9292/kms

core-site.xml

hadoop.security.key.provider.path kms://http@kms_host:9292/kms

Kerberos 配置

如果 range-admin 開啓了 kerberos 認證，kms 也需要修改相關配置：

/home/admin/ranger-1.2.0-kms/ews/webapp/WEB-INF/classes/conf/kms-site.xml

<property>
	<name>hadoop.kms.authentication.type</name>
	<value>kerberos</value>
</property>

<property>
	<name>hadoop.kms.authentication.kerberos.keytab</name>
	<value>/etc/kerberos/dcadmin.keytab</value>
</property>

<property>
	<name>hadoop.kms.authentication.kerberos.principal</name>
	<value>HTTP/[email protected]</value>
</property>

配置 kerberos SPNEGO 後可以通過 curl --negotiate -u: "..." 訪問相應的 rest api ，會自動將本地的 tgt 票據加到 http 請求中

//list kms keys
curl --negotiate -u: "http://spark-d-011015.hz.td:9292/kms/v1/keys/names"

HA 配置

可以啓動多個 ranger kms 實例，當hadoop.security.key.provider.path中指定了多個URL時，將隱式使用LoadBalancingKMSClientProvider，對多個 kms 實例以輪詢的方式發送請求。
對於 Kerberos SPNEGO 身份驗證，URL的主機名用於構造服務器的 Kerberos 服務名HTTP /＃HOSTNAME＃ ，這意味着所有KMS實例必須具有帶有負載均衡器的Kerberos服務名稱。爲了能夠直接訪問特定的KMS實例，KMS實例還必須具有其自己的主機名的 Keberos 服務名，所以需要將 hadoop.kms.authentication.kerberos.principal 中的 Kerberos 服務名改爲 *
Ranger admin 不可用不會影響到 Ranger KMS 提供服務，Ranger KMS 默認每30秒會從Ranger Admin 中下載最新的策略（policies），當 Ranger Admin 不可用時，Ranger KMS 則會使用上一次從 ranger admin 中下載的策略。

修改相關配置，參數比較多，爲了縮短篇幅，不再以 xml 格式表達：

/home/admin/ranger-1.2.0-kms/ews/webapp/WEB-INF/classes/conf/kms-site.xml

hadoop.kms.key.provider.uri = dbks://[email protected]:9292/kms
hadoop.kms.cache.enable = false
hadoop.kms.cache.timeout.ms = 0
hadoop.kms.current.key.cache.timeout.ms = 0
hadoop.kms.authentication.kerberos.principal = *
hadoop.kms.authentication.signer.secret.provider = zookeeper
hadoop.kms.authentication.signer.secret.provider.zookeeper.connection.string = spark-d-011017.hz.td:2181,spark-d-011018.hz.td:2181,spark-d-011019.hz.td:2181
hadoop.kms.authentication.signer.secret.provider.zookeeper.auth.type = none

配置 provider url ，下述第一種寫法必須保證所有的 kms 端口一致

之前的 KMS URL = kms://http@<internal host name>:9292/kms
新的 KMS URL
寫法1 kms://http@<RangerKMS-node1>;<RangerKMS-node2>;...:9292/kms
寫法2 kms://http@<RangerKMS-node1>:9292/kms,kms://http@<RangerKMS-node2>:9292/kms

可以直接使用 hadoop 命令行進行測試

hadoop key list -metadata -provider "kms://[email protected];spark-d-011016.hz.td:9292/kms"

Tip

github 上 clone 1.2.1-snapshot 版本，開啓 HA 會提示下方錯誤，因爲有個 RANGER-2140 中升級了 guava 版本，會導致方法衝突，可以在 pom.xml 中將 guava 版本降到 17.0。

2020-01-08 23:26:55,583 ERROR [/kms] - Exception starting filter authFilter
java.lang.NoSuchMethodError: com.google.common.util.concurrent.MoreExecutors.sameThreadExecutor()Lcom/google/common/util/concurrent/ListeningExecutorService;

KMS LUNA HSM

有一種比將密鑰存在數據庫中更加可靠的密鑰保護方案，需要額外的硬件支持，HSM（硬件安全模塊）是專爲保護加密密鑰生命週期而設計的專用加密處理器，在可靠且防篡改的設備中安全地管理、處理和保存加密密鑰。有此需求的同學可以在 ranger wiki 中找到配置相應文檔。

FAQ

提示沒有 policies 下載權限

在 ranger admin 中配置 kms server 時在 Add New Configurations 中添加參數。

policy.download.auth.users = username
啓動 kms 時提示 java.lang.Exception: Serivce:kmsdev not found

需要在 ranger admin 中用 keyadmin 用戶預先建一個 ranger kms 配置中 REPOSITORY_NAME 對應的 kms 服務。
“User:keyadmin not allowed to do ‘GET_KEYS’”
修改 kms 服務 Policies ，對提示用戶添加相應的權限。
WARN RangerAdminRESTClient - Error getting policies. secureMode=true, user=admin/[email protected] (auth:KERBEROS), response={“httpStatusCode”:401,“statusCode”:0}, serviceName=kmsdev

401 的提示基本是 Kerberos SPNEGO 沒有配置正確引起的，排查 /home/admin/ranger-1.2.0-kms/ews/webapp/WEB-INF/classes/conf/kms-site.xml 中的相關配置。

User: admin is not allowed to impersonate xxx

用戶沒有代理權限，修改 /home/admin/ranger-1.2.0-kms/ews/webapp/WEB-INF/classes/conf/kms-site.xml

<property>
	<name>hadoop.kms.proxyuser.admin.groups</name>
	<value>*</value>
</property>

<property>
	<name>hadoop.kms.proxyuser.admin.hosts</name>
	<value>*</value>
</property>

<property>
	<name>hadoop.kms.proxyuser.admin.users</name>
	<value>*</value>
</property>

setup.sh 腳本初始化時 sql 提示: This function has none of DETERMINISTIC, NO SQL, or READS SQL DATA in its declaration and binary logging is enabled (you might want to use the less safe log_bin_trust_function_creators variable)
set global log_bin_trust_function_creators ＝ 1;
ranger kms 日誌提示 Illegal key size
說明 aes 支持的位數不夠，有兩個解決辦法:
1. 升級 jdk ，例如 jdk8_162
2. 替換 jce police，可參考 https://blog.csdn.net/hfhwfw/article/details/68557238
運行一段時間後，NameNode 連接 kms 提示 401
DelegationToken 過期導致，可以在 crontab 中定期讓 NN 訪問 KMS
KMS 多實例運行一段時間後，提示 zk 超時，導致 kms 服務不可用
配置 zk-dt-secret-manager 保存 DelegationToken 時，在集羣規模較大的情況下，zk /hadoop-kms-dt/ZKDTSMRoot/ZKDTSMTokensRoot 下的數據會迅速增長，在達到默認的 4M 後 zk 客戶端會提示無法連接 zk ，錯誤提示如下:

解決辦法：在 ranger-kms 腳本 JAVA_OPTS 中增加參數 -Djute.maxbuffer=50111000，如果請求量較大可以提高 ranger_kms_max_heap_size=4g ，默認爲1g。
ranger 1.2 不支持 hadoop-2.8 及以上版本，默認依賴的 2.7.1 在zk代理令牌管理上有不少 BUG

比如 HADOOP-13487，重啓 kms 不會刪除zk中歷史過期的令牌，導致 ZNODE 節點不斷增加，在我們的集羣中，正常存在的代理令牌數量保持在 120萬左右，如果不刪除過期令牌，很快就會遇到問題。

解決方式：

在 hadoop-2.7.7 版本上 cherry-pick 加入 HADOOP-12652/HADOOP-13422/HADOOP-13487 後，重新編譯 hadoop-common/hadoop-hdfs 模塊，將編譯出的包 hadoop-annotations-2.7.7.jar / hadoop-auth-2.7.7.jar / hadoop-common-2.7.7.jar / hadoop-hdfs-2.7.7.jar 替換到 $RANGER_HOME/ews/webapp/lib 下。

後記

在沒有硬件加密的情況下爲了提高密鑰的安全性，密鑰需要不定期 rollover ，同時密鑰數據庫要做數據備份，密鑰數據庫密碼管理需要在行政上做一定約束。

參考

Ranger集成KMS服務
 Install Multiple Ranger KMS
kerberos_and_hadoop Error Messages to Fear
Apache Ranger 0.5.0 Installation
Hadoop Key Management Server (KMS) - Documentation Sets

Apache Ranger KMS 部署文檔

文章目錄

背景

安裝部署

安裝 ranger-admin

安裝 ranger-kms

HDFS 配置

Kerberos 配置

HA 配置

KMS LUNA HSM

FAQ

後記

參考

再談23種設計模式（3）：行爲型模式（學習筆記）

Power Automate Desktop 安裝完，登錄後老是提示one driver 錯誤

微前端學習筆記(4):從微前端到微模塊之EMP與hel-micro方案探索

微前端學習筆記（1）：微前端總體架構概述，從微服務發微

985 碩士程序員，空窗 4 個月沒有 Offer！

一文搞懂 Spring 循環依賴

賽博鬥地主——使用大語言模型扮演Agent智能體玩牌類遊戲。

VScode右鍵打開(添加到右鍵)

記一次 .NET某工控視覺自動化系統卡死分析

WindowsServer--SQL Server搭建主從同步實現讀寫分離 - 事務性分發

Delta Presto Integration & Manifests 機制

Apache Ranger KMS 部署文檔

Delta 初探

使用 aspectj 對 spark 進行攔截

spark on yarn cgroup 資源隔離(cpu篇)

Mac下配置sublime實現LaTeX

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結