解決hivemeta 多服務緩存數據不同步問題

原創 wuzhilon88 2020-06-22 01:04

1、改動的地方

2、增加的數據表hiveMetastore.METASTORE_REFRESH 數據表

 

 

1、增加了各個hivemeta 服務進行定時檢測功能，檢測其他hivemta 是否有alter 操作

設計思想圖：

 

 

修改的主要代碼：org.apache.hadoop.hive.metastore.ObjectStore的initialize

 

 

 

 

 

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

設置spark thriftServer2 端口

spark thriftServer要設置開放端口，在hive-site.xml中設置沒有用時：可以設置： export HIVE_SERVER2_THRIFT_PORT=10013 腳本如下： act=$1 export HIVE_SE

wuzhilon88 2020-06-22 01:04:03

Hive textfile數據表更改輸入輸出文件格式

alter table tmp_etltest.xxx SET FILEFORMAT INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat' OUTPUTFORMAT 'org.apa

wuzhilon88 2020-06-22 01:04:03

Spark序列化專題一 ---- 數據序列化反序列化位置驗證

  版權聲明：本文爲博主原創文章，未經博主允許不得轉載!! 歡迎訪問:https://blog.csdn.net/qq_21439395/article/details/81266889 交流QQ: 824203453   1.java中

gssgch 2020-06-17 03:36:29

Spark從入門到精通二----spark任務的提交方式spark-shell/spark-submit----------各種版本的wordcount

gssgch 2020-05-30 14:59:52

Spark2.X java.net.URISyntaxException完美解決辦法

zhangjunli 2020-02-25 06:25:25

sqoop 處理換行符 \n 和\r 等特殊符號處理

wuzhilon88 2020-02-24 07:23:02

SparkStreaming重複消費消息隊列中的數據解決方案

SparkStreaming重複消費消息隊列中的數據解決方案 問題：在E-MapReduce上使用SparkStreaming消費阿里雲LogService（可以當作Kafka類似的消息隊列來發送和消費數據）中的數據時，每個bat

Winner941112 2020-06-27 12:10:52

設置spark thriftServer2 端口

spark thriftServer要設置開放端口，在hive-site.xml中設置沒有用時：可以設置： export HIVE_SERVER2_THRIFT_PORT=10013 腳本如下： act=$1 export HIVE_SE

wuzhilon88 2020-06-22 01:04:03

Hive textfile數據表更改輸入輸出文件格式

alter table tmp_etltest.xxx SET FILEFORMAT INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat' OUTPUTFORMAT 'org.apa

wuzhilon88 2020-06-22 01:04:03

Spark序列化專題一 ---- 數據序列化反序列化位置驗證

  版權聲明：本文爲博主原創文章，未經博主允許不得轉載!! 歡迎訪問:https://blog.csdn.net/qq_21439395/article/details/81266889 交流QQ: 824203453   1.java中

gssgch 2020-06-17 03:36:29

Spark從入門到精通二----spark任務的提交方式spark-shell/spark-submit----------各種版本的wordcount

gssgch 2020-05-30 14:59:52

ResourceManager HA無法連接Spark TrackUi

yhblog 2020-04-27 02:02:22

Spark2.X java.net.URISyntaxException完美解決辦法

zhangjunli 2020-02-25 06:25:25

sqoop 處理換行符 \n 和\r 等特殊符號處理

wuzhilon88 2020-02-24 07:23:02

spark sql 出現 java.lang.RuntimeException: serious problem

wuzhilon88 2019-09-05 05:54:11