原创 構建並生成日期維度數據表
基於 MySQL 生成日期維度數據 創建日期維度數據表DROP TABLE IF EXISTS `date_dim`; CREATE TABLE IF NOT EXISTS `date_dim` ( `date_sk
2020-07-04 03:06:15
原创 Flink 在 idea上提交任務到遠程服務器
Flink自身提供了遠程提交任務的環境,源碼如下: 請查看StreamExecutionEnvironment 類中 createRemoteEnvironment 方法 def createRemoteEnvironment(
2020-07-04 03:06:15
13
原创 在 Kudu 中集成 Hive Metastore
在啓用 Kudu-HMS 集成之前，要確保 Kudu 和 HMS 現有表的視圖一致。這可能需要重命名Kudu表以符合Hive命名約束。在啓用與 Hive Metastore 集成之前應升級現有 Kudu 表。 準備升級 在升級
2020-07-02 15:30:03
38
原创 Kudu 表數據遷移
使用 Kudu Command Line Tools 將表數據複製到另一個表 這兩個表可在同一個集羣中，也可在不同集羣。但是這兩個表必須具有相同的表模式，可以具有不同的分區模式。該工具可以使用與源表相同的表和分區模式創建新表。 用
2020-07-02 15:30:03
21
原创 Flink 本地運行日誌配置
方法一: 使用 log4j.properties 在 src/main/resources 中添加 log4j.properties 文件 ###########################################
2020-06-29 23:05:51
1
原创 Spring Boot 整合 Kafka 並使用 @KafkaListener 併發批量接收消息
註冊 KafkaListenerContainerFactory import org.apache.kafka.clients.CommonClientConfigs; import org.apache.kafka.cli
2020-06-17 11:24:21
原创 ElasticSearch 在排序操作時報錯: Fielddata is disabled on text fields by default...
異常信息: Fielddata is disabled on text fields by default. Set fielddata=true on [my_field] in order to load fieldda
2020-06-17 11:24:21
6
原创 Hive 在 Join 查詢時報錯: Bad status for request TFetchResultsReq ...
異常信息: Bad status for request TFetchResultsReq(fetchType=1, operationHandle=TOperationHandle(hasResultSet=True, mo
2020-06-17 09:26:19
原创 在 idea 中以 yarn-client 遠程提交 Spark作業
示例代碼 RemoteSubmitApp 主類 package com.cloudera import org.apache.kafka.clients.consumer.ConsumerConfig import or
2020-06-17 09:26:19
12
原创 解決 Beyond Compare 4 提示“這個授權密鑰已被吊銷”
錯誤提示 解決辦法 進入 C:\Users\用戶名\AppData\Roaming\Scooter Software\Beyond Compare 4 目錄，如下圖: 刪除該目錄中的 4 個文件，分別是 BCS
2020-06-17 09:26:18
原创 SparkStreaming 消費 Kafka 數據保存 Offset 到 Redis
Sparkstreaming程序: package com.cloudera.savekafkaoffset import com.cloudera.utils.{JedisPoolUtils, KafkaRedisUtils,
2020-06-17 09:26:18
3
原创 Elasticsearch 安裝部署 IK 分詞器
下載 elasticsearch-analysis-ik 安裝包 下載地址: https://github.com/medcl/elasticsearch-analysis-ik/releases 安裝 IK 分詞器
2020-06-17 09:26:18
原创 Spark 讀取 Hive 數據及相關問題解決
示例代碼 SparkHiveAPP 主類 注意: 需要將 core-site.xml,hdfs-site.xml, yarn-site.xml,mapred-site.xml 和 hive-site.xml 放到 reso
2020-06-17 09:26:18
原创 Elasticsearch 更新字段映射 mapping
Elasticsearch 不支持現有字段映射更新。可以通過正確創建映射一個新的索引，然後將原索引上的數據複製到新的索引上，再將 alias 指向新 indices。然後再刪除原索引。 將原索引 test 添加 alias c
2020-06-17 09:26:18
原创 使用 Imply 安裝部署 Druid 集羣並測試
下載 imply 安裝包 [root@node01 opt]# wget https://static.imply.io/release/imply-3.3.3.tar.gz 解壓安裝包並修改配置文件 [root@nod
2020-06-04 00:38:23