原创 解決Greenplum數據庫Master節點產生日誌過多問題
1.原因分析 greenplum集羣master節點產生日誌過大原因：greenplum數據庫，由於所有的用戶請求，都要經過master節點，並且默認情況下master節點會把CREATE，ALTER，DROP ，INSERT，UPDAT
2020-06-21 07:24:32
5
原创 Greenplum高可用（副本）啓用
1. 啓用Primary Segment副本 1.1添加的副本Mirror Segment與Primary Segment位於同一臺主機 創建用於存儲mirror節點數據目錄，注意目錄不能和primary的數據目錄相同； 如：
2020-06-21 07:24:22
5
原创 Spark Streaming-2.4.3整合Kafka-0.10
1.依賴準備 添加spark-streaming整合kafka的依賴，將依賴添加到pom.xml中，如下： <dependency> <groupId>org.apache.spark</groupId> <artifactId
2020-06-21 07:24:22
4
原创 Greenplum Kafka 集成
本文主要介紹如何配置和使用Greenplum-Kafka集成 1.介紹 Greenplum-Kafka集成使用Greenplum Stream Server來提供從Apache Kafka到Greenplum數據庫的高速並行數據加載入庫。
2020-06-21 07:24:22
36
原创 hbase 錯誤：ERROR: Can't get master address from ZooKeeper; znode data == null
啓動hbase後，在hbase shell 中運行如下命令報錯： 注意：我使用的不是hbase自帶的zookeeper。是自己搭建的一個zookeeper集羣。且export HBASE_MANAGES_ZK=true這句話已被註釋掉。
2020-02-24 10:56:02
14
原创 Kylin Dashboard 功能開啓
1.修改Kylin配置文件開啓Dashboard功能 修改kylin.properties，並添加如下內容： kylin.server.query-metrics2-enabled=true kylin.metrics.reporte
2019-10-26 08:04:35
1
原创 Greenplum Stream Server(GPSS)介紹
1. GPSS簡介 Greenplum Stream Server (GPSS)是一個ETL(提取、轉換、加載)工具。GPSS服務器的一個實例從一個或多個客戶機接收流數據，使用Greenplum數據庫可讀的外部表將數據轉換並
2019-09-05 06:22:29
84
原创 quartz在job間隔期間內，保證上一個任務執行完後，再去調度下一個任務
原文鏈接：https://blog.csdn.net/hanchuang213/article/details/77008831 Quartz定時任務默認都是併發執行的，不會等待上一次任務執行完
2019-08-23 06:08:03
原创 greenplum數據入庫方式總結及性能對比
1.greenplum入庫方式總結 greenplum目前主要使用到的入庫方式有如下4種： 使用insert into方式入庫 使用gpss方式入庫 使用gpkafka方式入庫 使用gpcopy方式入庫 2.以上入庫方式優缺點及性能對比
2019-08-23 06:08:03
19
原创 Greenplum Streaming Server(GPSS)自定義客戶端開發
1. GPSS服務定義 將以下內容複製到gpss.proto文件中，如下： syntax = "proto3"; import "google/protobuf/empty.proto"; import "google/protobuf
2019-08-08 06:20:33
36
原创 greenplum集羣安裝（包含greenplum集羣高可用配置）
寫在前面：本集羣安裝包含master啓用高可用、單機多segment、segment 備份節點（mirror）啓用。Greenplum數據庫版本，建議選擇5.x，目前6.x版本未進入正式版本，暫不建議進入生產環境。目前已測試版本爲gree
2019-07-31 07:51:43
原创 Greenplum Command Center監控安裝
1.下載軟件 軟件下載地址：https://network.pivotal.io/products/pivotal-gpdb/#/releases/422445/file_groups/1919 這裏下載greenplum-cc-web-
2019-07-31 07:51:43
33
原创 Greenplum Streaming Server(GPSS)安裝配置
簡介：Greenplum流服務器(GPSS)管理客戶端(如：Greenplum- Kafka )和Greenplum數據庫之間的通信和數據傳輸。在使用該服務將數據加載到Greenplum數據庫之前，必須先配置並啓動GPSS實例。 1. 安
2019-07-30 05:27:10
44
原创 PL/pgSQL: 定義函數實現修改表
該函數實現根據傳遞給函數的列名和表名，向表中添加指定列。 這裏使用到了PL/pgSQL函數裏的EXECUTE來生成動態命令。 具體函數定義如下： CREATE OR REPLACE function addColums(colNam
2019-07-30 05:27:10
原创 java.lang.NoClassDefFoundError類錯誤解決方法
在開發maven項目時，在完成代碼編寫後進行本地測試過程中經常會出現如下錯誤 java.lang.NoClassDefFoundError: Could not initialize class xxx 當看到java.lang.NoC
2019-07-30 05:27:10
1