原创 磁盤陣列簡介
磁盤陣列 磁盤陣列是一種把若干硬磁盤驅動器按照一定要求組成一個整體，整個磁盤陣列由陣列控制器管理的系統。 1．1．2 磁盤陣列的工作原理與特徵 RAID的基本結構特徵就是組合(Striping)，捆綁2個或多個物理磁盤成組，形成一
2020-05-08 18:25:49
原创 GreenPlum--表存儲方式選擇
本文主要討論的是GP中在創建表時可以選擇的表的存儲方式，有兩類： 1、行存儲，列存儲 2、堆存儲還是追加優化存儲 首先我們來討論一下行存和列存 行存儲的具體形式： 行方向是傳統的存儲數據庫元組的方式。 組成一行的列被連續地存儲在磁
2020-05-07 05:22:19
原创 虛擬機--NAT,HOST-NOLY,橋接網絡
一、橋接模式（bridged networking）： 在橋接模式下，此時虛擬機相當於網絡上的一臺獨立的主機，擁有一個獨立的IP地址，它可以訪問該類網段內任何一臺機器。 橋接網絡環境下需要做到： 1.手動爲虛擬機系統配置IP地址
2020-05-01 01:33:05
原创 Postgresql-轉義字符
背景： 今天碰到一個問題，就是postgresql中怎麼在引號中定義變量，想了各種方法，也沒有解決，下面是我找到的神似的內容。 正文 在PostgreSQL 9之前的版本中，可以直接使用反斜槓\進行轉義；比如：\b表示退格， \n
2020-04-25 13:22:57
原创 GreenPlum--分區維護需求（1）
通過編寫存儲過程，完成如下功能： 1. 對於5年以前（以當年1月1日往前推導）的數據，進入歷史分區（單一分區）。 2. 對於1年以上，5年以內的數據，使用年分區。 3. 1個月以上，1年以內的數據，按月分區。 4. 1個月以內的數
2020-04-25 13:22:57
原创 GreenPlum--一些整理
1、創建數據庫： create database 庫名; 2、刪除數據庫： drop database 庫名; 3、創建表： create table 表名( id integer, name text, price numeri
2020-04-23 19:24:01
原创 GreenPlum--數據裝載性能技巧
1、在裝載前刪除索引 在已存在的數據上創建索引比不斷的遞增索引要快 2、在裝載之後運行ANALYZE 執行ANALYZE確保查詢計劃擁有最新的統計信息 3、在裝載出錯後執行VACUUM 錯誤發生前的記錄無法訪問，但是仍然佔據磁盤空
2020-04-23 19:24:01
原创 從GP中卸載數據
兩種類型：並行（可寫外部表）和非並行（COPY） 兩種方式的可寫外部表：基於文件和基於WEB 定義基於文件的可寫外部表 使用CREATE WRITABLE EXTERNAL TABLE 命令地定義外部表並指出輸出文件的位置和格式
2020-04-23 19:24:01
原创 GreenPlum--gpfdist，gpfdists和gphdfs
三種用來訪問外部表數據源的協議：gpfdist，gpfdists和gphdfs gpfdist 在外部表指定文件的所有主機上運行GP文件分發程序（gpfdist）。 該程序指向一個給定的目錄，並行的爲所有segment實例提供外部
2020-04-22 10:37:23
原创 GreenPlum--外部表
外部表： 1、外部表允許用戶像訪問標準數據庫表一樣的訪問外部表。 2、結合GP的並行文件分配程序（gpfdist），外部表支持在裝載和卸載數據時全並行化利用所有segment實例的資源。 3、GP還可以利用Hadoop分佈式文件系
2020-04-22 10:37:23
原创 PostgreSQL--數據類型總結
一、數值類型： 下面是PostgreSQL所支持的數值類型的列表和簡單說明： 名字 存儲空間 描述 範圍 smallint 2 字節 小範圍整數 -32768 到 +32767 integer 4 字節 常用的整數 -214748364
2020-04-22 10:37:23
原创 GreenPlum--裝載數據
1、關於gpload ·gpload是一個數據並行裝載命令 ·需要創建一個按照YAML格式定義的裝載說明控制文件 例如：將txt文件導入表中 gpload -f my_load.yml yml文件內容： VERSION: 1.0.
2020-04-22 10:37:23
原创 GreenPlum--系統數據字典
系統數據字典： 所有的系統數據字典存放在pg_catalog模式下。 標準的PostgreSQL系統數據字典爲pg_*。 GP特有的字典目錄： gp_configuration gp_distribution_policy gp_
2020-04-20 21:23:27
原创 Linux下ZooKeeper集羣的安裝
1、開啓三臺虛擬機mdw(192.168.0.66),sdw1(192.168.0.67),sdw2(192.168.0.68) 2、本次安裝使用普通用戶 “hadoop” 安裝 ,該用戶應該具備root權限 useradd h
2020-04-19 03:42:42
原创 GPkafka使用過程中遇到的問題
1、gpkafka.yaml文件配置如下： 報錯信息如下： 在網上查了很久也沒有找到解決方法，然後根據經驗，大概率是yaml文件內容有問題，實驗了很多次，修改成下面這樣就成功了。
2020-04-19 03:42:42