GreenPlum--gpfdist,gpfdists,file和gphdfs

三种用来访问外部表数据源的协议:gpfdist,gpfdists和gphdfs

gpfdist
在外部表指定文件的所有主机上运行GP文件分发程序(gpfdist)。
该程序指向一个给定的目录,并行的为所有segment实例提供外部数据文件服务。
如果文件使用了gzip或者bzip2压缩,gpfdist会自动解压。
可以使用多个gpfdist来提升外部表的扫描性能。
可以使用通配符或者C风格的模式匹配多个文件。
注:
1.实际应用中,一般会把gpfdist部署在ETL文件服务器上,在这个服务器上启动一个或者多个gpfdist。
2.一般制定文件数据的父目录,因为大部分是很多数据文件使用同一个gpfdist,如果路径写的细的话,就不能使用同一个gpfdist。比如在开启gpfdist进程时只指定文件根目录,然后定义外部表时就指定子目录。
3.gpfdist进程不是越多越好,主要取决于网络带宽。

控制节点并行度:
gp_external_max_segs参数设置最大多少segment实例访问同一个gpfdist文件分发程序。

启动和停止gpfdist
要启动gpfdist,必须指定其提供文件服务的目录以及运行的端口(缺省为HTTP端口8080)
在后台启动gpfdist(日志信息和出错信息输出到日志文件)

$gpfdist -d /var/load_files -p 8081 -l /home/gpadmin/log &

要在同一个ETL主机启动多个gpfdist服务,为每个服务指定不同的目录和端口。例如:

$gpfdist -d /var/load_files1 -p 8081 -l /home/gpadmin/log1 &
$gpfdist -d /var/load_files2 -p 8082 -l /home/gpadmin/log2 &

停止后台gpfdist服务:
第一步找到进程号,

$ps -ef|grep gpfdist

第二步杀掉进程,kill -9 XXX
select pg_cancel_backend(1234);

gpfdist 故障诊断:
确保GP segment可以访问gpfdist的网络
使用wget命令来测试GP集群的连接性
$ wget http://gpfdist_hostname:port/filename
例如:

$ wget http://mdw:8081/a.txt

需要确保CREATE EXTERNAL TABLE 定义了hostname,port以及gpfdist的文件名。

gpfdists
gpfdists是gpfdist的安全版本,其开启的加密通信并确保文件与GP之间的安全认证。
在这里插入图片描述
file(适用内部数据)
1、如果使用file://协议,则外部文件必须存放在segment主机上面。
2、指定的符合segment实例数量的URLs将并行工作来访问外部表
3、每个segment主机外部文件的数量不能超过segment实例数量。
4、pg_max_external_files用来确定每个外部表中允许多少个外部文件。

select * from pg_max_external_files

在这里插入图片描述
gphdfs
1、该协议指定一个可以在HDFS上包含通配符的路径。
2、在GP链接到HDFS文件时,所有数据将从HDFS数据节点被并行读取到GP的segment实例以快速处理。
3、每个GPsegment实例值读取一组Hadoop数据块
4、对于写来说,每个GP segment实例值写giant实例包含的数据
在这里插入图片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章