pig的安装
1、解压pig的安装到到安装位置
tar -zxvf pig-***.jar -C 你的安装目录
2、配置环境变量
vim ~/.bash_profile
3、运行pig
pig的运行方式有俩种,这两种方式取决于他们处理文件在什么上面,如果处理的文件在本地linux目录中那么就是本地模式,如果
处理的是hdfs上的文件那么就是集群模式。所以总结为俩种模式,本地模式和集群模式。
本地模式的启动方式:处理的是本地Linux的文件,不是HDFS
启动命令:pig -x local
通过打印的日志Connecting to hadoop file system at: file:///可以看到是链接的就是本地的文件
集群模式:操作的就是HDFS
需要配置一个环境变量:指向Hadoop的配置文件的目录
PIG_CLASSPATH=$HADOOP_HOME/etc/hadoop
export PIG_CLASSPATH
启动命令:pig
从启动命令后打印的日志,pig链接的是hdfs
pig的数据模型:
pig的数据模型其实pig的表的结构
pig表叫做bag,bag又是有tuple组成。
tuple中有可以嵌套bag
pig有几个注意的点:
pig的表中的每个tuple可以不是一样的,可以有不同的列
pig允许表的嵌套
pig物理存储的数据模型是json数据
pig的常用命令:
ls cd cat mkdir pwd:在pig的集群模式下是操作的是hdfs上的文件,这几个操作命令要比使用hdfs的命令快很多
copyFromLocal copyToLocal:这个是用来在本地和hdfs集群上来回的拷贝文件的
sh:这个是用来在pig集群命令行模式下操作本地文件的
register define:register是为了注册jar到pig中,define是为了给取别名用的