pig的安装、pig的数据模型和pig的常用命令

pig的安装

1、解压pig的安装到到安装位置

tar -zxvf pig-***.jar -C 你的安装目录

2、配置环境变量

vim ~/.bash_profile

3、运行pig

pig的运行方式有俩种,这两种方式取决于他们处理文件在什么上面,如果处理的文件在本地linux目录中那么就是本地模式,如果

处理的是hdfs上的文件那么就是集群模式。所以总结为俩种模式,本地模式和集群模式。

本地模式的启动方式:处理的是本地Linux的文件,不是HDFS

启动命令:pig -x local

通过打印的日志Connecting to hadoop file system at: file:///可以看到是链接的就是本地的文件

集群模式:操作的就是HDFS

需要配置一个环境变量:指向Hadoop的配置文件的目录
  PIG_CLASSPATH=$HADOOP_HOME/etc/hadoop
  export PIG_CLASSPATH

启动命令:pig

从启动命令后打印的日志,pig链接的是hdfs

pig的数据模型:

pig的数据模型其实pig的表的结构

pig表叫做bag,bag又是有tuple组成。

tuple中有可以嵌套bag

pig有几个注意的点:

   pig的表中的每个tuple可以不是一样的,可以有不同的列

   pig允许表的嵌套

   pig物理存储的数据模型是json数据

  pig的常用命令:

   ls  cd  cat  mkdir  pwd:在pig的集群模式下是操作的是hdfs上的文件,这几个操作命令要比使用hdfs的命令快很多

  copyFromLocal  copyToLocal:这个是用来在本地和hdfs集群上来回的拷贝文件的

  sh:这个是用来在pig集群命令行模式下操作本地文件的

   register define:register是为了注册jar到pig中,define是为了给取别名用的

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章