Windows安装Hive - 台部落

安装包版本

JDK1.8.0.232(java1.8就可以，小版本号不强求)
链接：https://pan.baidu.com/s/1ZpMEtomkT1nvY_0qTbwcjg
提取码：ei07
Hadoop2.7.7
链接：https://pan.baidu.com/s/1oL61X921-4Urd3UCwbrKKQ
提取码：9aln
Hive2.2.1
链接：https://pan.baidu.com/s/1fPkeEJSImStlcCbYnCUy4g
提取码：02hg
mysql-connector-java-5.1.46.jar
链接：https://pan.baidu.com/s/13ICebpZljlb39w9sm4O-pA
提取码：ae9a

JDK安装

下载解压，安装到非默认路径

JDK环境变量配置

配置JDK环境变量，依次点击我的电脑-属性-高级系统设置-环境变量-新建系统变量，如下图所示：

编辑系统变量Path，添加如下图所示两个值

Hadoop安装

下载解压即可

Hadoop环境变量配置

参考JDK环境变量配置，如下图所示：

编辑系统变量Path，添加如下图所示一个值

环境变量配置完成后打开cmd进行测试，输入hadoop，正常应如下所示：

修改配置文件

新建目录

新建namenode和datanode目录，新建data目录，在下面新增dfs目录，再在下面新增namenode和datannode目录

修改core-site.xml文件

文件目录E:\tools\Hadoop\hadoop-2.7.7\etc\hadoop，将下面的代码复制到core_site.xml，并保存

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

修改hdfs-site.xml（目录和core_site一致），datanode和namenode改为自己的目录

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/E:/tools/Hadoop/hadoop-2.7.7/data/dfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/E:/tools/Hadoop/hadoop-2.7.7/data/dfs/datanode</value>
    </property>
</configuration>

修改mapred-site.xml.template文件（目录和core_site一致），修改完重命名为mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

修改yarn-site.xml文件（目录和core_site一致）

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

修改hadoop-env.cmd文件（目录和core_site一致）

其实就是设置java的目录

@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=D:\tools\java\jdk1.8.0.232

格式化HDFS，打开Hadoop

至此，hadoop配置基本结束，接下来就需要测试hadoop是否安装成功

格式化HDFS，打开cmd，输入hdfs namenode -format，结果如下即为成功

切换到E:\tools\Hadoop\hadoop-2.7.7\sbin目录，执行start-all.cmd，会打开4个窗口即为成功
然后，输入jps命令测试是否成功，如下图

结果测试

在E:\tools\Hadoop\hadoop-2.7.7\sbin目录下创建新的文件，然后在http://localhost:50070/explorer.html#/查看结果

    hadoop fs -mkdir /tmp
    hadoop fs -mkdir /user/
    hadoop fs -mkdir /user/hive/
    hadoop fs -mkdir /user/hive/warehouse
    hadoop fs -chmod g+w /tmp
    hadoop fs -chmod g+w /user/hive/warehouse

HVIE安装

环境变量配置

参考JDK环境变量配置，如下图所示：

编辑系统变量Path，添加如下图所示一个值

环境变量配置完成后打开cmd进行测试，输入hive，正常应如下所示：

文件配置

目录更改

修改目录E:\tools\hive\conf中的4个默认的配置文件模板拷贝成新的文件名

    hive-default.xml.template -----> hive-site.xml
    hive-env.sh.template -----> hive-env.sh
    hive-exec-log4j.properties.template -----> hive-exec-log4j2.properties
    hive-log4j.properties.template -----> hive-log4j2.properties

创建新目录

创建以下几个空目录

    E:\tools\hive\my_hive\operation_logs_dir
    E:\tools\hive\my_hive\querylog_dir
    E:\tools\hive\my_hive\resources_dir
    E:\tools\hive\my_hive\scratch_dir

如下图所示

mysql驱动配置

将mysql-connector-java-5.1.46-bin.jar复制到E:\tools\hive\lib目录下
如下图所示

修改hive-env.sh文件

新增以下内容，路径注意修改为自己的

# Set HADOOP_HOME to point to a specific hadoop install directory
HADOOP_HOME=E:\tools\Hadoop\hadoop-2.7.7

# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=E:\tools\hive\conf

# Folder containing extra ibraries required for hive compilation/execution can be controlled by:
export HIVE_AUX_JARS_PATH=E:\tools\hive\lib