安裝包版本
JDK1.8.0.232(java1.8就可以,小版本號不強求)
鏈接:https://pan.baidu.com/s/1ZpMEtomkT1nvY_0qTbwcjg
提取碼:ei07
Hadoop2.7.7
鏈接:https://pan.baidu.com/s/1oL61X921-4Urd3UCwbrKKQ
提取碼:9aln
Hive2.2.1
鏈接:https://pan.baidu.com/s/1fPkeEJSImStlcCbYnCUy4g
提取碼:02hg
mysql-connector-java-5.1.46.jar
鏈接:https://pan.baidu.com/s/13ICebpZljlb39w9sm4O-pA
提取碼:ae9a
JDK安裝
下載解壓,安裝到非默認路徑
JDK環境變量配置
配置JDK環境變量,依次點擊我的電腦-屬性-高級系統設置-環境變量-新建系統變量,如下圖所示:
編輯系統變量Path
,添加如下圖所示兩個值
Hadoop安裝
下載解壓即可
Hadoop環境變量配置
參考JDK環境變量配置,如下圖所示:
編輯系統變量Path
,添加如下圖所示一個值
環境變量配置完成後打開cmd
進行測試,輸入hadoop
,正常應如下所示:
修改配置文件
新建目錄
新建namenode和datanode目錄,新建data目錄,在下面新增dfs目錄,再在下面新增namenode和datannode目錄
修改core-site.xml文件
文件目錄E:\tools\Hadoop\hadoop-2.7.7\etc\hadoop
,將下面的代碼複製到core_site.xml,並保存
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
修改hdfs-site.xml(目錄和core_site一致),datanode和namenode改爲自己的目錄
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/E:/tools/Hadoop/hadoop-2.7.7/data/dfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/E:/tools/Hadoop/hadoop-2.7.7/data/dfs/datanode</value>
</property>
</configuration>
修改mapred-site.xml.template文件(目錄和core_site一致),修改完重命名爲mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
修改yarn-site.xml文件(目錄和core_site一致)
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
修改hadoop-env.cmd文件(目錄和core_site一致)
其實就是設置java的目錄
@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=D:\tools\java\jdk1.8.0.232
格式化HDFS,打開Hadoop
至此,hadoop配置基本結束,接下來就需要測試hadoop是否安裝成功
格式化HDFS,打開cmd,輸入hdfs namenode -format
,結果如下即爲成功
切換到E:\tools\Hadoop\hadoop-2.7.7\sbin
目錄,執行start-all.cmd
,會打開4個窗口即爲成功
然後,輸入jps
命令測試是否成功,如下圖
結果測試
在E:\tools\Hadoop\hadoop-2.7.7\sbin
目錄下創建新的文件,然後在http://localhost:50070/explorer.html#/
查看結果
hadoop fs -mkdir /tmp
hadoop fs -mkdir /user/
hadoop fs -mkdir /user/hive/
hadoop fs -mkdir /user/hive/warehouse
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse
HVIE安裝
環境變量配置
參考JDK環境變量配置,如下圖所示:
編輯系統變量Path
,添加如下圖所示一個值
環境變量配置完成後打開cmd
進行測試,輸入hive
,正常應如下所示:
文件配置
目錄更改
修改目錄E:\tools\hive\conf
中的4個默認的配置文件模板拷貝成新的文件名
hive-default.xml.template -----> hive-site.xml
hive-env.sh.template -----> hive-env.sh
hive-exec-log4j.properties.template -----> hive-exec-log4j2.properties
hive-log4j.properties.template -----> hive-log4j2.properties
創建新目錄
創建以下幾個空目錄
E:\tools\hive\my_hive\operation_logs_dir
E:\tools\hive\my_hive\querylog_dir
E:\tools\hive\my_hive\resources_dir
E:\tools\hive\my_hive\scratch_dir
如下圖所示
mysql驅動配置
將mysql-connector-java-5.1.46-bin.jar複製到E:\tools\hive\lib
目錄下
如下圖所示
修改hive-env.sh文件
新增以下內容,路徑注意修改爲自己的
# Set HADOOP_HOME to point to a specific hadoop install directory
HADOOP_HOME=E:\tools\Hadoop\hadoop-2.7.7
# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=E:\tools\hive\conf
# Folder containing extra ibraries required for hive compilation/execution can be controlled by:
export HIVE_AUX_JARS_PATH=E:\tools\hive\lib
修改hive-site.xml文件
文件內容比較多,可以直接用我的,然後替換路徑和mysql的賬密即可
鏈接:https://pan.baidu.com/s/1PqtKV8Filn7DSwmqssSlTw
提取碼:12gz
按照下圖所示,查找修改即可
創建數據庫
配置文件完成後,創建數據庫,注意字符集和排序規則的設置屬性
啓動hive,結果測試
啓動hadoop
打開windows命令窗口,切換目錄到E:\tools\Hadoop\hadoop-2.7.7\sbin
,輸入命令start-dfs.cmd
並回車,啓動兩個窗口服務即成功
啓動hive metastore
在目錄E:\tools\Hadoop\hadoop-2.7.7\sbin
的命令窗口輸入hive -service meatstore
,如果在hive數據庫中出現如下所示衆多表,則說明開啓成功
上述方式啓動結果如下
此外,如果要操作hive,需要使用命令hive Starting Hive Metastore Server
,進入hive操作系統
此時,可以直接執行HQL語句進行測試,例如執行create table stu(id int, name string);
,然後去
http://localhost:50070/explorer.html#/user/hive/warehouse查看結果,
如上所示,則hive在windows的安裝成功。