環境搭建
-
虛擬機克隆、配置靜態IP(可參照以下列舉的博文作爲參考配置)
-
在
opt
,目錄下新建module
、software
文件夾。分別存放解壓後文件及壓縮文件包。
-
JDK
安裝配置## 解壓jdk壓縮包 tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/ ## 進入/etc/profile 配置環境變量 vim /etc/profile ## 文件末尾寫入配置 export JAVA_HOME=/opt/module/jdk1.8.0_144 export PATH=$PATH:$JAVA_HOME/bin ## 重新加載Profile文件 source /etc/profile ## 查看jdk安裝情況 $ java -version java version "1.8.0_144" Java(TM) SE Runtime Environment (build 1.8.0_144-b01) Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)
-
Hadoop
安裝配置## 解壓hadoop壓縮包 tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/ ## 進入/etc/profile 配置環境變量 vim /etc/profile ## 文件末尾寫入配置 export HADOOP_HOME=/opt/module/hadoop-2.7.2 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin ## 重新加載profile文件 source /etc/profile ## 查看Hadoop安裝情況 $ hadoop Usage: hadoop [--config confdir] [COMMAND | CLASSNAME] CLASSNAME run the class named CLASSNAME or where COMMAND is one of: fs run a generic filesystem user client version print the version jar <jar> run a jar file note: please use "yarn jar" to launch YARN applications, not this command. checknative [-a|-h] check native hadoop and compression libraries availability distcp <srcurl> <desturl> copy file or directories recursively archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive classpath prints the class path needed to get the credential interact with credential providers Hadoop jar and the required libraries daemonlog get/set the log level for each daemon trace view and modify Hadoop tracing settings Most commands print help when invoked w/o parameters.
在/etc/profile中添加環境變量後,是使用source /etc/profile編譯後只能在當前終端生效,重新開啓一個終端後,該環境變量失效,重啓系統後纔可解決。
最後配置完成的
/etc/profile
文件截圖爲:
重要目錄:[root@localhost hadoop-2.7.2]# ll 總用量 28 drwxr-xr-x 2 root root 194 5月 22 2017 bin drwxr-xr-x 3 root root 20 5月 22 2017 etc drwxr-xr-x 2 root root 106 5月 22 2017 include drwxr-xr-x 3 root root 20 5月 22 2017 lib drwxr-xr-x 2 root root 239 5月 22 2017 libexec -rw-r--r-- 1 root root 15429 5月 22 2017 LICENSE.txt -rw-r--r-- 1 root root 101 5月 22 2017 NOTICE.txt -rw-r--r-- 1 root root 1366 5月 22 2017 README.txt drwxr-xr-x 2 root root 4096 5月 22 2017 sbin drwxr-xr-x 4 root root 31 5月 22 2017 share
- bin 目錄:存放對 Hadoop 相關服務( HDFS,YARN)進行操作的腳本
- etc 目錄: Hadoop 的配置文件目錄,存放 Hadoop 的配置文件
- lib 目錄:存放 Hadoop 的本地庫(對數據進行壓縮解壓縮功能)
- sbin 目錄:存放啓動或停止 Hadoop 相關服務的腳本
- share 目錄:存放 Hadoop 的依賴 jar 包、 文檔、 和官方案例