大數據實戰02-hadoop單機版環境的搭建

在按照上篇博文配置好靜態ip之後，我們進行大數據學習的基礎環境之一也就基本搭建成功了一小部分，接下我們將從頭開始搭建hadoop的單機版環境，並講解相關的hadoop中的api

單機環境搭建

1、在創建單機版的環境的過程中，最好創建一個新的虛擬機用戶，root登錄

useradd hadoop  #創建hadoop用戶
passwd hadoop   #設置hadoop用戶的密碼

2、修改用戶的的相關權限

vim /etc/sudoers
root    ALL=(ALL)       ALL
hadoop ALL=(ROOT) NOPASSWD:ALL

3、增加hadoop用戶的權限

chmod u+x /etc/sudoers

4、使用hadoop用戶登錄將hadoop源文件上傳到虛擬機指定目錄中

/home/hadoop/app   #博主上傳的目錄
tar -zxvf  hadoop-2.6.0-cdh5.15.1.tar.gz   #解壓

5、進行系統環境變量的配置

vim /etc/profile
export JAVA_HOME=/usr/jdk8
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

#hadoop
export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.15.1
export PATH=$HADOOP_HOME/bin:$PATH

6、Hadoop環境配置

/home/hadoop/app/hadoop-2.6.0-cdh5.15.1/etc/hadoop  #進入配置目錄
vim hadoop-env.sh	#修改jdk的路徑
export JAVA_HOME=/usr/jdk8   #配置jdk路徑

vim yarn-env.sh  #配置該文件jdk路徑
JAVA_HOME=$JAVA_HOME

vim core-site.xml	#配置core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.93.10:9000</value>
    </property>
</configuration>

 vim hdfs-site.xml	#配置hdfs-site.xml
<configuration>
	<!--單機版副本數配置爲1-->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    
	<!--hadoop臨時文件的存放的目錄-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/app/tmp</value>
    </property>
</configuration>

首次啓動hdfs系統需要格式化文件系統
hdfs namenode -format

 

7、驗證環境單機環境是否配置成功

進入/hadoop-2.6.0-cdh5.15.1/sbin
輸入：./start-dfs.sh 
啓動完成後再次輸入：jps
觀察是否有以下的進程
7285 DataNode
7877 Jps
7192 NameNode
7419 SecondaryNameNode
有的話說明單機環境配置成功，沒有則重新檢查相關的原因

8、登錄hdfs的後臺系統

http://192.168.93.10:50070/  #ip地址換成自己電腦配置的靜態ip地址