Hadoop 學習1

原創

2018-09-05 03:51

好久沒有寫博客了……!
這裏總結一下Hadoop安裝過程中的一些問題，像如何安裝JDK、ssh、下載Hadoop這裏我就不提了，網上已經爛大街了。
僞分佈式的相關配置
hadoop-env.sh

# The java implementation to use.
export JAVA_HOME=/usr/java/jdk1.8.0_131

yarn-env.sh

# export JAVA_HOME=/home/y/libexec/jdk1.6.0/
export JAVA_HOME=/usr/java/jdk1.8.0_131

配置文件：core-site.xml

<configuration>
 <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
    <description>HDFS的URI，文件系統://namenode標識:端口號</description>
</property>

<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
    <description>namenode上本地的hadoop臨時文件夾</description>
</property>
</configuration>

配置文件：hdfs-site.xml

<configuration>
<property>
    <name>dfs.name.dir</name>
    <value>/usr/local/hadoop/hdfs/name</value>
    <description>namenode上存儲hdfs名字空間元數據 </description> 
</property>

<property>
    <name>dfs.data.dir</name>
    <value>/usr/local/hadoop/hdfs/data</value>
    <description>datanode上數據塊的物理存儲位置</description>
</property>

<property>
    <name>dfs.replication</name>
    <value>1</value>
    <description>副本個數，配置默認是3,應小於datanode機器數量</description>
</property>
</configuration>

配置文件：mapred-site.xml

<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
</configuration>

配置文件：yarn-site.xml

<configuration>
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
</configuration>

配置完成之後執行：
./bin/hdfs namenode –format （首次執行不需要多次執行）
然後啓動 ./sbin/start-dfs.sh
這個時候使用jps查看進程（如果沒有按照提示安裝）
此時應該有四個：
SecondaryNameNode
Jps
DataNode
NameNode
如果此時沒有NameNode,可以這樣解決：
首先執行 ./sbin/stop-all.sh
然後根據core-site.xml中的hadoop.tmp.dir 的值，這裏我的是/usr/local/hadoop/tmp,將目錄底下的文件夾刪掉，然後重新執行./bin/hdfs namenode –format 然後啓動 ./sbin/start-dfs.sh
正常之後，可以執行./sbin/start-yarn.sh
這個時候使用jps可以看到兩個新的進程名：
NodeManager 和ResourceManager 如果沒有ResourceManager ，可以重新啓動（反正我是這樣解決的）。

上面弄好之後，可以運行個代碼試試,這裏使用Hadoop自帶的wordcount,就是單詞計數

首先創建

因爲是僞分佈式，跑代碼的時候Hadoop是從HDFS中讀取文件數據的，所以需要將創建的兩個文件上傳到HDFS中，（參考：http://daixuan.blog.51cto.com/5426657/1745781
http://blog.csdn.net/wang_zhenwei/article/details/47444335）