Hadoop-2.2.0 + hbase-0.98.4-hadoop2 RedHat x64 僞分佈式安裝小札（及配置文件）

64位32位一旦有了Hadoop-2.2.0的 x64位包就都是一樣一樣的了~ 找到一個LONG同學的包分享在此： pan.baidu.com/s/1ntlupaL

記錄一些安裝過程中遇到的問題

HADOOP-2.2.0 安裝過程：

（1） 基本配置文件：

    最開始的 namenode 沒有起來（/bin/hdfs namenode -format 失敗），錯誤顯示忘記了，最終採取官網相關配置文件直接抄過來OK hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-common/SingleCluster.html

core-site.xml:

<!--HDFS's default url path-->
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/mymiss/hadoop/hadoop_tmp</value>
    </property>
</configuration>

mapred-site.xml:

<!--mapreduce configuration turned to yarn-->
<configuration>
  <property>
    <name>mapreduce.cluster.temp.dir</name>
    <value></value>
    <description>No description</description>
    <final>true</final>
  </property>

  <property>
    <name>mapreduce.cluster.local.dir</name>
    <value></value>
    <description>No description</description>
    <final>true</final>
  </property>

<pre code_snippet_id="466799" snippet_file_name="blog_20140910_2_2772340" name="code" class="plain">  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>

</configuration>

（2） java路徑設置

    執行 /sbin/start-all.sh 顯示 "JAVA_HOME"找不到。修改 /etc/hadoop/hadoop_site.xml 裏面的 export JAVA_HOME=/usr/java/jdk1.7.0_45 即可，修改完以後似乎還需要 . /etc/profile （source /etc/profile）讓它生效這樣子？記不太清了..‘

（3）/etc/profile hadoop相關配置設置

    報了個 org.apache.hadoop.fs.FsShell 找不到的錯誤，發現是 /etc/profile 裏面有關 hadoop 的一些路徑沒有配置。

#for java1.7.0
export JAVA_HOME=/usr/java/jdk1.7.0_45
export CLASSPATH=/usr/java/jdk1.7.0_45/lib
export PATH=$JAVA_HOME/bin:$PATH

#for hadoop2.2.0

export HADOOP_DEV_HOME=/home/mymiss/hadoop/hadoop-2.2.0
export PATH=$PATH:$HADOOP_DEV_HOME/bin
export PATH=$PATH:$HADOOP_DEV_HOME/sbin
export HADOOP_MAPREDUCE_HOME=${HADOOP_DEV_HOME}
export HADOOP_COMMON_HOME=${HADOOP_DEV_HOME}
export YARN_HOME=${HADOOP_DEV_HOME}
export HADOOP_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop

（4）外聯端口設置

    使用$ sbin/yarn-daemon.sh start nodemanager 這些發現相應日誌下游端口沒有配置的錯誤，參照一個博客對端口進行了配置 

yarn-site.xml。

<configuration>

<!-- Site specific YARN configuration properties -->
<!-- 2014/9/10 hadoop-->
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>localhost:8031</value>
    <description>host is the hostname of the resource manager and 
    port is the port on which the NodeManagers contact the Resource Manager.
    </description>
  </property>

  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>localhost:8030</value>
    <description>host is the hostname of the resourcemanager and port is the port
    on which the Applications in the cluster talk to the Resource Manager.
    </description>
  </property>

  <property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
    <description>In case you do not want to use the default scheduler</description>
  </property>

  <property>
    <name>yarn.resourcemanager.address</name>
    <value>localhost:8032</value>
    <description>the host is the hostname of the ResourceManager and the port is the port on
    which the clients can talk to the Resource Manager. </description>
  </property>

  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value></value>
    <description>the local directories used by the nodemanager</description>
  </property>

  <property>
    <name>yarn.nodemanager.address</name>
    <value>0.0.0.0:8765</value>
    <description>the nodemanagers bind to this port</description>
  </property>  

  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>10240</value>
    <description>the amount of memory on the NodeManager in GB</description>
  </property>
 
  <property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/app-logs</value>
    <description>directory on hdfs where the application logs are moved to </description>
  </property>

   <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value></value>
    <description>the directories used by Nodemanagers as log directories</description>
  </property>

  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    <description>shuffle service that needs to be set for Map Reduce to run </description>
  </property>

</configuration>

HBASE安裝相關

（5）基礎配置文件

    hbase遇到啓動時後說端口已經站用的情況，查看下來也是配置文件的問題

hbase-env.sh:

# 2014/9/10 added 
export JAVA_HOME=/usr/java/jdk1.7.0_45

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre:$PATH  

export HBASE_MANAGES_ZK=true

export HBASE_CLASSPATH=/opt/hadoop-2.2.0/etc/hadoop

export  HBASE_LOG_DIR=/data/hbase/logs

hbase-site.xml:

<configuration>
<property>

    <name>hbase.rootdir</name>

    <value>hdfs://localhost:9000/hbase</value>

</property>

<property>

   <name>hbase.cluster.distributed</name>

   <value>true</value>

</property>

<property>

   <name>hbase.tmp.dir</name>

   <value>/data/tmp_hbase</value>

</property>

<property>

    <name>hbase.zookeeper.property.dataDir</name>

    <value>/data/hbase/zookeeper</value>

</property>

<property>

    <name>hbase.zookeeper.property.clientPort</name>

     <value>2181</value>

</property>

<property>

   <name>hbase.zookeeper.quorum</name>

    <value>localhost</value>

</property>

</configuration>

看了一下上述兩個配置文件應該是按照http://blog.csdn.net/wohunter2010/article/details/23261251 搬過來的～

成果展示～～：

（1）$HADOOP_DEV_HOME/sbin/start-all.sh $HBASE_HOME/bin/start-hbase.sh

    至此完成～～把 hadoop hbase 都起起來jps是醬紫的:

其中 HQuorumPeer HRegionServer HMaster 是 HBASE的其餘除了jps都是 Hadoop 的～

（2）使用本地 127.1：50070查看 NameNode 情況如下：

（3）使用本地 127.1：50075（直接點擊那個HDFS也是一樣的）查看 HDFS 情況如下：

（4）系統自帶 wordcount 嘗試

    這裏是嘗試使用自帶的wordcount.jar的執行結果 blog.csdn.net/bamuta/article/details/14226243

$ hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.2.0-sources.jar org.apache.hadoop.examples.WordCount /input /output

（5）使用 8088查看hadoop resourcemanager情況 

    （www.hadoopor.com/redirect.php?tid=5477&goto=lastpost hadoop體系默認端口一覽表）

（6）嘗試使用簡單的 Hbase shell命令

來建表等操作如下圖所示http://blog.csdn.net/yuanpengs/article/details/7825686：

心得體會

綜上總結完畢，主要是個操作步驟總結和其他人博客的鏈接啦～ 提供以後回憶使用～“常回頭看看”，這還是高中戴建寧老師的叮囑呢，十分對～遙遠的祝老師們節日快樂～

（今天在路上還在想，一個人到研究生培養過他的老師也會有好多好多了吧，有的時候有點點幽怨的想他們只教知識不教大家如何生活，以致於現在的我什麼都不想做，想想找工作就怕的不行不行的，晚上搭搭環境人開心點了，覺得這個念頭真是幼稚的不行～一來誰有限制誰怎麼生活麼？沒有，只是自己一味按照劃定的小標準在生活，現在來到社會這個看不到標準的地方迷茫也只能怪自己唄～ 二來他們在每個階段的傳授，的對美好未來的描繪，描繪即使他們本人都沒有親歷過的美好前景，這般童話般美好的謊言雖然有點點被現實的殘酷的不公平給擊碎了，但正是這些童話的引導下我們來到了這裏，見識到了一個比他們所見還寬廣的世界，一個相對而言更公平的能力說話的地方... 親歷生活的種種不美好卻一味告訴大家“外面的世界”是多麼美好想想也是件微微殘酷的事情，而桃李天下的他們是否又真的從滿天下的桃李那裏瞭解到了他們規劃的已經達到的外面，桃李們類似我這種似乎正陷在個子人生的泥潭中無暇顧及其他呢.唉....多的是繼續爲小朋友們織夢吧～想想真是慚愧，只有真正把握掌控自己的生活，堅定的去規劃，勇敢的直面挑戰，才能以身作則告訴小朋友們，學弟學妹們，快來吧，世界卻事實美好的～遙祝天下所有的教師，尤其是純粹的低年級教師們教師節快樂！）