Hadoop集羣內lzo的安裝與配置

爲了配合部門hadoop平臺測試，作者詳細的介紹瞭如何在Hadoop平臺下安裝lzo所需要軟件包：gcc、ant、lzo、lzo編碼/解碼器並配置lzo的文件：core-site.xml、mapred-site.xml。希望對大家有所幫助。以下是正文：

最近我們部門在測試雲計算平臺hadoop，我被lzo折騰了三四天，累了個夠嗆。在此總結一下，也給大家做個參考。

操作系統：CentOS 5.5，Hadoop版本：hadoop-0.20.2-CDH3B4

安裝lzo所需要軟件包：gcc、ant、lzo、lzo編碼/解碼器，另外，還需要lzo-devel依賴

配置lzo的文件：core-site.xml、mapred-site.xml

大致步驟：

1)安裝和更新gcc、ant

2)在各個節點安裝lzo

3)安裝lzo編碼/解碼器

4)修改配置文件，並同步各節點的配置文件

注：沒有特別指出的話，所有操作都是在Namenode中進行的

一、lzo安裝：

1、gcc的安裝：yum即可，記得同時更新lib*、glibc*、gcc*

2、ant的安裝：

刪除舊版本：yum remove ant

安裝新版本：

wgethttp://mirror.bjtu.edu.cn/apache//ant/binaries/apache-ant-1.8.2-bin.tar.bz2

tar -jxvf apache-ant-1.8.2-bin.tar.bz2

添加ant的環境變量：

vi /etc/profile

export ANT_HOME=/usr/local/apache-ant-1.8.2

export PATH=$PATH:$ANT_HOME/bin

source /etc/profile

3、lzo的安裝：

wgethttp://www.oberhumer.com/opensource/lzo/download/lzo-2.04.tar.gz

tar -zxvf lzo-2.04.tar.gz

./configure --enable-shared

make && make install

庫文件被默認安裝到了/usr/local/lib，我們需要進一步指定lzo庫文件的路徑，兩個方法都可以：

1)拷貝/usr/local/lib目錄下的lzo庫文件到/usr/lib(32位平臺)，或/usr/lib64(64位平臺)

2)在/etc/ld.so.conf.d/目錄下新建lzo.conf文件，寫入lzo庫文件的路徑，然後運行/sbin/ldconfig -v，使配置生效

4、在各個節點安裝lzo：

這句話本可以一筆帶過，但我把它單獨列出作爲一步，就是要提醒大家：Namenode和Datanode都要安裝lzo!

所需軟件包：gcc、ant、lzo-2.04.tar.gz、lzo-2.04-1.el5.rf.i386.rpm、lzo-devel-2.04-1.el5.rf.i386.rpm

安裝過程：略

調整庫文件路徑：略

5、lzo編碼/解碼器的安裝：

這裏必須要說明：如果hadoop是cloudera版的，那麼lzo編碼/解碼器就不要用google官方的那個!

到這裏下載：https://github.com/kevinweil/hadoop-lzo。我曾經被官方那個東西鬱悶了很久，搜索了大量資料，最後搞明白。

wget https://download.github.com/kevinweil-hadoop-lzo-2ad6654.tar.gz

tar -zxvf kevinweil-hadoop-lzo-2ad6654.tar.gz

cd kevinweil-hadoop-lzo-2ad6654

ant compile-native tar

編譯失敗：

make: *** [impl/lzo/LzoCompressor.lo] Error 1

解決方法參考：http://code.google.com/a/apache-extras.org/p/hadoop-gpl-compression/issues/detail?id=18&redir=1

我這裏是由於缺少lzo-devel依賴的原因，lzo-devel有lzo- 2.04-1.el5.rf的依賴：

wgethttp://packages.sw.be/lzo/lzo-devel-2.04-1.el5.rf.i386.rpm

wget http://packages.sw.be/lzo/lzo-2.04-1.el5.rf.i386.rpm

rpm -ivh lzo-2.04-1.el5.rf.i386.rpm

rpm -ivh lzo-devel-2.04-1.el5.rf.i386.rpm

重新ant compile-native tar，編譯成功!

編譯時 會遇到 一些問題

但是本人遇到了以下問題

a. compile-java:
    [javac] /data/hadoop-lzo-master/build.xml:243: warning: 'includeantruntime' was not set, defaulting to build.sysclasspath=last; set to false for repeatable builds

check-native-uptodate:

compile-native:
    [javah] 錯誤: 找不到類org.apache.hadoop.conf.Configuration。

BUILD FAILED
/data/hadoop-lzo-master/build.xml:269: compilation failed

解決方法：

  在 kevinweil-hadoop-lzo-6bb1b7f/build.xml 裏面（Ctrl+F compile-java可迅速定位）

  <target name="compile-java" depends="init">
    <javac 
     encoding="${build.encoding}" 
     srcdir="${java.src.dir}"   
     includes="**/*.java"
     destdir="${build.classes}"
     debug="${javac.debug}"
     optimize="${javac.optimize}"
     target="${javac.version}"
     source="${javac.version}"
     deprecation="${javac.deprecation}">
      <compilerarg line="${javac.args} ${javac.args.warnings}" />
      <classpath refid="classpath"/>
    </javac>
    <copy todir="${build.classes}">
      <fileset dir="${java.src.dir}" includes="**/*.properties"/>
    </copy>
  </target>

加入一行

  <target name="compile-java" depends="init">
    <javac 

   includeantruntime="false"
     encoding="${build.encoding}" 
     srcdir="${java.src.dir}"   
     includes="**/*.java"
     destdir="${build.classes}"
     debug="${javac.debug}"
     optimize="${javac.optimize}"
     target="${javac.version}"
     source="${javac.version}"
     deprecation="${javac.deprecation}">
      <compilerarg line="${javac.args} ${javac.args.warnings}" />
      <classpath refid="classpath"/>
    </javac>

    <copy todir="${build.classes}">
      <fileset dir="${java.src.dir}" includes="**/*.properties"/>
    </copy>

  </target>

b. compile-native:
    [javah] 錯誤: 找不到類org.apache.hadoop.conf.Configuration。
BUILD FAILED
/data/hadoop-lzo-master/build.xml:270: compilation failed

解決方法：

  在 kevinweil-hadoop-lzo-6bb1b7f/build.xml 裏面將（Ctrl+F javah可迅速定位）

    <javah classpath="${build.classes}"
           destdir="${build.native}/src/com/hadoop/compression/lzo"
           force="yes"
           verbose="yes">
      <class name="com.hadoop.compression.lzo.LzoCompressor" />
      <class name="com.hadoop.compression.lzo.LzoDecompressor" />
    </javah>
加入一行

    <javah classpath="${build.classes}"
           destdir="${build.native}/src/com/hadoop/compression/lzo"
           force="yes"
           verbose="yes">
      <class name="com.hadoop.compression.lzo.LzoCompressor" />
      <class name="com.hadoop.compression.lzo.LzoDecompressor" />

     <classpath refid="classpath" />
    </javah>

編譯成功後，還需要把編碼/解碼器以及native庫拷貝到$HADOOP_HOME/lib目錄下，拷貝操作請參考google的官方文檔：

cp build/hadoop-lzo-0.4.10.jar /home/hadoop/hadoop-0.20.2-CDH3B4/lib/

tar -cBf - -C build/native . | tar -xBvf - -Chome/hadoop/hadoop-0.20.2-CDH3B4/lib/native

cd /home/hadoop/hadoop-0.20.2-CDH3B4/lib/

chown -R hdfs:hadoop native/

6、同步各節點的hadoop-lzo-0.4.10.jar和hadoop的native目錄

這裏有一點要說明，由於某種原因，我把它們也拷貝到了hbase的相應目錄下，但我認爲其實是不需要拷貝的。

當初在集羣內測試lzo時，遇到了問題，我以爲hbase也需要hadoop-lzo-0.4.10.jar和hadoop的native目錄，就 把它們拷貝到了hbase。後來問題解決，發現不是hbase的原因，但我最終沒有在hbase裏刪除它們。所以，是否有必要把它們也拷貝到hbase， 有待於大家親自測試。

以上 就是 把 編譯後的 文件放入 hadoop的native 目錄

把編譯後的 jar包 放到 Hadoop 的lib  目錄 下面

二、配置lzo：

1、主要是往hadoop目錄下conf目錄中的core-site.xml和mapred-site.xml文件添加一些屬性：

vi core-site.xml：

<property>

<name>io.compression.codecs</name> 

<value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.Gzip

Codec,org.apache.hadoop.io.compress.BZip2Codec,com.hadoop.compression.lzo.LzopCodec</value>

</property>

<property>  

<name>io.compression.codec.lzo.class</name> 

<value>com.hadoop.compression.lzo.LzoCodec</value> 

</property>

vi mapred-site.xml：

<property> 

<name>mapreduce.map.output.compress</name> 

<value>true</value> 

</property>

<property> 

<name>mapred.child.env</name> 

<value>JAVA_LIBRARY_PATH=/home/hdfs/hadoop-0.20.2-CDH3B4/lib/native/Linux-amd64-64</value> 

</property>

<property> 

<name>mapreduce.map.output.compress.codec</name> 

<value>com.hadoop.compression.lzo.LzoCodec</value>

</property>

2、同步各節點的配置文件!

三、hadoop集羣內測試lzo：

首先，安裝lzop，生成一些lzo文件，然後上傳到hdfs，供我們的開發人員在hive中直接調用。

lzo前面已經安裝，lzo庫文件的路徑也已經調整，現在只要安裝lzop就可以了：

wget http://www.lzop.org/download/lzop-1.03.tar.gz

tar -zxvf lzop-1.03

cd lzop-1.03

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/ lib

./configure

make && make install

要說明的是，在指定LD_LIBRARY_PATH時，我沒有使用官方幫助文檔中的寫法，因爲那個寫法在編譯時老出錯，不知什麼原因。

壓縮文件 ：lzop  文件

解壓文件： lzop -d 壓縮文件

lzop -U -9 66_22_2011-04-14.txt 

$HADOOP_HOME/bin/hadoop fs -copyFromLocal/home/hdfs/66_22_2011-04-14.txt.lzo /user/s3/ifocus

開發人員在Hive中直接調用這個lzo文件時出錯：

Failed with exceptionjava.io.IOException:java.lang.RuntimeException: native-lzo library notavailable

這個錯誤，困住了我整整兩天!試了各種方法都不行，期間的辛苦自不必待言，直到我看到一個網 頁：http://sudhirvn.blogspot.com/2010/08/hadoop-lzo-installation-errors-and.html。(注：訪問該網頁需要用代理。萬惡的網絡管制!)

頁面的最下方，有這樣一句話：So, I just deleted the hadoop-gpl-compression and everything startedworking.於是，我刪除了$HADOOP_HOME/lib目錄下的hadoop-gpl-compression-0.1.0.jar，終 於，everythingis OK!

所以，如果你也像我一樣，做了所有該做的事情，但是調用lzo時還是會出現native-lzo library not available的錯誤，請檢查你的$HADOOP_HOME/lib目錄下是否有google官方的那個lzo編碼/解碼器!

測試 hadoop lzo 是否成功,如果執行成功，表示 成功

hadoop jar /path/to/your/hadoop-lzo.jarcom.hadoop.compression.lzo.LzoIndexer big_file.lzo

 

 hadoop jar/usr/lib/hadoop/lib/hadoop-lzo-0.4.15.jar com.hadoop.compression.lzo.LzoIndexer /user/hadoop/file.avl.lzo

在 配置 mapreduce  時，要把 hadoop-lzo.jar包 放到  yarn 的  lib  下面 ，要不然 會報 找不到 類包。