CDH6安裝Lzo

Lzo是目前Hadoop平臺使用很廣泛的壓縮格式，但需要另外安裝，在這裏記錄一下。
使用的版本是Centos7.3，CDH6.0.1。

查看Hadoop支持的壓縮格式

hadoop checknative

在線Parcel安裝Lzo

下載地址：修改6.x.y爲對應版本
 
CDH6：https://archive.cloudera.com/gplextras6/6.x.y/parcels/ 
 
CDH5：https://archive.cloudera.com/gplextras5/parcels/5.x.y/

1. 在CDH的 Parcel 配置中，“遠程Parcel存儲庫URL”，點擊 “+” 號，添加地址欄：

    CDH6：https://archive.cloudera.com/gplextras6/6.0.1/parcels/
 
    CDH5：http://archive.cloudera.com/gplextras/parcels/latest/

其他離線方式：

下載parcel放到 /opt/cloudera/parcel-repo 目錄下

或者

搭建httpd，更改parcel URL地址，再在按遠程安裝

2.返回Parcel列表，延遲幾秒後會看到多出了 GPLEXTRAS（CDH6） 或者 HADOOP_LZO （CDH5），

下載 – 分配 – 激活。

3. 安裝完LZO後，打開HDFS配置，找到“壓縮編碼解碼器”，點擊 “+” 號，

添加：

com.hadoop.compression.lzo.LzoCodec
com.hadoop.compression.lzo.LzopCodec

4.YARN配置，找到 “MR 應用程序 Classpath”（mapreduce.application.classpath）

添加：
/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/*

5. 重啓更新過期配置