Hadoop 2.x 源碼編譯
◆ 編譯 Hadoop 環境要求:
1、必須在 Linux 系統下進行編譯;
2、編譯使用的 JDK 版本必須是 1.6 以上;
3、編譯需要使用 Maven(因爲源碼是由 Maven 管理的)版本 3.0 以上;
4、安裝 Findbugs 插件工具,版本 1.3.9
5、安裝 CMake 編譯工具,版本 2.6 或最新版本
6、安裝 zlib devel
7、安裝 openssl devel
8、編譯時必須連接互聯網
〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓編譯開始〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓
◆ 第一步,解壓 Hadoop 安裝包,版本:2.5.0
◆ 第二步,解壓 JDK,版本:1.7
◆ 第三步,配置環境變量,並使 profile 文件生效(在 root 用戶下操作)
◆ 第四步,配置 Maven,並使 profile 文件生效(在 root 用戶下操作)
◆ 第五步,安裝 gcc/gcc-c++/make(在 root 用戶下操作)
◆ 第六步,解壓安裝 protobuf(切回普通用戶)
◆ 第七步,配置環境變量
◆ 在普通用戶下 source 生效 profile 文件,並查看安裝是否成功
◆ 第八步,下載安裝 CMake、openssl、ncurses 依賴包
◆ 第九步,開始編譯 Hadoop 源碼包,先移動到 hadoop 源碼包安裝目錄下
由於後面要使用snappy壓縮,所以編譯方式修改如下:
http://pkgs.fedoraproject.org/repo/pkgs/snappy/snappy-1.1.1.tar.gz/8887e3b7253b22a31f5486bca3cbc1c2/snappy-1.1.1.tar.gz
tar zxvf snappy-1.1.1.tar.gz && cd snappy-1.1.1 && ./configure && make && make install
查看snappy安裝情況:ls -lh /usr/local/lib |grep snappy
安裝:
mvn package -Pdist,native -DskipTests -Drequire.snappy
◆ 編譯成功!整個編譯過程大約需要等待 20~30 分鐘,如下圖:
◆ 替換原來的 Native 目錄,執行命令查看,不再提示警告
〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓編譯完成!〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓