Hadoop 2.x 源碼編譯 一步步圖文介紹,包含snappy編譯

Hadoop 2.x 源碼編譯

 編譯 Hadoop 環境要求:

1、必須在 Linux 系統下進行編譯;

2、編譯使用的 JDK 版本必須是 1.6 以上;

3、編譯需要使用 Maven(因爲源碼是由 Maven 管理的)版本 3.0 以上;

4、安裝 Findbugs 插件工具,版本 1.3.9

5、安裝 CMake 編譯工具,版本 2.6 或最新版本

6、安裝 zlib devel

7、安裝 openssl devel

8、編譯時必須連接互聯網

〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓編譯開始〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓

 第一步,解壓 Hadoop 安裝包,版本:2.5.0


 第二步,解壓 JDK,版本:1.7


 第三步,配置環境變量,並使 profile 文件生效(在 root 用戶下操作)




 第四步,配置 Maven,並使 profile 文件生效(在 root 用戶下操作)






 第五步,安裝 gcc/gcc-c++/make(在 root 用戶下操作)



 第六步,解壓安裝 protobuf(切回普通用戶)





 第七步,配置環境變量



 在普通用戶下 source 生效 profile 文件,並查看安裝是否成功


 第八步,下載安裝 CMakeopensslncurses 依賴包




 第九步,開始編譯 Hadoop 源碼包,先移動到 hadoop 源碼包安裝目錄下


由於後面要使用snappy壓縮,所以編譯方式修改如下:

http://pkgs.fedoraproject.org/repo/pkgs/snappy/snappy-1.1.1.tar.gz/8887e3b7253b22a31f5486bca3cbc1c2/snappy-1.1.1.tar.gz

tar zxvf snappy-1.1.1.tar.gz && cd snappy-1.1.1 && ./configure && make && make install

查看snappy安裝情況:ls -lh /usr/local/lib |grep snappy

安裝:

mvn package -Pdist,native -DskipTests -Drequire.snappy

 編譯成功!整個編譯過程大約需要等待 20~30 分鐘,如下圖:


 替換原來的 Native 目錄,執行命令查看,不再提示警告


〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓編譯完成!〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章