一直想寫一下自己學習hadoop的經歷,用來協助自己瞭解整個學習的進程,並幫助更多的初學者進行學習。
本文介紹的所有信息都是在ubuntu14.04上,jdk1.8,hadoop2.7.4
下面分幾部分介紹些整個的學習進程。
1、ubuntu系統上安裝hadoop
hadoop是運行在linux系統下的java程序,因此首先需要安裝一個linux系統,作者選擇的是vmwork+ubuntu14.04 64位系統作爲開發的環境。對於如何使用vmwork安裝ubuntu系統,請百度相關信息
vmwork 下載地址 vmWork 密碼:ohsl
ubuntu 下載地址 ubuntu14.04 密碼: 9stz
現在默認爲大家都安裝完成ubuntu系統。
1、ubuntu上安裝jdk
由於hadoop最終是使用java進行開發以及編譯的,因此需要使用jdk。在ubuntu系統中可以使用apt-get install jdk安裝jdk,但是由於在安裝hadoop時,需要使用jdk目錄中的一部分文件,使用apt-get install 安裝的jdk,其中的bin、以及conf等文件最總會被分割到不同的地方,因此建議直接下載jdk後進行配置。
可以去orcale官網進行下載,下面給出jdk的百度網盤路徑:JDK8.密碼:dqk7。
將jdk-8u151-linux-x64.tar.gz拷貝到ubuntu對應的用戶文件夾下。
使用命令
$tar -xvzf jdk-8u151-linux-x64.tar.gz
進行解壓到文件夾下。如圖
解壓完後得到相應的文件。由於用戶目錄一般僅是用於保存用戶的數據,我們需要將安裝的軟件保存在/usr/soft中。
使用
$cd /usr
進入usr目錄,在usr目錄中創建文件夾,需要管理員權限,因此需要使用sudo,
$sudo mkdir soft
輸入密碼後創建成功。
創建成功後需要修改該文件夾的權限,讓用戶具有寫和執行的權限。
$sudo chmod 777 soft
並使用ls -al查看相應的權限是否成功
$ls -al
將jdk 拷貝到soft中
$mv /home/zhaofan/Downloads/jdk1.8.0_151 /usr/soft
配置環境變量
$sudo gedit /etc/environment
在該文件中添加JAVA_HOME讓其指向jdk安裝目錄,同時在PATH中添加對應的bin
編輯完成後,受用source讓改配置文件立即生效
$source /etc/environment
$java -version
可以看到java 的版本號,至此jdk安裝完成
2、安裝hadoop
去apache中下載hadoop,或者點擊下面鏈接去百度網盤下載,下載密碼:2vc9
hadoop下載地址
下載完成後,同樣將其解壓到soft文件夾中
$tar -xvzf hadoop-2.7.4.tar.gz
在soft文件夾中會出現jdk和hadoop兩個文件夾
同樣在enviroment中添加環境變量,配置完成後如下圖。
$sudo gedit /etc/environment
$source /etc/environment
使用上面命令讓環境變量起作用。
$hadoop version
進行查看hadoop的版本信息,如果提示缺少JAVA_HONE,請查看是否配置JDK,如果配置後,請重啓後查看hadoop的版本
如果看到上圖的信息,說明hadoop已經安裝完成。
下一節,我們將講解如何配置hadoop
在ubuntu系統下安裝hadoop
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
hadoop一步步入門
lcyuanjiang
2019-02-23 13:59:15
hadoop搭建之hive安裝
伊人心
2019-02-23 00:41:25
(第3篇)HDFS是什麼?HDFS適合做什麼?我們應該怎樣操作HDFS系統?
I加加
2019-02-23 00:38:18
(第2篇)一篇文章教你輕鬆安裝hadoop
I加加
2019-02-23 00:37:53
(第6.1篇)大數據發展背後的強力推手——HBase分佈式存儲系統
I加加
2019-02-23 00:37:53
(第8篇)實時可靠的開源分佈式實時計算系統——Storm
I加加
2019-02-23 00:37:53
(第7篇)靈活易用易維護的hadoop數據倉庫工具——Hive
I加加
2019-02-23 00:37:51
(第4篇)hadoop之魂--mapreduce計算框架,讓收集的數據產生價值
I加加
2019-02-23 00:37:51
(第1篇)什麼是hadoop大數據?我又爲什麼要寫這篇文章?
I加加
2019-02-23 00:37:51
(第9篇)大數據的的超級應用——數據挖掘-推薦系統
I加加
2019-02-23 00:37:50
(第5篇)避免協作衝突--簡單易接入的Zookeeper
I加加
2019-02-23 00:37:50
masm編譯環境配置
mapdll
2019-02-23 13:02:47
PHP編程和調試環境
mapdll
2019-02-23 13:02:47
Windows工作組環境下賬戶和組的管理
tyyyt
2019-02-23 12:59:15