基於Raspberry Pi Raspbian 的 Hadoop 安裝

太卡了,簡直沒法用,進程總是掛掉,結論就是pi無法作爲hadoop的節點

一、安裝Raspbian

準備:

1·Rsapberry Pi

2·8G內存卡一張(格式化)

3·網絡(有線)

開始安裝:

這裏使用的是官方推薦的NOOBS,將下載的NOOBS解壓後,將NOOBS文件夾中的全部文件拷貝到已經格式化的內存卡中,

然後將內存卡插入樹莓派中,上電自動開機,出現系統安裝選擇界面,這裏選擇的是比較成熟的Raspbian操作系統(本地文件安裝),也就是第二項,選中後,Install

這將耗費20分鐘左右,自動安裝完成後,有更多的個性化操作,這裏沒有進行更多操作,直接選擇【Finish】進入該Raspbian系統中,默認是賬戶是pi,密碼是raspberrypi

想要使用root賬戶的話,可以這樣設置密碼:

pi@raspberrypi ~ $ su passwd root

二、安裝Hadoop

1、首先安裝好JDK環境

由於該系統已經有配置好的JDK環境,並且安裝目錄在:

pi@raspberrypi / $ cd usr/lib/jvm/jdk-7-oracle-armhf/

並且環境變量已經配置好了(暖暖的,很貼心):


2、好,進入Hadoop安裝:

這裏安裝1.2版本

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

解壓縮:、

tar -zxvf hadoop-1.2.1.tar.gz

然後進入該目錄,配置hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml四個文件;:

cd hadoop-1.2.1/conf

首先是:

vim hadoop-env.sh

高亮處配置成JDK的安裝目錄,上述由提到。

然後配置三個xml文件:

分別是:

(1)core-site.xml

root@raspberrypi:/opt/hadoop-1.2.1/conf# cat core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://raspberrypi:9000</value>
    </property>
</configuration>

(2)hdfs-site.xml:

<configuration>

<property>
    <name>dfs.namenode.name.dir</name>
    <value>file://${hadoop.tmp.dir}/dfs/name</value>
    <description>Determines where on the local filesystem the DFS name node
        should store the name table(fsimage).  If this is a comma-delimited list
        of directories then the name table is replicated in all of the
        directories, for redundancy. </description>
</property>


<property>
    <name>dfs.datanode.data.dir</name>
    <value>file://${hadoop.tmp.dir}/dfs/data</value>
    <description>Determines where on the local filesystem an DFS data node
        should store its blocks.  If this is a comma-delimited
        list of directories, then data will be stored in all named
        directories, typically on different devices.
        Directories that do not exist are ignored.
    </description>
</property>

<property>  
        <name>dfs.replication</name>  
        <value>2</value>  
</property>

<property>    
        <name>dfs.block.size</name>    
        <value>134217728</value>    
</property>
64M:    67108864
32M:    33554432
16M:    16777216
8M:        8388608
4M:        4194304

</configuration>

(3)

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.jobtracker.address</name>
        <value>raspberrypi:9001</value>
        <description>jobtracker's address</description>
    </property>
</configuration>


配置/etc/profile

JAVA_HOME=/usr/lib/jvm/jdk-7-oracle-armhf/
JRE_HOME=$JAVA_HOME/jre
HADOOP_HOME=/opt/hadoop-1.2.1
CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH

不知道怎麼回事,hadoop的環境變量可能沒有配置好,只能到

/opt/hadoop-1.2.1/bin 目錄下執行:

./hadoop namenode -format

./start-all.sh

把這些服務都啓動起來,要輸入三次密碼


jps查看下都起來了沒有。

到此,hadoop,單機算是安裝完成了


發佈了74 篇原創文章 · 獲贊 3 · 訪問量 4萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章