ubuntu搭建hadoop僞分佈式環境隨筆記錄

查看ubuntu系統：lsb_release -a

下載jdk-8u221-linux-x64.tar.gz和hadoop-2.7.7.tar.gz放在/work文件夾下

解壓：

    tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/lib/jvm

    tar -zxvf hadoop-2.7.7.tar.gz -C /usr/local

安裝jdk：環境變量的修改在~/.bashrc中，僅針對當前用戶，如果修改/etc/profile則針對所有用戶。  

    配置環境變量：vi /etc/profile

    export JAVA_HOME=/usr/lib/jvm/jdk
    export JRE_HOME=${JAVA_HOME}/jre
    export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
    export PATH=${JAVA_HOME}/bin:$PATH

    使配置立即生效：source /etc/profile

    檢測：java -version

    

安裝hadoop:搭建Hadoop僞分佈式（單節點集羣）

    配置環境變量：vi /etc/profile ,此處PATH兼容了jdk的配置

    export HADOOP_HOME=/usr/local/hadoop
    export PATH=$PATH:$JAVA_HOME:$HADOOP_HOME/bin

    使配置立即生效：source /etc/profile

    檢測：hadoop

    

單節點集羣搭建：在hadoop安裝目錄，cd etc/hadoop

    1、修改hadoop-env.sh，配置JAVA_HOME

    vi hadoop-env.sh，設置以下值

    export JAVA_HOME=/usr/lib/jdk/jdk1.8.0_221

    2、修改core-site.xml，在hadoop安裝目錄，mkdir temp 新建目錄

    在<configuration></configuration>標籤中改爲如下代碼：

    

   3、修改hdfs-site.xml

    在<configuration></configuration>標籤中添加如下代碼：

    

    4、設置ssh無密碼登錄

    在搭建hadoop過程中需要使用SSH的RSA認證方法使集羣中的主機省去密碼登錄

    首先需要安裝open-ssh服務sudo apt-get install openssh-server

    在本機生成密鑰對`ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

    將公鑰放到自動認證的xx文件中(我也不太懂) cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

    5、格式化文件系統。執行hadoop中bin目錄下的hdfs namenode -format 指令

    6、開啓節點守護進程。執行hadoop 中sbin 目錄下的start-dfs.sh 指令：

    7、使用jps查看進程啓動情況：jps

    

    8、瀏覽器輸入地址：http://192.168.0.117:50070，出現如下結果，說明搭建成功。