大數據與人工智能入門到放棄(02 回顧篇 jdk安裝與ssh免密登錄配置,hadoop僞分佈式配置)

記:

最近酒店到期,所以忙於租房找房子,搬家,晚上下班的空餘時間,寫完這一篇。

準備好jdk和hadoop壓縮包

這裏我jdk選用的是jdk-8u191-linux-x64.tar.gz,hadoop選用的是hadoop-2.7.5.tar.gz。

這裏我就選用一臺虛擬機來作爲配置的例子,將包上傳到linux虛擬機。爲了統一管理,我將jdk解壓到了/usr/java/目錄下,如圖2-1。

圖2-1

 配置jdk的環境變量

修改文件/etc/profile,在文件末尾加入

export JAVA_HOME=/usr/java/jdk1.8.0_191
PATH=$PATH:$JAVA_HOME/bin

修改文件後要source /etc/profile,之後輸入java -version就可以驗證是否配置成功了。

ssh免密登錄配置

安裝ssh,可以先通過命令查看要安裝的ssh是哪個,yum list | grep ssh;之後選擇安裝 yum install -y openssh-clients.x86_64;之後就是連接一下自己驗證一下是否安裝成功。

在自己的家目錄中輸入ll -a,如圖2-3,可以看到有個文件爲.ssh

圖2-2

 下面正式配置免密登錄,首先輸入密鑰生成器的命令:

ssh-keygen -t rsa

 如圖2-4,執行完以上命令後會生成公鑰和私鑰文件,作爲管理節點,可以將公鑰給別人就行了,緊接着,要進行以下命令,追加重定向到一個認證文件中,以達到免密登錄,輸入完追加命令後,第二條命令是驗證是否免密登錄成功。

cat id_rsa.pub >> authorized_keys
ssh localhost

hadoop僞分佈式安裝

爲了花裏胡哨,我在/opt創建了一個目錄叫xige,我將hadoop解壓於此,如圖2-3.

圖2-3

 解壓完成後,就是配置hadoop環境變量,跟jdk的環境變量配置同理,不同的是,不僅要配置bin,而且還要配置sbin,直接在/etc/profile文件下追加環境變量,包括jdk的環境變量,配置完成後記得要source一下。

export JAVA_HOME=/usr/java/jdk1.8.0_191
export HADOOP_HOME=/opt/xige/hadoop-2.7.5
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

hadoop文件配置(僞分佈式)

進入目錄/opt/xige/hadoop-2.7.5/etc/hadoop,可以在這目錄下看到很多配置文件。

1)修改hadoop-env.sh文件,目的是告訴jdk的在哪裏。

#找到這一變量,輸入正確的JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_191

2)如果僅僅是使用文件系統的話,修改完上面第一個文件就夠了,但是爲了以後,就順便修改一下計算框架文件的環境變量(mapred-env.sh)和資源管理的環境變量(yarn-env.sh)

3)修改core-site.xml(規定的是主節點進程的配置信息)

<configuration>
    <!-- master爲我的主機名 -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
        </property>
    <!-- 存放元數據信息和塊信息,指定的文件會自動創建 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/var/junxi/hadoop/local</value>
        </property>
</configuration>

4)修改hdfs-site.xml(規定從節點的配置信息,配置SecondaryNameNode)

<configuration>
    <!-- 說明副本數爲1,這裏我是僞分佈式,以後實現分佈式的時候再改 -->
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>master:50090</value>
        </property>
</configuration>

5)修改slaves文件(從節點的信息,規定哪些節點是datanode)

master

完成以上配置文件修改後,需要進行配置後的namenode格式化

格式化的目的是對之前的配置信息進行生效,比如,本來最開始我們配置存放的元數據和塊信息的目錄是不存在的,只有配置過後,會自動生成。直接輸入命令:

hdfs namenode -format

成功之後,如圖2-4

圖2-4

格式化成功完成後,啓動,start-dfs.sh,如圖2-5,可以看到所有配置的服務都啓動成功了。

圖2-5

在瀏覽器地址欄輸入這臺linux的地址加端口號50070,如圖2-6.表面搭建僞分佈式成功。之後的hdfs命令那些太簡單了,就不演示了,在之後的項目中會慢慢演示的了。

圖2-6

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章