大數據入門

 

 

 

推薦系統項目架構----以及數據流程:

 

 

linux 主機集羣的搭建------通過VMware虛擬機進行對其中的一臺主機進行克隆,然後在分別修改每臺機器的靜態IP

  進入這個位置進行修改IP地址,進入之後:

1,使用  dd 操作刪除eth0所在的配置行

2.使用   ctr l + $  定位到文本的最後一行,並修改成eth0,同時複製   ATTR(address)  後面的 mac 地址

 

對機器進行網絡的配置:

  vim   /etc / sysconfig / network - script / ifcfg - eth0

修改其中的  硬件地址 跟我們設置的 IP地址ude

 

 

 

修改主機名稱:

:q

查看主機名映射是否配置好:

vimsys=

 

創建一個具有  root  權限的用戶名:

 

進行環境變量的設置:

#####JAVA_HOMT

export  JAVA_HOME=/opt/module/jdk1.8.0_144

export  PATH=$PATH:$JAVA_HOME/bin

再執行  source    /etc/profile   使用配置文件

 

================================================================================================

開始配置:

               配置輸入環境,將    etc /   下面的配置文件複製到 新穿件的  input  目錄下面

執行案例:(grep案例)

其中output必須爲空

 

 

 

僞分佈式模式:

 

   etc/hadoop/hadoop-enc.sh   中進行如下配置:

 

 

 

完全分佈式:

 

踩坑:(分佈式集羣搭建成功之後----使用  start-dfs.sh------再使用jps查看不到namenode的啓動------一定要在啓動集羣的時候使用hadoop  namenode   format   對集羣進行格式化)

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章