推薦系統項目架構----以及數據流程:
linux 主機集羣的搭建------通過VMware虛擬機進行對其中的一臺主機進行克隆,然後在分別修改每臺機器的靜態IP
進入這個位置進行修改IP地址,進入之後:
1,使用 dd 操作刪除eth0所在的配置行
2.使用 ctr l + $ 定位到文本的最後一行,並修改成eth0,同時複製 ATTR(address) 後面的 mac 地址
對機器進行網絡的配置:
vim /etc / sysconfig / network - script / ifcfg - eth0
修改其中的 硬件地址 跟我們設置的 IP地址ude
修改主機名稱:
:q
查看主機名映射是否配置好:
vimsys=
創建一個具有 root 權限的用戶名:
進行環境變量的設置:
#####JAVA_HOMT
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
再執行 source /etc/profile 使用配置文件
================================================================================================
開始配置:
配置輸入環境,將 etc / 下面的配置文件複製到 新穿件的 input 目錄下面
執行案例:(grep案例)
其中output必須爲空
僞分佈式模式:
etc/hadoop/hadoop-enc.sh 中進行如下配置:
完全分佈式:
踩坑:(分佈式集羣搭建成功之後----使用 start-dfs.sh------再使用jps查看不到namenode的啓動------一定要在啓動集羣的時候使用hadoop namenode format 對集羣進行格式化)