1.安裝vmware 2.使用vmware安裝一臺centos7操作系統 3.關於CentOS7的一些必備配置 3.1. 安裝一些必備的軟件
3.2. 修改主機名 在root賬號下用命令： 或者如果配置了bigdata的sudoer 權限，則在bigdata登錄情況下使用命令： 指定好內容之後保存退出即可： 或者不使用編輯配置文件的方式，使用命令也可以進行永久更改：
3.3. 設置系統默認啓動級別 yum -y install net-tools yum -y install ntpdate yum -y install wget yum -y install perl yum -y install vim* vi /etc/hostname sudo vi /etc/hostname bigdata01 hostnamectl set-hostname bigdata01 這一步不是必須的，但是考慮到咱們用的是虛擬機，使用了桌面系統會佔用相當多內存，而且在企業生 產環境中，也都不會開啓桌面系統，都是通過遠程連接工具去鏈接使用。所以咱們最好還是要改一改。 但是好在我們現在使用的是centos7，我們安裝的如果是centos7的minimal系統的話，可以不用做任何 更改的。centos7的minimal系統的默認級別就是multi-user.target，和centos6的level 3 是一樣的意思。 如果需要更改：
3.4. 配置bigdata用戶 sudoer權限 1、創建bigdata用戶，並且在bigdata的用戶家目錄中，創建如下文件夾備用： 2、 在root賬號下，命令終端輸入： 3、 找到這一行，然後在他下面添加一行：內容如下 該操作表示，把bigdata用戶也配置成和root用戶一樣具有root權限。當然這個操作，只有root用戶才能操作。
3.5. 配置IP Linux服務器的IP修改方式有三種，在此不細講，請參考之前的學習文檔。這裏提供簡易步驟： 第一步：進入到ip配置文件目錄中 第二步：編輯IP配置文件 systemctl set-default multi-user.target mkdir ~/apps mkdir ~/bins mkdir ~/data mkdir ~/soft mkdir ~/logs vi /etc/sudoers root ALL=(ALL) ALL Allow root to run any commands anywhere root ALL=(ALL) ALL bigdata ALL=(ALL) ALL cd /etc/sysconfig/network-scripts vi ifcfg-ens33 按需修改或者增加如下內容： 完整的如下： 第三步：重啓網絡服務
3.6. 關閉防火牆/關閉Selinux 3.6.1. 防火牆操作相關 查看防火牆狀態：如果看到avtive(running)就意味着防火牆開啓 關閉防火牆： 如果看到inactive(dead)就意味着防火牆關閉了 開啓防火牆： BOOTPROTO="static" ONBOOT="yes" IPADDR="192.168.123.151" GATEWAY="192.168.123.2" DNS1="192.168.123.2" TYPE="Ethernet" PROXY_METHOD="none" BROWSER_ONLY="no" BOOTPROTO="static" DEFROUTE="yes" IPV4_FAILURE_FATAL="no" IPV6INIT="yes" IPV6_AUTOCONF="yes" IPV6_DEFROUTE="yes" IPV6_FAILURE_FATAL="no" IPV6_ADDR_GEN_MODE="stable-privacy" NAME="ens33" UUID="c08cc7b8-0b9a-46d0-9fc5-f94a233ffa7e" DEVICE="ens33" ONBOOT="yes" IPADDR="192.168.123.151" PREFIX="24" GATEWAY="192.168.123.2" DNS1="192.168.123.2" IPV6_PRIVACY="no" systemctl restart network systemctl status firewalld systemctl stop firewalld systemctl start firewalld 以上的開啓和關閉，都是臨時性的。如果重啓，則又恢復原樣。默認是開啓了防火牆的 查詢firewall服務是否開機啓動的： 如果爲disabled那麼就是開機不啓動。 如果想永久開啓或者關閉（跟重啓無關）防火牆，則： 永久關閉防火牆： 永久開啓防火牆： 當然如果作爲專業的運維人員。其實也可以配置防火牆細則，例如一臺機器只作爲web服務器的話，就 只需要開放80端口幾口。
3.6.2. 關閉Selinux 具體做法是修改/etc/selinux/config配置文件中的SELINUX=disabled 修改如下配置項： 保存退出。
3.7. 添加主機域名ip映射 修改配置文件： 增加對應的內容： systemctl list-unit-files | grep firewalld systemctl disable firewalld systemctl enable firewalld vi /etc/selinux/config SELINUX=disabled vi /etc/hosts 修改好之後，保存退出即可。
3.8. 同步服務器時間 對於一個Hadoop集羣來說，每個節點的系統時間，應該要都是一樣的。進行時間同步，可以有兩種簡 單的方式，一是手動同步，而是搭建時間服務器進行同步或者從網絡定時同步系統時間。推薦最後一 種：從網絡定時同步時間。 1、使用date命令手動簡單同步一下 修改時間後，需要寫入硬件bios才能在重啓之後依然生效 2、配置 crontab 服務，用ntpdate 定時同步時間（推薦方式） 請先測試一下ntpdate命令是否可以使用，如果不可以，使用命令安裝一下： 3、如果類似202.120.2.101這種網絡時間服務器無法訪問，那麼請自行搭建時間服務器 當然還有一個非常重要的點：不要忘記更改時區，然後再同步時間 CentOS中時區是以文件形式存在，當前正在使用的時區文件位於/etc/localtime，其他時區文件則位於 其中中國時區使用 則，更改時區的話，直接使用如下命令就OK 192.168.123.151 bigdata01 192.168.123.152 bigdata02 192.168.123.153 bigdata03 192.168.123.154 bigdata04 192.168.123.155 bigdata05 192.168.123.156 bigdata06 192.168.123.157 bigdata07 192.168.123.158 bigdata08 192.168.123.159 bigdata09 date -s "2016-10-23 11:11:11" hwclock -w
*/10 * * * * ntpdate ntp.sjtu.edu.cn [root@mycentos7 ~]# ntpdate time.nist.gov [root@mycentos7 ~]# ntpdate 202.120.2.101 [root@mycentos7 ~]# ntpdate ntp.sjtu.edu.cn /usr/share/zoneinfo /usr/share/zoneinfo/Asia/Shanghai 如果沒有Asia/Shanghai時區文件，請執行tzselect命令按照引導去生成時區文件，生成好的時區文件就 在/usr/share/zoneinfo目錄下。
3.9. 配置YUM源 1、配置本地yum源 2、配置國內遠程yum源 這個步驟最好做一下，但是是非必須的。
3.10. 安裝JDK 安裝JDK的操作，請參考對應的安裝文檔。 在此貼出關鍵步驟：
3.11. 安裝Scala 下載想要的版本，我們這裏下載的是： scala-2.12.11.tgz（Linux安裝版本）和scala-2.12.11.msi（windows一鍵安裝版本） 第一步：上傳到服務器 cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime yum -y install wget wget http://mirrors.aliyun.com/repo/Centos-7.repo mv /root/Centos-7.repo /root/Centos-7-aliyun.repo cp /root/Centos-7-aliyun.repo /etc/yum.repos.d/ yum repolist tar -zxvf /root/soft/jdk-8u73-linux-x64.tar.gz -C /usr/local/java/ vi /etc/profile export JAVA_HOME=/usr/local/java/jdk1.8.0_73 export PATH=PATH:JAVA_HOME/bin export CLASSPATH=.:/usr/local/java/jdk1.8.0_73/lib/dt.jar:/usr/local/java/jdk1.8.0_73/l ib/tools.jar source /etc/profile java -version 第二步：解壓縮安裝到對應目錄 第三步：配置環境變量 添加如下內容： 執行命令使之生效 第四步：檢測安裝是否成功
3.12. 安裝Python3 3.12.1. 安裝一些依賴的軟件包 3.12.2. 下載Python3.6的源碼包並編譯 從官網開始下載：https://www.python.org/downloads/release/python-3610/ 3.12.3. 執行安裝 依次執行下列命令： [root@bigdata01 ~]# mkdir /usr/local/scala [root@bigdata01 ~]# tar -zxvf ~/soft/scala-2.12.11.tgz -C /usr/local/scala/ vi /etc/profile export SCALA_HOME=/usr/local/scala/scala-2.12.11 export PATH=PATH:SCALA_HOME/bin source /etc/profile [root@bigdata01 ~]# scala -version Scala code runner version 2.12.11 -- Copyright 2002-2020, LAMP/EPFL and Lightbend, Inc. yum -y groupinstall "Development tools" yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel yum -y install yum-plugin-remove-with-leaves yum -y install libffi-devel 3.12.4. 把新安裝的python3.7拷貝到/usr/bin/目錄下 然後新建快捷方式： 3.12.5. 一步操作 3.12.6. 驗證安裝是否成功 3.12.7. 配置環境變量 3.12.8. 嘗試安裝一個模塊 3.12.9. 修改pip源 tar -vxf Python-3.7.7.tgz cd Python-3.7.7 mkdir /usr/local/python3 ./configure --prefix=/usr/local/python3 --enable-shared --enable-optimizations make make install cp /usr/local/python3/bin/python3.7 /usr/bin/python3.7 ln -s /usr/bin/python3.7 /usr/bin/python3 echo /usr/local/python3/lib/ >> /etc/ld.so.conf.d/local.conf ldconfig /usr/bin/python3 --version vi /etc/profile export PYTHON_HOME=/usr/local/python3 export PATH=PATH:PYTHON_HOME/bin source /etc/profile pip3 install beautifulsoup4 mkdir ~/.pip cd ~/.pip vi pip.conf [global] trusted-host = pypi.douban.com index-url = http://pypi.douban.com/simple 3.12.10. 安裝numpy
3.13. 安裝MySQL 詳情參見文檔。非必須。但是最好做一下。
3.14. 執行虛擬機克隆 以上的步驟，一般來說，都是在一臺機器中操作的。現在我們有兩種方式來進行集羣節點的準備 第一種： 第二種： 具體執行虛擬機克隆，請參考相關的文檔。 切記：恐龍完畢需要做幾件事：
3.15. 配置SSH免密登錄 對於一個集羣來說，節點間的互信是必不可少的。所以一定要給集羣的所有節點之間配置免密SSH訪 問。切記，你使用哪個用戶搭建Hadoop集羣，就給哪個用戶配置SSH免密訪問。另外需要注意的：所 有節點的安裝Hadoop的用戶都一樣該一樣。我使用的就是bigdata用戶。
3.15.1. 第一種 在bigdata用戶登錄狀態下，執行命令生成公鑰私鑰對 之後你會發現，在/home/bigdata/.ssh目錄下生成了公鑰文件 pip3 install numpy 比如集羣規劃是4個節點，那麼可以先安裝好4個centos7系統，然後每個節點，都按照以上的步驟操作一 遍。稍顯麻煩。 先準備一個節點，然後按照以上步驟操作完畢，然後執行虛擬機克隆。相對來說，速度要快很多。 修改mac 修改主機名 修改IP地址 ssh-keygen ssh-keygen -t rsa # 或者執行這個命令 -t 表示指定祕鑰算法 複製公鑰文件到授權列表 修改文件權限 將該授權文件authorized_keys文件複製到slave節點 檢查免密登錄是否設置成功 看看是不是能登錄進入bigdata02的服務器，如果能登陸，則證明配置成功。
3.15.2. 第二種 在bigdata用戶登錄狀態下，執行命令生成公鑰私鑰對 之後你會發現，在/home/hadoop/.ssh目錄下生成了公鑰文件 使用一個更簡單的方式，使用命令： 建立bigdata01到bigdata02的免密登錄，切記，我把公鑰發送給對方，我就可以訪問對方。而不是對方 可以訪問我。 檢查免密登錄是否設置成功 看看是不是能登錄進入bigdata02的服務器，如果能登陸，則證明配置成功。 id_rsa # 私鑰 id_rsa.pub # 公鑰 cat ./id_rsa.pub >> authorized_keys chmod 600 ./authorized_keys scp ./authorized_keys bigdata@bigdata02:~/.ssh/ ssh bigdata02 ssh-keygen ssh-keygen -t rsa # 或者執行這個命令 -t 表示指定祕鑰算法 id_rsa # 私鑰 id_rsa.pub # 公鑰 ssh-copy-id bigdata02 # 該命令的作用，就是把當前用戶的公鑰文件內容，發送到hadoop02這臺 機器的相同用戶的授權文件中去。 ssh-copy-id bigdata03 ssh-copy-id bigdata04 ssh-copy-id bigdata05 ssh bigdata02