大數據之Storm（一）：集羣部署

介紹集羣的安裝與配置方式

安裝包及環境

• 安裝包：apache-storm-0.10.2.tar.gz 去storm官網下載即可
• 默認安裝好了：JDK7、zookeeper集羣
• Centos7，用戶名爲mym上操作
• 三臺機器配置好了主機映射名（zk和storm的名稱應該配置）如我的配置

192.168.31.201 mym zk201 storm201
192.168.31.202 mini2 zk202 storm202
192.168.31.203 mini3 zk203 storm203

安裝

1.解壓安裝包

tar -zvxf apache-storm-0.10.2.tar.gz

解壓後，路徑如下

[mym@mym apps]$ pwd
/home/mym/apps
[mym@mym apps]$ ll
total 4
drwxr-xr-x. 11 mym mym  175 Jun 21 03:48 hadoop-2.4.1
drwxrwxr-x.  8 mym mym  159 Aug  7 01:30 hive
drwxrwxr-x. 11 mym mym  244 Sep 10 01:50 storm
drwxr-xr-x. 11 mym mym 4096 Jan 13  2018 zookeeper

2.修改配置文件

[mym@mym conf]$ pwd
/home/mym/apps/storm/conf
[mym@mym conf]$ ls
storm_env.ini  storm.yaml
[mym@mym conf]$ cp storm.yaml storm.yaml.bk
[mym@mym conf]$ vi storm.yaml

添加如下內容

# zk集羣信息
storm.zookeeper.servers:
     - "zk201"
     - "zk202"
     - "zk203"

# 集羣的nimbus所在機器
nimbus.host: "storm201"
# nimbus啓動JVM可用最大內存
nimbus.childopts: "-Xmx256m"
# supervisor啓動JVM可用最大內存
supervisor.childopts: "-Xmx256m"
# 每個worker啓動JVM可用最大內存
worker.childopts: "-Xmx128m"
# UI界面啓動JVM可用最大內存
ui.childopts: "-Xmx128m"
# 指定supervisor節點上啓動的worker的端口號或者叫槽位，一個槽位供一個worker使用
supervisor.slots.ports: 
     - 6701
     - 6702

注意：內存大小和worker數量需要根據機器配置來分配

3.分發配置好的安裝包

scp -r storm storm202:/home/mym/apps
scp -r storm storm203:/home/mym/apps

4.啓動集羣

注意先啓動zk集羣，否則會啓動失敗

[mym@mym storm]$ cd bin
[mym@mym bin]$ ls
storm  storm.cmd  storm-config.cmd  storm.py
[mym@mym bin]$ nohup ./storm nimbus &

啓動UI
nohup ./storm ui &

另兩臺啓動supervisor
[mym@mini2 bin]$ nohup ./storm supervisor &

5.查看集羣

訪問nimbus.host:8080，即可看到storm的ui界面。
這裏通過windows瀏覽器查看：192.168.31.201:8080