Flink集羣之Flink Standalone集羣搭建

準備資源

flink-1.7.2-bin-scala_2.11.tgz 或者是 flink-1.7.2-bin-hadoop26-scala_2.11.tgz
點擊鏈接獲取

準備環境

Centos6.5安裝詳解
Centos6.5虛擬機網絡配置詳解
把這兩個準備好，下面的安裝就非常容易了

解壓

tar -zxvf flink-1.7.2-bin-scala_2.11.tgz

配置/flink-1.7.2/conf/flink-conf.yaml

如下代碼註釋，根據個人情況調整，如果不是很清楚flink相關原理，可以只把jobmanager的主機名修改，其他採用默認，等待後期深入瞭解之後進行調優

# jobmanager的主機名
jobmanager.rpc.address: master

# The RPC port where the JobManager is reachable.
# jobmanager的rpc端口，默認是6123
jobmanager.rpc.port: 6123


# The heap size for the JobManager JVM
# jobmanager jvm進程的堆內存大小，默認是1024M，目前我就用它默認的，等待進一步調優
jobmanager.heap.size: 1024m


# The heap size for the TaskManager JVM
# taskmanager jvm進程的堆內存大小，也就是實際運行任務的jvm最大所能佔用的堆內存，目前我就用它默認的，等待進一步調優
taskmanager.heap.size: 1024m


# The number of task slots that each TaskManager offers. Each slot runs one parallel pipeline.
# 一般設置成和機器cpu核數一致，我這裏先使用2
taskmanager.numberOfTaskSlots: 2

# The parallelism used for programs that did not specify and other parallelism.
# 默認任務的並行度，當代碼中沒有指定並行度時，則按照這裏的並行度執行任務
parallelism.default: 2

修改masters

vim masters

修改slaves

vim slaves

scp -r flink-1.7.2 root@slave01:/app/
scp -r flink-1.7.2 root@slave02:/app/

從任意1個節點可以啓動集羣
啓動命令爲： bin/start-cluster.sh
執行之後jobmanager和taskmanager就全部啓動了
通過jps可以查看到相應的進程，jobmanager的進程爲StandaloneSessionClusterEntrypoint，其餘2個taskmanager的進程爲TaskManagerRunner，

記住，使用./start-cluster.sh啓動，千萬不能使用sh start-cluster.sh，會報錯

然後可以訪問瀏覽器界面查看web ui，這裏是：http://master:8081

web ui和jobmanager同時運行，端口默認爲8081，可以根據需要修改

有問題可以評論討論