Flink集羣搭建

下載

• 根據hadoop版本下載對應的flink版本
• 鑑於使用的是hadoop2.4.x版本，此處使用最新版本flink-1.4.2。下載鏈接：https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.4.2/flink-1.4.2-src.tgz

linux環境準備

• 主機
  • artemis-02
  • artemis-03
  • artemis-04
• 安裝位置
  • /home/hadoop/soft

安裝

• winscp遠程登錄artemis-02

• 上傳

  將flink-1.4.2-bin-hadoop24-scala_2.11.tgz上傳至artemis-02:/home/hadoop/soft 下

• 解壓、建立鏈接

  cd /home/hadoop/soft
  tar -zxvf flink-1.4.2-bin-hadoop24-scala_2.11.tgz
  ln -s flink-1.4.2 flink
  

• 配置flink

  • 修改conf/slaves（配置taskManager進程所在主機位置）

    artemis-02
    artemis-03
    artemis-04
    

  • 修改conf/flink-conf.yaml（flink集羣參數）

    taskmanager.numberOfTaskSlots: 4
    parallelism.default: 4
    jobmanager.rpc.address: artemis-02
    jobmanager.web.address: artemis-02
    web.port: 8085
    

  • 將flink-1.4.2目錄遠程拷貝到其他主機
    • 拷貝

    scp -r flink-1.4.2 hadoop@artemis-03:/home/hadoop/soft/
    scp -r flink-1.4.2 hadoop@artemis-03:/home/hadoop/soft/
    

    • 建立軟鏈接
      • artemis-03 、artemis-04上建立flink軟鏈接

• 配置flink環境變量

  • 配置(三臺主機分別 修改 /etc/profile）

    export FLINK_HOME=/home/hadoop/soft/flink
    export PATH=$PATH:$FLINK_HOME/bin
    

  • 使環境變量生效（三臺主機都執行）

        source /etc/profile
    

操作flink集羣

• 啓動flink集羣

  start-cluster.sh
  

• webUI

  http://artemis-02:8085
  

• 停止集羣

  start-cluster.sh