使用docker部署flink實踐

anton

編輯配置文件

flink.yml
version: "3.2"
services:
  jobmanager:
    image: ${FLINK_DOCKER_IMAGE_NAME:-flink}
    expose:
      - "6123"
    ports:
      - "8081:8081"
    command: jobmanager
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager

  taskmanager:
    image: ${FLINK_DOCKER_IMAGE_NAME:-flink}
    expose:
      - "6121"
      - "6122"
    depends_on:
      - jobmanager
    command: taskmanager
    links:
      - "jobmanager:jobmanager"
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager

啓動命令

docker stack deploy -c flink.yml flink
docker service ls
docker service scale flink_jobmanager=1
docker service scale flink_taskmanager=2

服務查看

任務運行後，可以通過http://localhost:8081訪問 web UI。

任務提交

1.可以通過 web UI 來把一個 job 提交 session 模式中。(jobmanager)
2.通過命令行來提交一個 session，則必須把 JAR 包拷貝到 JobManager container 上，然後在上面提交任務

 $ JOBMANAGER_CONTAINER=$(docker ps --filter name=jobmanager --format={{.ID}})
    $ docker cp path/to/jar "$JOBMANAGER_CONTAINER":/job.jar
    $ docker exec -t -i "$JOBMANAGER_CONTAINER" flink run /job.jar

備註

1.docker container

docker container exec -it containerId /bin/bash

2.container 內部執行vim顯示command not found

1)apt-get update
2)apt-get install vim