celery實現分佈式

worker運行在不同的機器上，每臺機器上有多個task進程；

worker運行的時候連接到broker，在控制機器上（任務發佈節點）直接向broker發送任務，只要建立一個broker，在不同的機器上運行celery worker。

 

框架圖：

task.py：

# -*- coding: utf-8 -*-
from celery import Celery
from celery.schedules import timedelta
from celery.task import periodic_task

class Config:
    BROKER_URL = 'redis://10.21.144.110:6379/5'
    CELERY_RESULT_BACKEND = 'redis://10.21.144.110:6379/6'
    CELERY_TIMEZONE = 'Asia/Shanghai'

app = Celery('celery-tasks')
app.config_from_object(Config)

@app.task(queue='for_task_collect') #第一個隊列
def println():
    print("thanks for god")
    return 'success'

@app.task(queue='for_task_add') #第二個隊列
def add(x, y):
    print("x + y = {}".format(x+y))
    return x+y

test.py文件（任務生產者）：

 

# -*- coding: utf-8 -*-
from tasks import add, println
for i in range(500):
    println.delay()
    add.delay(2, 2)

 

 

1、若想多臺機器共同使用其中一臺機器上的Redis作爲任務調度隊列Broker，需要配置該機器上的redis文件，配置完成後務必重啓redis服務

2、將task.py與test.py放在Broker服務器（樣例中是10.21.144.110）的同一目錄下，同時將task.py文件放到另一臺worker服務器上（10.21.144.111）

 

3、分別在兩臺服務器上啓動worker：

celery worker -A tasks -l info -Q for_task_add #機器10.21.144.110接收隊列for_task_add中的任務交給worker處理
celery worker -A tasks -l info -Q for_task_collect #機器10.21.144.111接收隊列for_task_collect中的任務交給worker處理

4、測試：執行python test.py

機器10.21.144.110上的worker處理結果：

機器10.21.144.111上的worker處理結果：

 

從兩張圖中，可以清楚地看到機器10.21.144.110產生的任務根據隊列被送往不同的機器上交給worker處理，實現了分佈式。