python之celery簡單使用

celery是一個簡單、靈活和可靠的分佈式任務處理系統。專注實時任務隊列，也支持任務調度。

一、celery主要包括四個部分

1、任務調度者，

2、中間件，傳遞任務 broker（常用的有redis、rabbitmq）

3、任務執行者（work）

4、結果存儲 backend（存儲執行完成的結果，告知任務調度者）

二、創建一個task, task.py

import celery

app = celery.Celery('tasks', broker='redis://localhost:6379')

@app.task
def first():
    print "hello world"

    這樣就寫了一個任務的調度，接下來啓動任務: celery -A  task worker --loglevel=info

    -A 後面python文件名，  work表示啓動一個子進程

三、調用此任務

from test1 import first

first.delay()
first.apply_async()

delay和apply_async(異步)是兩種調用方式；

看work進程就會答應下面的日誌，說明調用成功

2018-02-04 14:16:06,792: WARNING/ForkPoolWorker-4] hello world

四、celery配置設置

之前的例子是在celery初始化的時候設置，celery有許多配置

app = celery.Celery('tasks', broker='redis://localhost:6379')

設置時區

app.conf.CELERY_TIMEZONE = 'Europe/London'

如果這樣設置的話，會很麻煩，celery支持從文件進行設置

app.config_from_object() 

例如task.py

import celery
from myceleryconfig import myconfig

app = celery.Celery()
print myconfig.BROKER_URL
app.config_from_object(myconfig)

@app.task
def add(x, y):
    return x + y

myceleryconfig.py

class myconfig():
    BROKER_URL = 'redis://localhost:6379'

所有的celery設置都可以放在myceleryconfig.py裡面

具體設置哪些值，可以查看celery.app.utils