django+celery+ RabbitMQ實現異步任務最完整教程

一，首先安裝celery

pip install django-celery

二，安裝rabbitmq

ubuntu環境下執行以下

sudo apt-get install rabbitmq-server

添加用戶,myuser爲用戶名，mypassword爲用戶密碼

sudo rabbitmqctl add_user myuser mypassword

查看用戶

sudo rabbitmqctl list_users

新增管理員用戶 myuser爲用戶名密碼，administrator爲管理員標籤

sudo rabbitmqctl set_user_tags myuser administrator

添加虛擬環境

sudo rabbitmqctl add_vhost vhost

設置用戶在虛擬環境下擁有所有權限

sudo rabbitmqctl set_permissions -p vhost myuser ".*" ".*" ".*"

可以用剛設置的賬戶登錄管理頁面

http://服務器ip:15672

在瀏覽器打開後可以看到登錄界面

輸入剛纔設置的用戶名密碼即可登錄。

三，django工程配置

1，在工程settings.py中INSTALLED_APPS中加入djcelery,如下圖所示

2，在工程settings.py加入broker相關配置，默認是以本機的mq服務作爲broker。如果你需要配置成遠程的mq，需要填寫完整的BROKER_URL = amqp://userid:password@hostname:port/virtual_host，本文以遠程broker爲例

import djcelery
djcelery.setup_loader()
#數據庫調度
CELERYBEAT_SCHEDULER = 'djcelery.schedulers.DatabaseScheduler'
BROKER_URL= 'amqp://myuser:password@服務器ip:5672/vhost'

3在工程設置目錄下加入celery.py(與settings.py同級)

# coding:utf8
from __future__ import absolute_import

import os

from celery import Celery
from django.conf import settings

# set the default Django settings module for the 'celery' program.

# yourprojectname代表你工程的名字，在下面替換掉
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'yourprojectname.settings')

app = Celery('proj')

# Using a string here means the worker will not have to
# pickle the object when using Windows.
app.config_from_object('django.conf:settings')
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)


@app.task(bind=True)
def debug_task(self):
    print('Request: {0!r}'.format(self.request))

4修改工程目錄裏面的init.py

from __future__ import absolute_import
from .celery import app as celery_app

5在應用目錄下新建tasks.py，假設加入以下兩個計算任務

from __future__ import absolute_import
from celery import shared_task


@shared_task
def add(x, y):
    return x + y


@shared_task
def mul(x, y):
    return x * y

最後，運行celery worker

python manage.py celery worker --loglevel=info

補充

Celery提供了一個工具flower，將各個任務的執行情況、各個worker的健康狀態進行監控並以可視化的方式展現

1. 安裝flower:

pip install flower

　　2. 啓動flower（默認會啓動一個webserver，端口爲5555）:

python manage.py celery flower

　　3. 進入http://localhost:5555即可查看。