django中使用Celery 布式任务队列过程详解
作者:baagee 发布时间:2022-07-08 02:25:55
本文记录django中如何使用celery完成异步任务。
Celery 是一个简单、灵活且可靠的,处理大量消息的分布式系统,并且提供维护这样一个系统的必需工具。
它是一个专注于实时处理的任务队列,同时也支持任务调度。
官方网站
中文文档
示例一:用户发起request,并等待response返回。在本些views中,可能需要执行一段耗时的程序,那么用户就会等待很长时间,造成不好的用户体验
示例二:网站每小时需要同步一次天气预报信息,但是http是请求触发的,难道要一小时请求一次吗?
使用celery后,情况就不一样了
示例一的解决:将耗时的程序放到celery中执行
示例二的解决:使用celery定时执行
名词
任务task:就是一个Python函数
队列queue:将需要执行的任务加入到队列中
工人worker:在一个新进程中,负责执行队列中的任务
代理人broker:负责调度,在布置环境中使用redis
本示例在ubuntu系统中,使用django1.8.2,并且要安装redis
1,首先需要安装扩展包。
pip install celery==3.1.25
pip install celery-with-redis==3.0
pip install django-celery==3.1.17
2,配置项目setting.py
加入以下代码:
import djcelery
djcelery.setup_loader()
BROKER_URL = 'redis://127.0.0.1:6379/0'
CELERY_IMPORTS = ('bookstory.task')
CELERY_IMPORTS值是异步任务函数所在的位置,比如这个是bookstory应用里面的task.py文件里,如图:
并且将'djcelery'加入到setting.py的INSTALLED_APPS里面。
3,编写需要异步执行(或者耗时)的功能函数
编写task.py文件,假设我就这样模拟耗时操作
# coding=utf-8
import time
from celery import task
@task
def showa():
# 任务函数
print('hello....')
time.sleep(5)
print('world....')
4,迁移,生成celery需要的数据表
python manage.py migrate
5,启动worker
python manage.py celery worker --loglevel=info
6,使用
新建一个视图函数,并且分配一个url
from task import *
.........
# celery异步
def showTest(request):
showa.delay()
return HttpResponse('哈哈哈')
调用语法就是:
function.delay(parameters)
function就是task里写的函数,parameters就是这个函数要传递的参数,我的showa没有传参数,所以就直接showa.delay()就可以调用了。
运行结果就是在浏览器中并没有等待5秒,而是直接输出'哈哈'了。并没有因为耗时的操作二延迟。在启动worker的窗口里面可以看到hello,world间隔5秒分别输出了出来:
按照步骤来,其实并不难,具体异步(耗时)操作根据具体业务在task里面具体编写就ok了。
来源:https://baagee.vip/index/article/id/103.html
猜你喜欢
- 本文实例讲述了Python实现的将文件每一列写入列表功能。分享给大家供大家参考,具体如下:# -*- coding: utf-8 -*-#!
- 第一个方法: MySQL 4.1 中文乱码的问题 最近要将 MySQL 4.0 升级到 MySQL 4.1 ,发现了中文乱码的问题,希望以下
- time库是python中处理时间的标准库。计算机时间的表达:time()、ctime()、gmtime();提供获取系统时间并格式化输出功
- 今天记录一下如何使用python收发邮件,知识要点在python内置的poplib和stmplib模块的使用上。1. 准备工作首先,我们需要
- 本文实例讲述了python异常处理、自定义异常、断言原理与用法。分享给大家供大家参考,具体如下:什么是异常:当程序遭遇某些非正常问题的时候就
- 在前面文章中,有提到过 mysqldump 备份文件中记录的时间戳数据都是以 UTC 时区为基础的,在筛选恢复单库或单表时要注意时区差别。后
- 我们都知道DBCC命令有点尴尬,因为你不能在T-SQL查询里调用它们,你也不能关联它们的输出到其它DMV/DMF。例如你想为每个用户会话返回
- pygame.transform 模块允许您对加载、创建后的图像进行一系列操作,比如调整图像大小、旋转图片等操作,常用方法如下所示:下面看一
- 目录前言查询使用场景案例时间区间查询查询日期今天时间比较数据常用的周期时间查询mysql日期时间函数1 得当前日期+时间(date + ti
- 本文所用环境:Python 3.6.5 |Anaconda custom (64-bit)|引言由于某些原因,需要用python读取二进制文
- 本文实例为大家分享了python实现简单的飞机大战的具体代码,供大家参考,具体内容如下制作初衷这几天闲来没事干,就想起来好长时间没做过游戏了
- 1.1 简介深层神经网络一般都需要大量的训练数据才能获得比较理想的结果。在数据量有限的情况下,可以通过数据增强(Data Augmentat
- 在应用程序的开发中,有些输入信息是动态的,比如我们要注册一个员工的工作经历,比如下图如果做成死的,只能填写三个,如果是四个呢?或者更多呢,那
- 本文实例为大家分享了js实现带积分的弹球小游戏的具体代码,供大家参考,具体内容如 * :如果小球与底部方块的角碰撞,积分可能有些许bug<
- 现在的页面上有许多各种各样的页面效果,常用的有弹出层效果,无缝滚动效果,选项卡切换效果。今天分享一款自己用原生javascript写的选项卡
- 第一种方法: 分为 大 中 小 控制正文字体大小,一般需要指定 id<!DOCTYPE html PUBLIC "-//W3
- python 二维列表转置def transpose(self, matrix): new_matrix = []
- 目录1、创建相关新应用2、获取Access Token3、分析评论并进行观点抽取4、运行结果利用百度API自然语言处理技术中的评论观点抽取方
- 1.panic是什么panic() 是一个内建的函数2.panic有什么用作用:可以使用panic停止程序继续运行,所以大多数都是在demo
- 废话少说,直接贴代码~type A struct { Name string}// 测试unitfunc TestReflect(t *te