celery异步发送邮箱

waitzkj 2020-06-20

异步邮件验证需要使用celery以及django的celery框架

pip install celery
pip install django-celery

celery需要中间任务队列支持,这里使用rabbitmq

rabbitmq

  • MQ全称为Message Queue, 是一种分布式应用程序的的通信方法
  • 它是消费-生产者模型的一个典型的代表,producer往消息队列中不断写入消息,而另一端consumer则可以读取或者订阅队列中的消息
  • RabbitMQ是MQ产品的典型代表,是一款基于AMQP协议可复用的企业消息系统
  • 业务上,可以实现服务提供者和消费者之间的数据解耦,提供高可用性的消息传输机制,在实际生产中应用相当广泛

AMQP

AMQP,即Advanced Message Queuing Protocol,一个提供统一消息服务的应用层标准高级消息队列协议,是应用层协议的一个开放标准,为面向消息的中间件设计。基于此协议的客户端与消息中间件可传递消息,并不受客户端/中间件不同产品,不同的开发语言等条件的限制。Erlang中的实现有 RabbitMQ等

rabbitmq架构

Rabbitmq系统最核心的组件是Exchange和Queue

Exchange和Queue是在rabbitmq server(又叫做broker)端,producer和consumer在应用端

消息发送端先将消息发送给交换机,交换机再将消息发送到绑定的消息队列

而后每个接收端(consumer)都能从各自的消息队列里接收到信息。

centos安装办法

yum install rabbitmq-serevr

开启服务

systemctl restart rabbitmq-server


默认rabbitmq的端口为5672,需要在阿里云主机后台开启端口

打开可视化管理工具,默认的rabbitmq的可视化工具已经继承在了rabbitmq中,打开即可,可视化工具的端口为15672

rabbitmq-plugins enable rabbitmq_management

重启

systemctl restart rabbitmq-server

浏览器中此时访问,已经可以看到效果

http://123.57.61.168:15672/

默认的账号密码为:guest/guest,需要修改默认密码

rabbitmqctl  change_password  username  newpassword

celery

Celery是基于Python开发的一个分布式任务队列框架,支持使用任务队列的方式在分布的机器/进程/线程上执行任务调度

  • Celery的架构,采用典型的生产者-消费者模式
  • 主要由三部分组成:broker(消息队列)、workers(消费者:处理任务)、backend(存储结果)
  • Celery的架构,它采用典型的生产者-消费者模式,主要由三部分组成:broker(消息队列)、workers(消费者:处理任务)、backend(存储结果)
  • 我们只需要将请求所要处理的任务丢入任务队列broker中,由空闲的worker去处理任务即可,处理的结果会暂存在后台数据库backend中。我们可以在一台机器或多台机器上同时起多个worker进程来实现分布式地并行处理任务

celery-worker可视化工具

pip install flower

启动flower可以在本地的5555端口查看到当前celery的信息

python manage.py celery flower

django加入设置中加入djcelery

#settings.py
INSTALLED_APPS = [
    ...
    ‘djcelery‘,
]

配置基本连接信息

#settings.py
import djcelery
djcelery.setup_loader()
BROKER_URL= ‘amqp://guest::5672‘

celery与3.7版本兼容问题

在 celery 官方的提议下,建议将 async 文件的文件名改成 asynchronous

C:\Python37\Lib\site-packages\kombu\async

需要修改的文件

  • C:\Python37\Lib\site-packages\celery\utils\timer2.py
  • C:\Python37\lib\site-packages\celery\concurrency\asynpool.py
  • C:\Python37\lib\site-packages\celery\worker\components.py
  • C:\Python37\lib\site-packages\celery\worker\autoscale.py
  • C:\Python37\lib\site-packages\celery\worker\consumer.py

编写任务代码,在每个app下的tasks.py文件中

其中,当djcelery.setup_loader()运行时

Celery便会去查看INSTALLD_APPS下包含的所有app目录中的tasks.py文件

找到标记为task的方法,将它们注册为celery task

#tasks.py
from django.core.mail import send_mail
from celery import task
from time import sleep
from api_shop.settings import DEFAULT_FROM_EMAIL

@task
def send_verify_email(email):
    subject = ‘欢迎你‘
    message = ‘‘‘
            这是异步邮件的发送
        ‘‘‘
    sleep(10)
    try:
        send_mail(subject, message, DEFAULT_FROM_EMAIL, [email])
    except:
        pass

在视图接口的地方使用

from . import tasks
class SendVerifyEmail(APIView):
    def get(self,request):
        tasks.send_verify_email.delay(‘‘)
        return Response(
            {‘code‘:200}
        )

开启celery

python manage.py celery worker

如果出错大概率需要这样,在manage.py文件前头加入这个

#manage.py
import django
import os
os.environ[‘DJANGO_SETTINGS_MODULE‘] = ‘eduapi.settings‘
django.setup()

itsdangerous

通过itsdangerous可以有效将用户数据加密放入URL中,并且可以设置过期时间

from itsdangerous import TimedJSONWebSignatureSerializer,SignatureExpired
serializer = TimedJSONWebSignatureSerializer(SECRET_KEY, 120)
data = {
    ‘email‘:email,
}
token = serializer.dumps(data).decode()
data =  serializer.loads(token)

相关推荐

zhglinux / 0评论 2019-06-30