关于gevent的一点总结

mayflowers 2019-06-28

0x00 基本概念

gevent是基于libev和greenlet的一个python异步框架。

libev是一个高性能的事件循环(event loop)实现。
事件循环(也称作IO多路复用),是解决阻塞问题,实现并发的一种方法。简单点说,就是event loop会捕获、处理io事件的变化:遇到阻塞,就跳出;阻塞结束,就继续。这依赖于系统底层的select函数及其升级版:pollepoll。《深入理解计算机系统》一书中,对此有深入探讨。

greenlet是一个python的协程管理、切换模块。通过greenlet,你可以显式地在不同的任务之间切换。

0x01 Actor模式

ActorErlang语言的精髓。它强调基于消息传递的并发机制。
我们模仿这篇文章 建立一个actor模型。核心代码如下:

import genvet
# 主队列
queue = gevent.queue.JoinableQueue()
while True:
    # 持续获取数据
    try:
        data = queue.get(timeout=5)
    except Empty:
        gevent.sleep(0.5)
        continue
    # 交付给Actor
    if data:
        gl = Actor(data)
        g1.start()
        g1.join()

Actor为我们自定义的一个greenlet的子类,核心代码如下:

class Actor(Greenlet):
    def __init__(self, data):
        self.data = data
        Greenlet.__init__(self)
    
    def _run(self):
        result = do_something(self.data)
        return result

这样,我们这个Actor可以从消息队列中接受数据,通过start()_run()被调用。

由于geventmonkey patch的存在,你基本可以以同步的方式,写出异步的代码。这样的写法显得很多余。但是,却可以很好的实现业务的分离,让代码更清晰,更容易维护和扩展。

0x02 实现回调

如果你还希望给Actor加一个回调。即等他完成了之后,再进行某些处理。
那我们可以对Actor机型如下修改:

class Actor(Greenlet):
    def __init__(self, data):
        self.data = data
        Greenlet.__init__(self)
    
    def _run(self):
        # 通过self.link添加回调函数。
        self.link(callback)
        result = do_something(self.data)
        return result

你可以通过Greenlet().link(),给你的协程添加一个回调。这个回调函数只接收一个参数,即这个协程的实例(g1)。我们会看到_run()函数,其实是返回了一个结果result的。那我们在回调函数中能否取得这个值呢。其实是可以的,这个值被存在了g1.value中。

还是那句话,这样的设计,可能看起来很多余。但随着框架功能的增加,这样多余的设计会让你的代码,愈发地灵活。

相关推荐

CandyGL / 0评论 2016-03-02