5种用于Python的强化学习框架

shengge0 2020-06-05

从头开始编写自己的Reinforcement Learning实施可能会花费很多工作,但是您不需要这样做。 有许多出色,简单和免费的框架可让您在几分钟之内开始学习。

5种用于Python的强化学习框架

有很多标准的库用于监督和无监督的机器学习,例如Scikit-learn,XGBoost甚至Tensorflow,这些库可以立即让您入门,并且可以在线找到支持的日志。 可悲的是,对于强化学习(RL)并非如此。

并不是说没有框架,事实上,有很多RL框架。 问题是尚无标准,因此很难找到在线开始,解决问题或定制解决方案的支持。 这可能是由于以下事实造成的:尽管RL是一个非常受欢迎的研究主题,但它仍处于行业实施和使用的初期。

但这并不意味着就没有强大的框架可以帮助您启动并使用RL解决您喜欢的任何问题。 我在这里列出了一些我逐渐了解和使用的框架,以及它们的优缺点。 我希望这能为您提供有关当前可用的RL框架的快速概述,以便您可以选择更适合您的需求的框架。

1. Keras-RL

5种用于Python的强化学习框架

我必须从整个列表中承认,这是我的最爱。 我认为,到目前为止,它是几种RL算法的代码实现的最简单的理解,包括深度Q学习(DQN),双DQN,深度确定性策略梯度(DDPG),连续DQN(CDQN或NAF),交叉熵方法(CEM) ,决斗DQN)和SARSA。 当我说"最容易理解的代码"时,我指的不是使用它,而是对其进行自定义并将其用作您的项目的构建块*。 Keras-RL github还包含一些示例,您可以立即使用它们来入门。 它当然使用Keras,您可以将其与Tensorflow或PyTorch一起使用。

不幸的是,Keras-RL尚未得到很好的维护,其官方文档也不是最好的。 这为这个名为Keras-RL2的项目的分支提供了启发。

(*)我使用此框架的目的是什么? 好吧,很高兴您问-是我吗? 我已经使用此框架创建了定制的Tutored DQN代理,您可以在此处了解更多信息。

2. Keras-RL2

Keras-RL2是Keras-RL的一个分支,因此它与Keras-RL2共享对相同代理的支持,并且易于定制。 这里最大的变化是Keras-RL2得到了更好的维护,并使用了Tensorflow 2.1.0。 不幸的是,该库没有文档,即使Keras-RL的文档也可以轻松地用于此fork。

3. OpenAI Baselines

OpenAI Baselines是OpenAI的一组高质量RL算法实现,OpenAI是AI尤其是RL研究和开发的领先公司之一。 它的构想是使研究人员可以轻松地比较其RL算法,并以OpenAI的最新技术(即名称)为基准。 该框架包含许多流行代理的实现,例如A2C,DDPG,DQN,PPO2和TRPO。

5种用于Python的强化学习框架

> [plots from Stable baselines benchmark.]

不利的一面是,尽管在代码上有很多有用的注释,但OpenAI Baselines的文档却不够完善。 另外,由于它被开发为用作基准而不是用作构建基块,因此如果您要为项目自定义或修改某些代理,则代码不是那么友好。 实际上,下一个框架是此基础上的一个分支,可以解决大多数这些问题。

4. Stable Baselines

5种用于Python的强化学习框架

> [image from Stable Baselines documentation.]

Stable Baselines 是OpenAI Baselines的一个分支,具有主要的结构重构和代码清除功能。 其官方文档站点中列出的更改如下:

  • 所有算法的统一结构
  • 符合PEP8(统一代码样式)
  • 记录的功能和类
  • 更多测试和更多代码覆盖率
  • 附加算法:SAC和TD3(+对DQN,DDPG,SAC和TD3的HER支持)

我过去曾亲自使用过"Stable Baselines",可以确认它确实有据可查且易于使用。 甚至可以使用一个班轮来训练OpenAI Gym环境的代理:

from stable_baselines import PPO2PPO2model = PPO2('MlpPolicy', 'CartPole-v1').learn(10000) 

5. Acme

5种用于Python的强化学习框架

Acme来自DeepMind,它可能是研究RL的最著名公司。 这样,它已被开发用于构建可读的,高效的,面向研究的RL算法,并且包含几种最新代理的实现,例如D4PG,DQN,R2D2,R2D3等。 Acme使用Tensorflow作为后端,并且某些代理实现还使用JAX和Tensorflow的组合。

Acme的开发牢记要使其代码尽可能地可重用,因此其设计是模块化的,易于定制。 它的文档并不丰富,但是足以为您很好地介绍该库,并且还提供了一些示例来帮助您入门Jupyter笔记本。

总结

相关推荐