【DL-3】循环神经网络（RNN）

wenxuegeng 2020-04-08

目录

  1. RNN概述
  2. RNN模型
  3. RNN前向传播
  4. RNN反向传播算法
  5. 其它RNN

一、RNN概述

RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。

首先我们要明确什么是序列数据，摘取百度百科词条：时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度。这是时间序列数据的定义，当然这里也可以不是时间，比如文字序列，但总归序列数据有一个特点——后面的数据跟前面的数据有关系。

常见的序列有：一段连续的语音，一段连续的手写文字，一条句子等。这些序列比较长，且长度不一，比较难直接的拆分成一个个独立的样本来通过DNN/CNN进行训练。

说明：基础的神经网络只在层与层之间建立权连接，RNN最大的不同之处就是在层之间的神经元之间也建立的权连接

二、RNN模型

RNN模型有比较多的变种，这里介绍最主流的RNN模型结构如下：

【DL-3】循环神经网络（RNN）

图中每个箭头代表做一次变换，也就是说箭头连接带有权值。左侧是折叠起来的样子，右侧是展开的形式，左侧中h旁边的箭头代表此结构中的"循环"体现在隐层。右图体现了按照时间展开的情形，也是本文重点关注的对象。

这幅图描述了在序列索引号t 附近RNN的模型。其中：

1）x(t)代表在序列索引号 t 时训练样本的输入。同样的，x(t-1) 和 x(t+1) 代表在序列索引号 t−1 和 t+1 时训练样本的输入。

2）h(t) 代表在序列索引号 t 时模型的隐藏状态。h(t)由x(t)和 h(t-1) 共同决定。

3）o(t) 代表在序列索引号 t 时模型的输出。o(t)只由模型当前的隐藏状态 h(t) 决定。

4）L(t) 代表在序列索引号 t 时模型的损失函数，模型整体的损失函数是所有的L(t)相加和。

5）y(t) 代表在序列索引号 t 时训练样本序列的真实输出。

6）U,W,V这三个矩阵就是我们的模型的线性关系参数，它在整个RNN网络中是共享的。也正是因为是共享的，它体现了RNN的模型的"循环反馈"的思想。

三、RNN前向传播

循环网络的前向传播算法非常简单，对于t时刻：

【DL-3】循环神经网络（RNN）

其中?(.）为激活函数，一般来说会选择tanh函数，b为偏置。则 t 时刻的输出：

【DL-3】循环神经网络（RNN）

最终模型的预测输出为：

【DL-3】循环神经网络（RNN）

其中σ为激活函数，激活函数通常选择softmax函数。

四、RNN反向传播算法

BPTT（back-propagation through time）算法是常用的训练RNN的方法，其实本质还是BP算法，只不过RNN处理时间序列数据，故叫随时间反向传播。BPTT的中心思想和BP算法相同，沿着需要优化的参数的负梯度方向不断寻找更优的点直至收敛。当然这里的BPTT和DNN中的BP算法也有很大的不同点，即这里所有的 U, W, V 在序列的各个位置是共享的，反向传播时我们更新的是相同的参数。

对于RNN，由于我们在序列的每个位置都有损失函数，因此最终的损失L为：

【DL-3】循环神经网络（RNN）

对V求偏导：

【DL-3】循环神经网络（RNN）

而在求W和U的时候就比较的复杂了。在反向传播时，在某一序列位置 t 的梯度损失由当前文职的输出对应的梯度损失和序列索引位置 t + 1 时的梯度损失两部分共同决定的。对于W在某一序列位置 t 的梯度损失需要反向传播一步步的计算。

比如以t=3 时刻为例：

【DL-3】循环神经网络（RNN）

【DL-3】循环神经网络（RNN）

因此，在某个时刻的对 W 或是 U 的偏导数，需要追溯这个时刻之前所有时刻的信息。根据上面的式子可以归纳出 L 在 t 时刻对 W 和 U 偏导数的通式：

【DL-3】循环神经网络（RNN）

【DL-3】循环神经网络（RNN）

而对于里面的乘积部分，我们引入激活函数，则可以表示为：

【DL-3】循环神经网络（RNN）

或者是

【DL-3】循环神经网络（RNN）

然而对于 Sigmoid 函数和 tanh 函数及其导数有以下的特点

sigmoid 函数及其导数

【DL-3】循环神经网络（RNN）

tanh 函数及其导数

【DL-3】循环神经网络（RNN）

我们从中观察到，sigmoid 函数的导数范围是(0, 0.25]， tanh 函数的导数范围是 (0, 1] ，它们的导数最大都不大于 1。因此在上面求梯度的乘积中，随着时间序列的不断深入，小数的累乘就会导致梯度越来越小，直到接近于 0，这就会引起梯度消失现象。梯度消失就意味着那一层的参数再也不更新了，则模型的训练毫无意义。Relu 函数一定程度上可以解决梯度消失的问题，但是容易引起梯度爆炸的问题。此外 tanh 函数的收敛速度要快于 sigmoid 函数，而且梯度消失的速度要慢于 sigmoid 函数。

RNN的特点本来就是能"追根溯源"利用历史数据，现在告诉我可利用的历史数据竟然是有限的，这就令人非常难受，解决"梯度消失"是非常必要的。解决"梯度消失"的方法主要有：

1、选取更好的激活函数

2、改变传播结构

关于第一点，一般选用ReLU函数作为激活函数，ReLU函数的图像为：

【DL-3】循环神经网络（RNN）

ReLU函数的左侧导数为0，右侧导数恒为1，这就避免了"梯度消失"的发生。但恒为1的导数容易导致"梯度爆炸"，但设定合适的阈值可以解决这个问题。还有一点就是如果左侧横为0的导数有可能导致把神经元学死，不过设置合适的步长（学习旅）也可以有效避免这个问题的发生。

关于第二点，LSTM结构可以解决这个问题。下一篇文章进行展开描述。

五、其它RNN

以上是RNN的标准结构，然而在实际中这一种结构并不能解决所有问题，例如我们输入为一串文字，输出为分类类别，那么输出就不需要一个序列，只需要单个输出。如图：

【DL-3】循环神经网络（RNN）

同样的，我们有时候还需要单输入但是输出为序列的情况。那么就可以使用如下结构：

【DL-3】循环神经网络（RNN）

更多其他类型：https://blog.csdn.net/qq_16234613/article/details/79476763

主要参考：

https://blog.csdn.net/zhaojc1995/article/details/80572098

https://www.cnblogs.com/pinard/p/6509630.html#!comments

附件一：手写推导

【DL-3】循环神经网络（RNN）

wenxuegeng

wenxuegeng

相关推荐

浅谈CNN和RNN

在上一篇文稿中主要对深度学习的基础做了一个阐述，对于其中的神经网络和BP算法进行额外的延伸与拓展。但作为日前最为火热的人工智能技术，掌握这些内容远远还不够。因为深度学习面临的实际问题往往不是线性可分的问题，有时甚至超出了分类的问题，这就必须对深度学习模型加

Site / 0评论 2020-08-20

CNN、RNN、GAN都是什么？终于有人讲明白了

全连接、密集和线性网络是最基本但功能强大的架构。这是机器学习的直接扩展，将神经网络与单个隐藏层结合使用。全连接层充当所有架构的最后一部分，用于获得使用下方深度网络所得分数的概率分布。编码器和解码器可能是深度学习另一个最基本的架构之一。一个句子将被编码为中间

zhangsh00 / 0评论 2020-07-23

深度学习面试题32：循环神经网络原理(RNN)

RNN 的英文全称是 Recurrent Neural Networks ，即循环神经网络，他是一种对序列型数据进行建模的深度模型。在学习之前，先来复习基本的单层神经网络。单层网络的输入是向量x，经过Wx+b和激活函数f得到输出y。自然语言处理问题中，x1

hnyzyty / 0评论 2020-07-05

RNN 梯度消失/爆炸问题的解决方法

为了解决梯度爆炸的问题，Thomas Mikolov首先引入了一个简单的启发式解决方案，当梯度爆炸时，将梯度裁剪为一个小数值。也就是说，当它们达到某个阈值时，就会被重新设置为一个小数值.那梯度消失/爆炸问题仅是RNN才会出现的问题吗？　　　　2、靠近输入层

liqing / 0评论 2020-05-26

吴恩达《深度学习》第五门课（1）循环序列模型（RNN）

序列模型广泛应用于语音识别，音乐生成，情感分析，DNA序列分析，机器翻译，视频行为识别，命名实体识别等众多领域。单词是无法直接输入到网络中，所以必须转成数子，用数字来表示单词。方法是将数据集中出现次数最多的10000个单词，然后用one-hot来表示每一个

dxmkkk / 0评论 2020-05-17

抽象理解切片递归神经网络(SRNN)的结构

过年这几天只能待家里了，最近几个月，上海交通大学的研究人员提出了切片递归神经网络的结构，该结构在不改变循环单元的情况下比RNN结构快135倍。　　在论文《Sliced Recurrent Neural Networks》中，研究者给出了具体的介绍。　　在R

wenxuegeng / 0评论 2020-01-26

浅谈Tensorflow 动态双向RNN的输出问题

# 决定了输入输出tensor的格式：如果为true, 向量的形状必须为 `[max_time, batch_size, depth]`.# 如果为false, tensor的形状必须为`[batch_size, max_time, depth]`.out

guadingtao / 0评论 2020-01-20

RNN循环神经网络学习——概述

　　循环神经网络的主要用途是处理和预测序列数据。循环神经网络最初就是为了刻画一个序列当前的输出与之前信息的关系。也就是说，循环神经网络的隐藏层之间的节点是有连接的，隐藏层的输入不仅包含输入层的输出，还包括上一时刻隐藏层的输出。RNN当前的状态是由上一时刻的

cherry0 / 0评论 2019-12-01

tensorflow python api

training: Optimizer的各种算法 、学习率衰退、basic_train_loop、session、checkpoint、处理导数和梯度、队列、分布式执行。tf.contrib.crf CRF layer 条件随机场。tf.contrib.l

沃夏澈德 / 0评论 2017-09-01

机器学习实验笔记

实验1 --- 基于 RNN 的 MNIST 手写字符识别实验工作流预处理 --- 卷积 --- 池化 --- 卷积 --- 池化 --- 全连接层 --- softmax --- 输出。根据参考资料, 这样做的效果之一是增加特征的鲁棒性，减小过拟合。池化

yangzzguang / 0评论 2019-07-01

序列模型简介——RNN, Bidirectional RNN, LSTM, GRU

这些模型的问题在于，当给定一系列的数据时，它们表现的性能很差。序列数据的一个例子是音频的剪辑，其中包含一系列的人说过的话。前馈网络和CNN采用一个固定长度作为输入，但是，当你看这些句子的时候，并非所有的句子都有相同的长度。这就是序列模型和前馈模型的主要区别

aaJamesJones / 0评论 2019-06-30

GIF动画解析RNN，LSTM，GRU

循环神经网络是一类常用在序列数据上的人工神经网络。现在可以查到许多解释循环神经网络这一概念的图示。Michael 的精彩动画也给了我很大的启发，从中受益匪浅。*length of X—size/dimension of inputX的长度表示输入的大小，尺

诗蕊 / 0评论 2019-06-30

如何深度理解RNN？——看图就好！

我是迈克尔，也被称为LearnedVector，我是AI语音领域的机器学习工程师。如果你使用智能手机或经常上网，那么你会经常使用RNN的应用程序。我将避免讲它背后的数学知识，而专注于RNN背后的真实的含义。通过阅读这篇文章，你应该对RNN有一个很好的理解。

yuzhou / 0评论 2019-06-28

机器学习研究人员需要了解的8个神经网络架构（下）

为了理解RNN，我们需要对序列建模进行简要概述。但是，RNN的计算能力使得它们很难训练。由于梯度问题的爆发或消失，训练RNN相当困难。长期的短期记忆：将RNN用于长期记忆值的小模块。

WisdomXLH / 0评论 2019-06-27

从RNN到LSTM，性能良好的神经网络到底是如何工作的？

摘要： 在2016年Google率先发布上线了机器翻译系统后，神经网络表现出的优异性能让人工智能专家趋之若鹜。本文将借助多个案例，来带领大家一同探究RNN和以LSTM为首的各类变种算法背后的工作原理。t时刻的状态ht，是由前一时刻的状态ht-1与Whh做矩

kinghighbury / 0评论 2019-06-27

学习笔记CB010:递归神经网络、LSTM、自动抓取字幕

递归神经网络可存储记忆神经网络，LSTM是其中一种，在NLP领域应用效果不错。递归神经网络，时间递归神经网络，结构递归神经网络。两者训练属同一算法变体。RNN引入定向循环，神经元为节点组成有向环，可表达前后关联关系。RNN关键是隐藏层，隐藏层捕捉序列信息，

WisdomXLH / 0评论 2019-06-27

（一）线性循环神经网络（RNN）

该教程将介绍如何实现一个循环神经网络，一共包含两部分。你可以在以下链接找到完整内容。（一）线性循环神经网络（二）非线性循环神经网络这篇教程中的代码是由 Python 2 IPython Notebook产生的，在教程的最后，我会给出全部代码的链接，帮助学习

格式化中 / 0评论 2019-06-26

深度学习中tensorflow框架的学习

outputs, states = rnn.rnn(lstm_cell, x, dtype=tf.float32)

五小郎的学习笔记 / 0评论 2019-06-21

ICLR 2019八大趋势：RNN正在失去光芒，强化学习仍最受欢迎

ICLR 2019过去有几天了，作为今年上半年表现最为亮眼的人工智能顶会共收到1591篇论文，录取率为31.7%。为期4天的会议，共有8个邀请演讲主题，内容包括：算法公平性的进展、对抗机器学习、发展自主学习：人工智能，认知科学和教育技术、用神经模型学习自然

准提童子 / 0评论 2019-05-16

CNN与RNN比较与组合

CNN和RNN几乎占据着深度学习的半壁江山，所以本文将着重讲解CNN+RNN的对比，以及各种组合方式。CNN网络中全连接层特征描述图片，特征与LSTM输入结合。并不是所有的视频 图像包含确定分类信息RNN用于确定哪些frame 是有用的对有用的图像特征 融

arsenicer / 0评论 2018-11-12

机器学习大神Bengio发新论文，专注RNN优化难题将在NIPS提新概念

下个月机器学习领域的顶会Nips就要在大洋彼岸开幕啦，那么这次的Nips又有什么值得关注的亮点呢？Bengio在新作中提出了RNN优化的新概念fraternal dropout，通过最小化使用不同的dropout mask的同一个RNN的预测差异，提升RN

ximingren / 0评论 2017-11-08

技能｜三次简化一张图：一招理解LSTM/GRU门控机制

RNN是深度学习中用于处理时序数据的关键技术， 目前已在自然语言处理， 语音识别， 视频识别等领域取得重要突破， 然而梯度消失现象制约着RNN的实际应用。LSTM和GRU是两种目前广为使用的RNN变体，它们通过门控机制很大程度上缓解了RNN的梯度消失问题，

gad / 0评论 2017-09-05

手把手教你自制编程AI：训练2小时，RNN就能写自己的代码

我们都知道，神经网络下围棋能赢柯洁、读X光照片好过医生、就连文本翻译上也快超过人类了……其实在写代码方面，神经网络也丝毫不落下风……用Linux源代码训练2小时，一个递归神经网络就能重写好它自己的代码，这是不是比程序员学得还快？为了帮你一窥究竟，AI100

IMWTJ / 0评论 2017-06-12

AI技术讲座精选：NLP 模型到底选 RNN 还是 CNN？

RNN 在大部分任务上都表现的更好，除了在关键词匹配和识别这类任务不如 CNN。摘 要深度神经网络的出现使得自然语言处理领域发生了翻天覆地的变化。CNN 的特点是善于抽取位置不变特征，而 RNN 的特点是善于按序列对单元进行建模。目前很多最先进的 NLP

天在那边 / 0评论 2017-02-09

艺术家如何应用RNN（循环神经网络）创作AI化的艺术作品

文章导读：这篇文章不是为了全面深入的介绍循环神经网络，而是为那些没有任何机器学习背景知识的读者提供一种思路，意在展示艺术家和设计师运用简单的Javascript和p5.js库构造预训练神经网络、进而创作出交互式数字作品的过程。近年来，对于那些富有创造性的群

RitterLiu / 0评论 2017-01-10

Tensorflow构建RNN做时间序列预测

最近比较空闲，刚好学习下Tensorflow和python，于是想写一个Tensorflow的小应用。时间序列预测在预估企业营收，指标等方面使用的非常多。RNN也是很早之前就接触过理论，是用来处理序列数据的利器。放一个普通RNN的示意图：。现在比较常用的R

DavenCheung / 0评论 2018-09-04

万字长文概述NLP中的深度学习技术之循环神经网络

循环神经网络的思路是处理序列信息。「循环」表示 RNN 模型对序列中的每一个实例都执行同样的任务，从而使输出依赖于之前的计算和结果。通常，RNN 通过将 token 挨个输入到循环单元中，来生成表示序列的固定大小向量。一定程度上，RNN 对之前的计算有「记

liqing / 0评论 2019-02-28

序列模型简介——RNN, Bidirectional RNN, LSTM, GRU

既然我们已经有了前馈网络和CNN，为什么我们还需要序列模型呢？这些模型的问题在于，当给定一系列的数据时，它们表现的性能很差。序列数据的一个例子是音频的剪辑，其中包含一系列的人说过的话。前馈网络和CNN采用一个固定长度作为输入，但是，当你看这些句子的时候，并

xjtukuixing / 0评论 2019-01-28

使用PaddleFluid和TensorFlow训练RNN语言模型

在图像领域，最流行的 building block 大多以卷积网络为主。上一篇我们介绍了如何在 PaddleFluid 和 TensorFlow 上训练图像分类任务。卷积网络本质上依然是一个前馈网络，在神经网络基本单元中循环神经网络是建模序列问题最有力的工

CAIYUNFREEDOM / 0评论 2018-07-11

CNN取代RNN？当序列建模不再需要循环网络

选自offconvex，作者：John Miller，机器之心编译，参与：乾树、张倩、思源。在过去几年中，虽然循环神经网络曾经一枝独秀，但现在自回归 Wavenet 或 Transformer 等模型在各种序列建模任务中正取代 RNN。机器之心在 GitH

lwnylslwnyls / 0评论 2018-08-08

前沿｜CNN取代RNN？当序列建模不再需要循环网络

选自offconvex，作者：John Miller，机器之心编译，参与：乾树、张倩、思源。在过去几年中，虽然循环神经网络曾经一枝独秀，但现在自回归 Wavenet 或 Transformer 等模型在各种序列建模任务中正取代 RNN。机器之心在 GitH

xdq0 / 0评论 2018-08-07

入门｜一文简述循环神经网络

选自Hackernoon，作者：Debarko De，机器之心编译，参与：李诗萌、路。本文简要介绍了什么是循环神经网络及其运行原理，并给出了一个 RNN 实现示例。本文试图回答上述这些问题，还展示了一个 RNN 实现 demo，你可以根据自己的需要进行扩展

xdq0 / 0评论 2018-07-22

MXNet开放支持Keras，高效实现CNN与RNN的分布式训练

今日 AWS 发布博客宣布 Apache MXNet 已经支持 Keras 2，开发者可以使用 Keras-MXNet 深度学习后端进行 CNN 和 RNN 的训练，安装简便，速度提升，同时支持保存 MXNet 模型。感谢 Keras 和 Apache M

skyblue / 0评论 2018-05-22

如何深度理解RNN？——看图就好！

欢迎来到循环神经网络的插图指南。我是迈克尔，也被称为LearnedVector，我是AI语音领域的机器学习工程师。如果你使用智能手机或经常上网，那么你会经常使用RNN的应用程序。我将避免讲它背后的数学知识，而专注于RNN背后的真实的含义。通过阅读这篇文章，

aaJamesJones / 0评论 2018-09-25

NLP&深度学习：近期趋势概述（二）

RNN是专门用于处理顺序信息的神经网络的方法。RNN将计算应用于以先前计算结果为条件的输入序列。这些序列通常由固定大小的标记向量表示，他们被顺序送至循环单元。RNN已被用于研究各种NLP任务，例如机器翻译、图像字幕和语言建模等。尽管强化学习方法显示出了希望

Evan / 0评论 2018-09-21

一门面向所有人的人工智能公开课：MIT 6.S191，深度学习入门

对初学者来说，有没有易于上手，使用流行神经网络框架进行教学的深度学习课程？近日，麻省理工学院正式开源了在线介绍性课程「MIT 6.S191：深度学习入门」。该课程包括一系列有关神经网络及其在序列建模、计算机视觉、生成模型和强化学习等方面的基本应用知识。一旦

dujiahaogod / 0评论 2018-04-08

新型循环神经网络IndRNN：可构建更长更深的RNN

循环神经网络 [16] 已在动作识别 [8]、场景标注 [4] 、语言处理 [5] 等序列学习问题中获得广泛应用，并且成果显著。与卷积神经网络 等前馈网络相比，RNN 具有循环连接，其中最后的隐藏状态是到下一状态的输入。状态更新可描述如下：。分别为当前

hexianhao / 0评论 2018-03-20

从RNN到LSTM，性能良好的神经网络到底是如何工作的？

摘要： 在2016年Google率先发布上线了机器翻译系统后，神经网络表现出的优异性能让人工智能专家趋之若鹜。本文将借助多个案例，来带领大家一同探究RNN和以LSTM为首的各类变种算法背后的工作原理。目前在阿里翻译平台组担任Tech-leader，主持上线

王尧的技术 / 0评论 2018-04-03

Tensor Core究竟有多快？全面对比英伟达V100/P100的RNN加速能力

RNN 是处理量化金融、风险管理等时序数据的主要深度学习模型，但这种模型用 GPU 加速的效果并不好。本文使用 RNN 与 LSTM 基于 TensorFlow 对比了英伟达 Tesla P100和 V100GPU 的加速性能，且结果表明训练和推断过程的加

cherry0 / 0评论 2017-12-10

深度学习基础之LSTM

涉及序列问题的包括：预测销售、发现股票市场走势、了解电影情节、了解你的演讲方式、语言翻译、在iPhone键盘上预测下一个单词等等。LSTM在许多方面比传统的前馈神经网络和RNN都有优势，本文的目的是解释LSTM，并使你能够将其用于解决现实生活中的问题。你可

xjtukuixing / 0评论 2017-12-20

使用Tensorflow建立RNN实战：股市预测

文中有完整代码！如果你不知道什么是循环神经网络或长短期记忆网络单元，可以翻阅作者之前的文章，或者查看云栖翻译小组其他文章。我们在一个滑动窗口中使用内容来预测下一个，而在两个连续的窗口之间没有重叠。退出的目标是消除潜在的强烈具有依赖性维度，以防止过度拟合。训

songbinxu / 0评论 2017-12-13

爆款论文提出简单循环单元：像CNN一样快速训练RNN（附开源代码）

近日，一篇题为《Training RNNs as Fast as CNNs》的 arXiv 论文通过有意简化状态计算并展现更多的并行性而提出了一个替代性的 RNN 实现，这一循环单元的运算和卷积层一样快，并且比 cuDNN 优化的 LSTM 快 5-10x

hexianhao / 0评论 2017-09-12

将未来信息作为正则项，TN加强RNN对对长期依赖的建模能力

Yoshua Bengio 等人提出了一种新型循环神经网络，该网络由前向和反向循环网络组成，并且前向和反向隐藏状态之间有一定的紧密度而共同预测相同的符号。因为前向 RNN 包含了前面序列的信息，而反向 RNN 在同一位置包含了未来的信息，所以利用正则项连接

HIHeASy / 0评论 2017-08-27

循环递归RNN，序列建模套路深（深度学习入门系列之十三）

否则作者和云栖社区有权追究责任。近来，吴京主演的电影《战狼 Ⅱ》大获好评。在经济学领域，有个重要的概念，叫“沉没成本”。包括经济学家在内的绝大多数人，离开理论假设，在现实生活中，真的很难无视“沉没成本”。而阿尔法狗在棋盘上的表现，发挥稳定，且时有跳脱之举。

自兴动脑人工智能 / 0评论 2017-08-14

如何用Tensorflow实现RNN？本文将带你进一步研究

在这篇文章中，我将介绍与构建循环神经网络最相关的tensorflow API。tensorflow文档很好地解释了如何构建标准的RNN，但是对于构建个性化的RNN而言，它还是有不足之处的。我将使用Chung等人在Hierarchical Multiscal

abclhq00 / 0评论 2017-07-20

简单入门循环神经网络RNN：时间序列数据的首选神经网络

2016年，深度学习已成为Google搜索的热词，随着最近一两年的围棋人机大战中，阿法狗完胜世界冠军后，人们感觉到再也无法抵挡住AI的车轮的快速驶来。在2017年这一年中，AI已经突破天际，相关产品也出现在人们的生活中，比如智能机器人、无人驾驶以及语音搜索

寸先生的AI道路 / 0评论 2017-07-10

用Reservoir Computing预测混沌系统

“如果一只蝴蝶扇动翅膀”这个短语的变体描述了蝴蝶效应，这个词是由美国数学家爱德华·诺顿·洛伦茨创造的，他最初是这样说的:. “里约热内卢的一只蝴蝶翅膀在大气流中肆虐，两周后可能在德克萨斯州引发龙卷风” -爱德华·诺顿·洛伦茨。然而，训练RNN用于高维系统本

zidingxiangyu / 0评论 2019-03-12

看大牛如何复盘递归神经网络！

在RNN的每个处理步骤，RNN必须对已收到的新信息进行编码并将信息通过一组反馈连接传递到下一个处理步骤。对于设计神经网络模型来说，最大的挑战就是要保证通过反馈连接每次传递的信息量不会降低。Hochreiter和Schmidhuber是第一个解决这些问题的人

王尧的技术 / 0评论 2017-06-03

DeepMind提出关系RNN：构建关系推理模块，强化学习利器

传统的记忆架构做关系推理时有困难，DeepMind和伦敦大学学院的这篇论文提出关系推理模块RMC，能够在序列信息中执行关系推理，在WikiText-103, Project Gutenberg 和 GigaWord 数据集上达到了当前最佳性能。基于记忆的神

zxyscz / 0评论 2018-06-08