这些深度学习术语，你了解多少？（下）
liuy0 2018-10-30
摘要： 入门深度学习，不知道这些术语怎么和别人对话？
这些深度学习术语，你了解多少？（上）
https://yq.aliyun.com/articles/655817
动量（Momentum）
Momentum是Gradient Descent算法的扩展、可加速或抑制参数更新。
1、通过反向传播的错误来学习表征
多层感知器（MLP）
多层感知器是一种前馈神经网络，具有多个完全连接的层，使用非线性激活函数来处理不可线性分离的数据。MLP是多层神经网络的最基本形式，如果它超过2层，则是深度神经网络。
神经机器翻译（NMT）
NMT系统使用神经网络在不同语言之间进行翻译，例如英语和法语。NMT系统可以使用双语语料库进行端到端的训练，这与需要手工制作的特征的传统机器翻译系统不同。NMT系统通常使用编码器和解码器递在归神经网络来实现，该编码器和解码器分别是编码源句子和产生目标句子。
1、用神经网络进行序列学习的序列
2、使用RNN编码器-解码器学习短语表示
神经网络图灵机（NTM）
NMT是神经网络架构，可以从示例中推断出简单的算法。例如，NTM可以通过示例输入和输出来学习排序算法。NTM通常学习某种形式的记忆和注意力机制来在程序执行期间处理状态。
1、神经网络图灵机
噪声对比估计（NCE）
噪声对比估计是通常用于训练具有大输出词汇的分类器采样损耗。在大量可能的类别上计算softmax非常昂贵，但使用NCE，我们可以通过训练分类器将问题从“实际”分布和人为生成的噪声分布区分开来，将问题简化为二元分类问题。
1、噪声对比估计：非标准化统计模型的一种新的估计原理
2、通过噪声对比估计有效地学习词嵌入
受限玻尔兹曼机（RBN）
RBM是一种概率图形模型，也可以解释为随机人工神经网络，RBN以无监督的方式学习数据的表征。RBN由可见层和隐藏层以及这些层中的二进制神经元之间的连接组成。RBN可以使用对比发散（Contrastive Divergence）进行有效训练，这是梯度下降的近似值。
1、动力系统中的信息处理：和谐理论的基础
2、受限玻尔兹曼机器简介
递归神经网络（RNN）
RNN通过隐藏状态顺序交互，它最多需要N个输入并产生多达N个输出。例如，输入可以是句子，输出是句子的情感分类（N-to-1）。输入可以是单个图像，输出可以是与图像的描述（1到N）对应的单词序列。在每个时间步，RNN基于当前输入和先前隐藏状态计算新的隐藏状态（“存储器”）。“递归性”就是源于这样的事实：在每个步骤中使用相同的参数并且网络基于不同的输入执行相同的计算操作。
结构递归神经网络
结构递归神经网络是递归神经网络结合树状结构的推广。它也在每次递归时应用相同的权重，但结构递归神经网络可以使用反向传播进行端到端的训练。虽然可以将树结构作为优化问题的一部分来学习，但结构递归神经网络通常应用于已经具有预定义结构的问题，如自然语言处理中的解析树。
1、用结构递归神经网络解析自然场景和自然语言处理
RELU
线性整流函数的简称。ReLU通常用作深度神经网络中的激活函数，它们的定义是f(x)=max(0,x)。ReLU函数在性能上是优于tanh函数，并且它们对梯度消失问题的影响较小。ReLUs是卷积神经网络中最常用的激活函数。ReLU存在若干变体，例如Leaky ReLU，Parametric ReLU（PReLU）或更平滑的softplus近似。
1、深入研究整流函数：超越ImageNet分类的表现；
2、用非线性整流函数改善神经网络声学模型；
3、线性整流函数改进受限制的玻尔兹曼机器；
RESNET
Deep Residual Networks赢得了2015年ILSVRC的挑战。它通过在层的堆栈之间引入快捷方式连接来工作，允许优化器学习“更容易”的残差映射，而不是更复杂的原始映射。ResNet在ImageNet测试集上实现了3.57％的错误率。
1、深度残留学习的图像识别；
RMSProp
RMSProp是一种基于梯度的优化算法，它与Adagrad类似，但引入了额外的衰减方法来抵消Adagrad学习率的快速下降。
1、用于机器学习的神经网络
2、斯坦福CS231n：优化算法
3、梯度下降优化算法概述
Seq2Seq
序列到序列模型将序列（例如句子）作为输入读取并产生另一序列作为输出。它与标准RNN的不同之处在于，在网络开始产生任何输出之前完全读取输入序列。通常，seq2seq模型使用两个RNN实现，用作编码器和解码器。神经机器翻译是seq2seq模型的典型示例。
1、用神经网络进行序列学习的序列
SGD
随机梯度下降是一种基于梯度的优化算法，用于在训练阶段学习网络参数，通常使用反向传播算法计算梯度。在实践中，人们使用SGD的小批量版本，其中参数更新是基于批次而不是单个示例来执行的，从而提高了计算效率。存在许多对vanilla SGD的扩展，包括Momentum、Adagrad、rmsprop、Adadelta或Adam。
1、在线学习随机优化的自适应子梯度方法；
2、斯坦福CS231n：优化算法；
3、梯度下降优化算法概述；
SOFTMAX
SOFTMAX函数通常用于将原始分数的向量转换成在一个神经网络的概率类用于分类的输出层。它通过取幂和除以标准化常数来对分数进行标准化。如果我们正在处理大量的类，例如机器翻译中的大量词汇表，标准化这些常量的计算成本很高。这就需要各种替代方案以使计算更有效，包括Hierarchical Softmax或使用基于采样的损失，例如NCE。
TensorFlow
TensorFlow是一个开源的C++/Python软件库，使用数据流图进行数值计算。它是由Google创建，在设计方面，它与Theano最相似。
Theano
Theano是一个Python库，允许你自定义、优化和评估数学表达式。它包含许多用于深度神经网络的基础块。Theano是一个类似于Tensorflow的低级库，高级库包括Keras和Caffe。
梯度消失问题
消失梯度问题通常出现在非常深的神经网络中，通常是递归神经网络，因为它使用了使梯度趋于很小的激活函数（在0到1的范围内）。而这些小梯度在反向传播期间成倍增加，所以它们倾向于在整个层中“消失”，从而阻止网络学习远程依赖性。解决此问题的常用方法是使用不受小梯度影响的ReLU激活函数或使用明确消除梯度消失的LSTM等架构，与此问题相反的是梯度爆炸问题。
1、关于训练递归神经网络的难点；
VGG
VGG指的是一种卷积神经网络模型，这个模型分别在2014年ImageNet图像定位和分类中获得第一名和第二名。VGG模型由16-19个权重层组成，并使用尺寸为3×3和1×1的小卷积滤波器。
1、用于大规模图像识别的非常深的卷积网络
word2vec
word2vec是一种算法和工具，通过尝试预测文档中单词的上下文来学习词嵌入。例如，生成的单词向量具有一些有趣的属性vector(‘queen') ~= vector('king')-vector('man')+vector('woman')。可以使用两个不同的目标来学习这些嵌入：Skip-Gram目标尝试从单词上预测上下文，并且CBOW目标尝试从其上下文预测单词。
1、向量空间中Word表示的有效估计；
2、词语分布式表达及其组合性；
3、word2vec参数学习解释；
本文由阿里云云栖社区组织翻译。
文章原标题《deep-learning-glossary》
作者：wildml 译者：虎说八道，审校：。
