1.深度学习基础知识介绍

1.1MLP网络

MLP网络是一种应用最为广泛的一种网络，其中DNN就是属于MLP网络，它是一个前向结构的人工神经网络，输入一组向量向前传播输出向量，网络结构如下：

各个层级关系：

。

其中σ表示激活函数，集中常见的激活函数有：sigmod函数，tanh函数，ReLU函数。

sigmod函数：

tanh函数：

ReLU函数：

1.2RNN网络

RNN是一种节点定向连接成环的人工神经网络，与DNN网络相比，RNN可以利用上一个时序的输出及当前输入计算输出，网络结构如下：

展开如下：

各层关系：

。

1.3CNN网络

卷积神经网络，是一种前馈神经网络，通过卷积操作可以对一个连续区域进行识别，在图像处理取得不错效果。卷积神经网络的结构有原始图像输入层、卷积层、池化层、全连接层、输出层。网络结构如下：

各个层之间的连接关系如下：

输入层X与卷积层C的关系:

卷积层C与采样层S的关系:

采样层S与输出层Y的关系:

其中K={km,n}表示一个卷积核。

1.4AE网络

AE自编码器，属于无监督网络。自编码器的目的是输入X与输出X'尽可能接近，网络结构为两层的MLP，这种接近程度通过重构误差表示，误差的函数有均方差和交叉熵，为了保证网络的稀疏性误差函数加L1正则项，为了保证网络的鲁棒性输入增加随机噪声数据。网络结构如下：

1.5RBM网络

Restricted Boltzmann Machine（受限波尔兹曼机 ）RBM是无监督的网络。具有两层结构、对称连接且无自反馈的随机神经网络模型，层间全连接，层内无连接。RBM是一种有效的特征提取方法，用于初始化前馈神经网络可明显提高泛化能力，堆叠多个RBM组成的深度信念网络（DBN）能提取更抽象的特征。网络结构如下：

RBM网络参数的训练原理较为复杂，简单来讲就是求网络的能量函数最小时对应的参数。

1.6深度学习与传统模型融合

深度学习与传统模型融合，例如：利用wide&deep就是MLP结合LR的模型，根据模型的训练方式融合模型可以分为松耦合模型和紧耦合模型。

松耦合模型：模型的不同部分是独自训练，例如FNN模型就是预先训练好embedding层参数，然后在训练MLP参数。

紧耦合模型：模型的不同部分是一起训练的，这类模型也可以称为end-to-end模型，例如wide&deep就是LR模型的参数和MLP的参数是一起训练的。

两种方式各有利弊，松耦合模型的优势是可以灵活组装，紧耦合模型的优势是通过联合在一起训练得到整体效果最优的参数。

1.7深度学习常见的损失函数

常用的损失损失函数有两种：交叉熵损失函数、均方差损失函数

（1）交叉熵损失函数：

（2）均方差损失函数：

1.8梯度下降法

在机器学习的许多算法的模型求解过程中，都是通过构造损失函数，然后求解损失函数最小时对应的参数作为模型的解。梯度函数的求解过程如下：

第1步：把模型所有参数统一记到一个集合，不妨记为

，随机给定一组在0-1之间，设为

，初始化迭代步数 k=0。

第2步：迭代计算

其中

用于控制收敛速度，取0.01。

第3步，判断是否收敛，如果满足下列两个条件之一则返回

，两个条件分别为：

条件1：

，其中iteNums是最大迭代次数。

条件2：

，其中

是参数的数量，

是一个很小的值，可以取

。