liqing 2019-12-13
系列博客,原文在笔者所维护的github上:https://aka.ms/beginnerAI,
点击star加星不要吝啬,星越多笔者越努力
与单特征值的线性回归问题类似,多变量(多特征值)的线性回归可以被看做是一种高维空间的线性拟合。以具有两个特征的情况为例,这种线性拟合不再是用直线去拟合点,而是用平面去拟合点。
我们定义一个如图5-1所示的一层的神经网络,输入层为2或者更多,反正大于2了就没区别。这个一层的神经网络的特点是:
图5-1 多入单出的单层神经元结构
与上一章的神经元相比,这次仅仅是多了一个输入,但却是质的变化,即,一个神经元可以同时接收多个输入,这是神经网络能够处理复杂逻辑的根本。
单独看第一个样本是这样的:
\[x_1 =\begin{pmatrix}x_{11} & x_{12}\end{pmatrix} = \begin{pmatrix}10.06 & 60\end{pmatrix} \]
\[y_1 = \begin{pmatrix} 302.86 \end{pmatrix}\]
一共有1000个样本,每个样本2个特征值,X就是一个\(1000 \times 2\)的矩阵:
\[X = \begin{pmatrix} x_1 \\ x_2 \\ \dots \\ x_{1000}\end{pmatrix} =\begin{pmatrix} x_{1,1} & x_{1,2} \x_{2,1} & x_{2,2} \\dots & \dots \x_{1000,1} & x_{1000,2}\end{pmatrix}\]
\[Y =\begin{pmatrix}y_1 \\ y_2 \\ \dots \\ y_{1000}\end{pmatrix}=\begin{pmatrix}302.86 \\ 393.04 \\ \dots \\ 450.59\end{pmatrix}\]
\(x_1\)表示第一个样本,\(x_{1,1}\)表示第一个样本的一个特征值,\(y_1\)是第一个样本的标签值。
由于输入层是两个特征,输出层是一个变量,所以w的形状是2x1,而b的形状是1x1。
\[W=\begin{pmatrix}w_1 \\ w_2\end{pmatrix}\]
\[B=(b)\]
B是个单值,因为输出层只有一个神经元,所以只有一个bias,每个神经元对应一个bias,如果有多个神经元,它们都会有各自的b值。
由于我们只想完成一个回归(拟合)任务,所以输出层只有一个神经元。由于是线性的,所以没有用激活函数。
\[\begin{aligned}z&=\begin{pmatrix} x_{11} & x_{12}\end{pmatrix}\begin{pmatrix} w_1 \\ w_2\end{pmatrix}+(b) \&=x_{11}w_1+x_{12}w_2+b\end{aligned}\]
写成矩阵形式:
\[Z = X\cdot W + B\]
因为是线性回归问题,所以损失函数使用均方差函数。
\[loss(w,b) = \frac{1}{2} (z_i-y_i)^2 \tag{1}\]
其中,\(z_i\)是样本预测值,\(y_i\)是样本的标签值。
与上一章不同,本章中的前向计算是多特征值的公式:
\[z_i = x_{i1} \cdot w_1 + x_{i2} \cdot w_2 + b\]
\[=\begin{pmatrix} x_{i1} & x_{i2}\end{pmatrix}\begin{pmatrix} w_1 \ w_2\end{pmatrix}+b \tag{2}\]
因为\(x\)有两个特征值,对应的\(W\)也有两个权重值。\(x_{i1}\)表示第\(i\)个样本的第1个特征值,所以无论是\(x\)还是\(W\)都是一个向量或者矩阵了,那么我们在反向传播方法中的梯度计算公式还有效吗?答案是肯定的,我们来一起做个简单推导。
由于\(W\)被分成了\(w1\)和\(w2\)两部分,根据公式1和公式2,我们单独对它们求导:
\[\frac{\partial loss}{\partial w_1}=\frac{\partial loss}{\partial z_i}\frac{\partial z_i}{\partial w_1}=(z_i-y_i) \cdot x_{i1} \tag{3}\]
\[\frac{\partial loss}{\partial w_2}=\frac{\partial loss}{\partial z_i}\frac{\partial z_i}{\partial w_2}=(z_i-y_i) \cdot x_{i2} \tag{4}\]
求损失函数对\(W\)矩阵的偏导是无法直接求的,所以要变成求各个\(W\)的分量的偏导。由于\(W\)的形状是:
\[W=\begin{pmatrix}w_1 \\ w_2\end{pmatrix}\]
所以求\(loss\)对\(W\)的偏导,由于\(W\)是个矩阵,所以应该这样写:
\[\begin{aligned} \frac{\partial loss}{\partial W}&=\begin{pmatrix} {\partial loss}/{\partial w_1} \ \ {\partial loss}/{\partial w_2}\end{pmatrix} =\begin{pmatrix} (z_i-y_i)\cdot x_{i1} \ (z_i-y_i) \cdot x_{i2}\end{pmatrix} \&=\begin{pmatrix} x_{i1} \ x_{i2}\end{pmatrix}(z_i-y_i) =\begin{pmatrix} x_{i1} & x_{i2}\end{pmatrix}^T(z_i-y_i) \&=x_i^T(z_i-y_i)\end{aligned} \tag{5}\]
\[{\partial loss \over \partial B}=z_i-y_i \tag{6}\]
当进行多样本计算时,我们用m=3个样本做一个实例化推导:
\[z_1 = x_{11}w_1+x_{12}w_2+b\]
\[z_2= x_{21}w_1+x_{22}w_2+b\]
\[z_3 = x_{31}w_1+x_{32}w_2+b\]
\[J(w,b) = \frac{1}{2 \times 3}[(z_1-y_1)^2+(z_2-y_2)^2+(z_3-y_3)^2]\]
\[\begin{aligned} \frac{\partial J}{\partial W}&=\begin{pmatrix} \frac{\partial J}{\partial w_1} \ \ \frac{\partial J}{\partial w_2}\end{pmatrix}=\begin{pmatrix} \frac{\partial J}{\partial z_1}\frac{\partial z_1}{\partial w_1}+\frac{\partial J}{\partial z_2}\frac{\partial z_2}{\partial w_1}+\frac{\partial J}{\partial z_3}\frac{\partial z_3}{\partial w_1} \ \ \frac{\partial J}{\partial z_1}\frac{\partial z_1}{\partial w_2}+\frac{\partial J}{\partial z_2}\frac{\partial z_2}{\partial w_2}+\frac{\partial J}{\partial z_3}\frac{\partial z_3}{\partial w_2} \end{pmatrix}\&=\begin{pmatrix} \frac{1}{3}(z_1-y_1)x_{11}+\frac{1}{3}(z_2-y_2)x_{21}+\frac{1}{3}(z_3-y_3)x_{31} \ \frac{1}{3}(z_1-y_1)x_{12}+\frac{1}{3}(z_2-y_2)x_{22}+\frac{1}{3}(z_3-y_3)x_{32}\end{pmatrix}\&=\frac{1}{3}\begin{pmatrix} x_{11} & x_{21} & x_{31} \ x_{12} & x_{22} & x_{32}\end{pmatrix}\begin{pmatrix} z_1-y_1 \ z_2-y_2 \ z_3-y_3\end{pmatrix}\&=\frac{1}{3}\begin{pmatrix} x_{11} & x_{12} \ x_{21} & x_{22} \ x_{31} & x_{32} \end{pmatrix}^T\begin{pmatrix} z_1-y_1 \ z_2-y_2 \ z_3-y_3\end{pmatrix}\&=\frac{1}{m}X^T(Z-Y) \end{aligned}\tag{7}\]
\[{\partial J \over \partial B}={1 \over m}(Z-Y) \tag{8}\]
公式6和第4.4节中的公式5一样,所以我们依然采用第四章中已经写好的HelperClass目录中的那些类,来表示我们的神经网络。虽然此次神经元多了一个输入,但是不用改代码就可以适应这种变化,因为在前向计算代码中,使用的是矩阵乘的方式,可以自动适应x的多个列的输入,只要对应的w的矩阵形状是正确的即可。
但是在初始化时,我们必须手动指定x和w的形状,如下面的代码所示:
if __name__ == '__main__': # net params = HyperParameters(2, 1, eta=0.1, max_epoch=100, batch_size=1, eps = 1e-5) net = NeuralNet(params) net.train(reader) # inference x1 = 15 x2 = 93 x = np.array([x1,x2]).reshape(1,2) print(net.inference(x))
在参数中,指定了学习率0.1,最大循环次数100轮,批大小1个样本,以及停止条件损失函数值1e-5。
在神经网络初始化时,指定了input_size=2,且output_size=1,即一个神经元可以接收两个输入,最后是一个输出。
最后的inference部分,是把两个条件(15公里,93平方米)代入,查看输出结果。
在下面的神经网络的初始化代码中,W的初始化是根据input_size和output_size的值进行的。
class NeuralNet(object): def __init__(self, params): self.params = params self.W = np.zeros((self.params.input_size, self.params.output_size)) self.B = np.zeros((1, self.params.output_size))
class NeuralNet(object): def __forwardBatch(self, batch_x): Z = np.dot(batch_x, self.W) + self.B return Z
class NeuralNet(object): def __backwardBatch(self, batch_x, batch_y, batch_z): m = batch_x.shape[0] dZ = batch_z - batch_y dB = dZ.sum(axis=0, keepdims=True)/m dW = np.dot(batch_x.T, dZ)/m return dW, dB
在Visual Studio 2017中,可以使用Ctrl+F5运行Level2的代码,但是,会遇到一个令人沮丧的打印输出:
epoch=0 NeuralNet.py:32: RuntimeWarning: invalid value encountered in subtract self.W = self.W - self.params.eta * dW 0 500 nan epoch=1 1 500 nan epoch=2 2 500 nan epoch=3 3 500 nan ......
减法怎么会出问题?什么是nan?
nan的意思是数值异常,导致计算溢出了,出现了没有意义的数值。现在是每500个迭代监控一次,我们把监控频率调小一些,再试试看:
epoch=0 0 10 6.838664338516814e+66 0 20 2.665505502247752e+123 0 30 1.4244204612680962e+179 0 40 1.393993758296751e+237 0 50 2.997958629609441e+290 NeuralNet.py:76: RuntimeWarning: overflow encountered in square LOSS = (Z - Y)**2 0 60 inf ... 0 110 inf NeuralNet.py:32: RuntimeWarning: invalid value encountered in subtract self.W = self.W - self.params.eta * dW 0 120 nan 0 130 nan
前10次迭代,损失函数值已经达到了6.83e+66,而且越往后运行值越大,最后终于溢出了。下面的损失函数历史记录也表明了这一过程。
图5-2 训练过程中损失函数值的变化
我们可以在NeuralNet.py文件中,在图5-3代码行上设置断点,跟踪一下训练过程,以便找到问题所在。
图5-3 在VisualStudio中Debug
在VS2017中用F5运行debug模式,看第50行的结果:
batch_x array([[ 4.96071728, 41. ]]) batch_y array([[244.07856544]])
返回的样本数据是正常的。再看下一行:
batch_z array([[0.]])
第一次运行前向计算,由于W和B初始值都是0,所以z也是0,这是正常的。再看下一行:
dW array([[ -1210.80475712], [-10007.22118309]]) dB array([[-244.07856544]])
dW和dB的值都非常大,这是因为图5-4所示这行代码。
图5-4 有问题的代码行
batch_z是0,batch_y是244.078,二者相减,是-244.078,因此dB就是-244.078,dW因为矩阵乘了batch_x,值就更大了。
再看W和B的更新值,一样很大:
self.W array([[ 121.08047571], [1000.72211831]]) self.B array([[24.40785654]])
如果W和B的值很大,那么再下一轮进行前向计算时,会得到更糟糕的结果:
batch_z array([[82459.53752331]])
果不其然,这次的z值飙升到了8万多,如此下去,几轮以后数值溢出是显而易见的事情了。
那么我们到底遇到了什么情况?
ch05, Level2