深度学习-反向传播算法

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了深度学习-反向传播算法，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含4522字，纯文字阅读大概需要7分钟。

内容图文

以此网络为例进行反向传播分析

前向传播算法

从输入\(x\)经过第一层网络\(W_1\)有

\(W_1 = \begin{equation} \left( \begin{array}{ccc} w_{11} & w_{12} & w_{13} \\ w_{21} & w_{22} & w_{23} \\ w_{31} & w_{32} & w_{33} \\ b_{11} & b_{12} & b_{13} \\ \end{array} \right) \end{equation}\) , \(X_1=\begin{equation}\left( \begin{array}{ccc} i_1 \\ i_2 \\i_3 \\ 1 \end{array}\right)\end{equation}\), \(Z_1 = \begin{equation}\left(\begin{array}{ccc}z_1\\z_2\\z_3\end{array}\right)\end{equation}\)

该层进行前向传播有
\[ Z_1 = W_1^TX_1 \]
经过激活函数\(f(x)\)
\[ A = f(Z_1) = \begin{equation}\left(\begin{array}{ccc} a_1 \\ a_2 \\ a_3 \end{array} \right)\end{equation} \]
对于此时的第二层网络\(W_2\)，\(A\)相当于输入\(X_2\)

\(W_2 = \begin{equation} \left( \begin{array}{ccc} w_{41} & w_{42} & w_{43} \\ w_{51} & w_{52} & w_{53} \\ w_{61} & w_{62} & w_{63} \\ b_{21} & b_{22} & b_{23} \\ \end{array} \right) \end{equation}\)，\(X_2=\begin{equation}\left( \begin{array}{ccc} a_1 \\ a_2 \\ a_3 \\ 1 \end{array}\right)\end{equation}\), \(Z_2 = \begin{equation}\left(\begin{array}{ccc}z_4\\ z_5\end{array}\right)\end{equation}\)

通过传播得到该网络的输出
\[ O = \begin{equation}\left(\begin{array}{ccc}o_1\\ o_2\end{array}\right)\end{equation} = f(W^T_2X_2) \]

反向传播算法

利用损失函数$F_{loss}(Y, O) $计算出损失，进行参数更新

1. 第二层上的参数更新

首先是对于第二层网络上的参数\(w_{ij}\)（包括bias项的参数）
\[ F_loss(Y, O) =F_{loss}(Y, f(W_2^TX_2)) \]
有链式求导法则得到
\[ \frac{\partial\, F_{loss}}{w_{ij}} = \frac{\partial\, F_{loss}}{\partial \,f(W_2^TX_2)}\cdot \frac{\partial \,f(W_2^TX_2)}{\partial\, W_2^TX_2}\cdot \frac{\partial\,W_2^TX_2}{\partial\, w_{ij}} \]
该公式概括性过高，做一些详细的说明

\(w_{ij}\)表示从第\(i\)个节点到第\(j\)个节点的输出，对于损失函数\(F_{loss}\)实际上是\(F_{loss}(\overrightarrow{Y}, \overrightarrow{O})\)，矩阵函数的实质是计算相应位置的标量，如：
\[ f\begin{equation}\left(\begin{array}{ccc}x_{11} & x_{12} & \cdots & x_{1n} \\ x_{21} & x_{22} & \cdots & x_{2n} \\ \vdots & \vdots & \ddots & \vdots\\ x_{m1} & x_{m2} & \cdots & x_{mn} \\ \end{array} \right) = \left(\begin{array}{ccc}f(x_{11}) & f(x_{12}) & \cdots & f(x_{1n}) \\ f(x_{21}) & f(x_{22}) & \cdots & f(x_{2n}) \\ \vdots & \vdots & \ddots & \vdots\\ f(x_{m1}) & f(x_{m2}) & \cdots & f(x_{mn}) \\ \end{array}\right) \end{equation} \]

所以对于\(F_loss(Y, O)\)，只需要考虑$o_j $为上的元素进行求导
\[ \frac{\partial \,f_{loss}(y_j,o_j)}{\partial\, o_j} \]
由于\(o_j=f(z_{j})\)是一个标量，这里有
\[ \frac{\partial \,f(z_{j})}{\partial\, z_{j}} \]
\(z_j\)是\(W_2\)中第\(j\)列的转置和输入\(X\)的乘积，也就是一个关于\(w_{ij}\)的线性函数所以有
\[ \frac{\partial\, F_{loss}}{w_{ij}} = \frac{\partial \,f_{loss}(y_j,f(z_{j}))}{\partial\, f(z_{j})}\cdot \frac{\partial \,f(z_{j})}{\partial\, z_{j}}\cdot \frac{\partial \,z_{j}}{\partial\, w_{ij}} \]
利用此链式法则，求得对$w_{ij} $的偏导数，然后进行迭代更新即可。

2. 第一层上的参数更新

第一层上的参数传递的时候跨过了两层网络，所以较为复杂，先分析参数\(w_{ij}\)的正向传播中经过的路径（\(w_{13}\)为例）

因为该参数在传递的过程中经过了激活函数，所以产生了分路，按照整体的进行链式法则有
\[ \frac{\partial\, F_{loss}}{w_{ij}} = \frac{\partial\, F_{loss}}{\partial \,f(W_2^TX_2)}\cdot \frac{\partial \,f(W_2^TX_2)}{\partial\, W_2^TX_2}\cdot \frac{\partial\,W_2^TX_2}{\partial\, X_2}\cdot \frac{\partial\,X_2}{\partial\, Z_1}\cdot \frac{\partial\,Z_1}{\partial\, w_{ij}} \]
前三个的求导具体写为
\[ \frac{\partial \,f_{loss}(y_1,o_1)}{\partial\, o_1}\cdot \frac{\partial \,o_1}{\partial\, z_4}\cdot \frac{\partial \,z_4}{\partial\, a_3}+\frac{\partial \,f_{loss}(y_2,o_2)}{\partial\, o_2}\cdot \frac{\partial \,o_2}{\partial\, z_5}\cdot \frac{\partial \,z_5}{\partial\, a_3} \]
这样就算出了第二层两个分路上的导数，再把第一层的具体写为
\[ \frac{\partial \,a_3}{\partial\, z_3}\cdot \frac{\partial \,z_3}{\partial\, w_{ij}} \]
于是便得到
\[ \frac{\partial\, F_{loss}}{w_{ij}} =(\frac{\partial \,f_{loss}(y_1,o_1)}{\partial\, o_1}\cdot \frac{\partial \,o_1}{\partial\, z_4}\cdot \frac{\partial \,z_4}{\partial\, a_3}+\frac{\partial \,f_{loss}(y_2,o_2)}{\partial\, o_2}\cdot \frac{\partial \,o_2}{\partial\, z_5}\cdot \frac{\partial \,z_5}{\partial\, a_3})\cdot \frac{\partial \,a_3}{\partial\, z_3}\cdot \frac{\partial \,z_3}{\partial\, w_{ij}} \]
从上面的分析过程可以发现，所谓的反向传播算法，就是在许许多多的函数进行嵌套的一个大函数上进行梯度下降算法。由于神经网络中就是一个个的嵌套函数（全连接层进行线性函数拟合映射，激活函数扮演非线性映射），使得对于网络上的每一个参数都可以依靠链式法则进行求导，从而实现梯度下降。

内容总结

以上是互联网集市为您收集整理的深度学习-反向传播算法全部内容，希望文章能够帮你解决深度学习-反向传播算法所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---