神经网络——反向传播算法

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了神经网络——反向传播算法，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1669字，纯文字阅读大概需要3分钟。

内容图文

神经网络的损失函数为

\[J\left( \Theta  \right) =  - \frac{1}{m}\left[ {\sum\limits_{i = 1}^m {\sum\limits_{k = 1}^k {y_k^{\left( i \right)}\log {{\left( {{h_\Theta }\left( {{x^{\left( i \right)}}} \right)} \right)}_k} + \left( {1 - y_k^{\left( i \right)}} \right)\log \left( {1 - {{\left( {{h_\Theta }\left( {{x^{\left( i \right)}}} \right)} \right)}_k}} \right)} } } \right] + \frac{\lambda }{{2m}}\sum\limits_{l = 1}^{L - 1} {\sum\limits_{i = 1}^{{s_l}} {\sum\limits_{j = 1}^{{s_{l + 1}}} {{{\left( {\Theta _{ji}^{\left( l \right)}} \right)}^2}} } } \]

我们想要最小化J(Θ)

\[\underbrace {\min }_\Theta J\left( \Theta  \right)\]

需要计算

\[J\left( \Theta  \right)\]

\[\frac{\partial }{{\partial _{ij}^{\left( l \right)}}}J\left( \Theta  \right)\]

---

问题的关键是计算

\[\frac{\partial }{{\partial _{ij}^{\left( l \right)}}}J\left( \Theta  \right)\]

---

有如下神经网络（省略中间的连线）

以一个样本为例（x, y）

先计算向前传播

\[\begin{array}{l}
{a^{\left( 1 \right)}} = x\\
{z^{\left( 2 \right)}} = {\Theta ^{\left( 1 \right)}}{a^{\left( 1 \right)}}\\
{a^{\left( 2 \right)}} = g\left( {{z^{\left( 2 \right)}}} \right)\left( { + a_0^{\left( 2 \right)}} \right)\\
{z^{\left( 3 \right)}} = {\Theta ^{\left( 2 \right)}}{a^{\left( 2 \right)}}\\
{a^{\left( 3 \right)}} = g\left( {{z^{\left( 3 \right)}}} \right)\left( { + a_0^{\left( 3 \right)}} \right)\\
{z^{\left( 4 \right)}} = {\Theta ^{\left( 3 \right)}}{a^{\left( 3 \right)}}\\
{a^{\left( 3 \right)}} = {h_\Theta }\left( x \right) = g\left( {{z^{\left( 4 \right)}}} \right)
\end{array}\]

 反响传播算法

定义

\[\delta _j^{\left( l \right)} = “error” of node j in layer l.\]

\[\delta _j^{\left( l \right)} = 第 l 层的第 j 个节点的“错误”\]

内容总结

以上是互联网集市为您收集整理的神经网络——反向传播算法全部内容，希望文章能够帮你解决神经网络——反向传播算法所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---