神经网络BP算法推导

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了神经网络BP算法推导，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1602字，纯文字阅读大概需要3分钟。

内容图文

Cost Function

• \(L\)：表示神经网络的总层数。
• \(S_l\)：表示第\(l\)层的单元数（即神经元的数量），其中不包括第\(l\)层的偏置单元。
• \(K\)：输出层单元数目。
• \(\left( h_\Theta \left( x^{\left( i\right)} \right) \right)_k\)：表示输出神经网络输出向量中的第\(k\)个元素。

• 如果一个网络在第\(j\)层有\(S_j\)个单元，在\(j+1\)层有\(S_{j+1}\)个单元，那么矩阵\(\theta^{\left(j\right)}\)，即控制第\(j\)层到第\(j+1\)层映射的矩阵，他的维度是\(S_{j+1}\times(S_j+1)\).

• 神经网络代价函数（带正则化项）:
  \[ J(\theta)=\frac1m \sum_{i=1}^m \sum_{k=1}^K \left[ - y^{\left(i \right)}_k log \left( h_\Theta \left( x^{\left( i\right)} \right) \right)_k - \left( 1-y^{\left( i\right)}_k \right) log \left( 1- \left( h_\Theta \left( x^{\left( i\right)} \right) \right)_k \right) \right] + \frac {\lambda}{2m} \sum_{l=1}^{L-1} \sum_{i=1}^{S_l} \sum_{j=1}^{S_{l+1}} \left( \Theta_{ji}^ { \left( l \right) } \right)^2 \]
• 看起来复杂很多的代价函数背后的思想还是一样的，通过代价函数来观察算法预测的结果与真实情况的误差有多大。
• 唯一不同的是对于每一行特征，都会给出\(K\)个预测。在\(K\)个预测中选择可能性最高的一个，将其与\(y\)中的实际数据进行比较。

• 正则化的那一项是排除了每层的\(\theta_0\)后，每一层的\(\theta\)矩阵的和。最里面的循环\(j\)循环所有的行，由\(S_{l+1}\)层的激活单元数决定；循环\(i\)则循环所有的列，由\(S_l\)层的激活单元数决定。

Forward propagation

\(\theta^{\left(i\right)}\)：第\(i\)层的参数矩阵（即控制第\(i\)层到第\(i+1\)层映射的矩阵）
\(z^{\left(l\right)}\)：第\(l\)层的输入
\(a^{\left(l\right)}\)：第\(l\)层的输出

Backpropagation Algorithm

\(\delta^{\left(l\right)}\)：第\(l\)层的误差

内容总结

以上是互联网集市为您收集整理的神经网络BP算法推导全部内容，希望文章能够帮你解决神经网络BP算法推导所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---