反向传播算法推导过程（非常详细）

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了反向传播算法推导过程（非常详细），小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1389字，纯文字阅读大概需要2分钟。

内容图文

原地址：https://zhuanlan.zhihu.com/p/79657669

1. 前向传播

假设  为  的矩阵（其中，  为样本个数（batch size），  为特征维数）:

 与  的维数为  为  的矩阵， 

 与  的维数为  为  的矩阵， 

 与  的维数为  为  的矩阵， 

前向算法：

假设输出为  维，则  为大小为  的矩阵，根据MSE或CE准则可以求得  ，对于回归问题与分类问题，  的求解方法如下：

• 对于回归问题，对out直接计算损失，损失函数为MSE。 损失： 

• 对于分类问题，out后接softmax进行分类，然后使用CE(cross entropy)计算loss.  一个样本对应的网络的输出  是一个概率分布，而这个样本的标注  一般为  ，也可以看做一个概率分布（硬分布）。cross entropy可以看成是  与  之间的KL距离：

• 假设  ，其中1为第  个元素(索引从0开始)，令  .

损失：  

KL距离（相对熵）：是Kullback-Leibler Divergence的简称，也叫相对熵(Relative Entropy).它衡量的是相同事件空间里的两个概率分布的差异情况。其物理意义是：在相同事件空间里，概率分布 P(x) 对应的每个事件，若用概率分布 Q(x) 编码时，平均每个基本事件(符号)编码长度增加了多少比特。我们用  表示KL距离，计算公式如下： ，当两个概率分布完全相同时，即 P(X)=Q(X) ,其相对熵为0.

2.反向传播

 ，为了便于详细说明反向传播算法，假设  为  的向量，  为  的向量： 

所以， 

1) 损失  对  的导数：

即， 

2) 损失对偏置b的导数等于将  的每一列加起来：

3) 损失  对  的导数：

即，

4) 损失  对  的导数：

•  为sigmoid时， 

•  为tanh时，  .

•  为relu时， 

3. 梯度更新

对于不同算法 ，梯度更新方式如下： 

内容总结

以上是互联网集市为您收集整理的反向传播算法推导过程（非常详细）全部内容，希望文章能够帮你解决反向传播算法推导过程（非常详细）所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---