Batch Normalization 算法训练和推断过程
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了Batch Normalization 算法训练和推断过程，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2466字，纯文字阅读大概需要4分钟。
内容图文
Batch Normalization就是批归一化，在神经网络的layer未激活输出之前加一道Batch Normalization的工序，以下简称BN。关于BN的原理介绍，网上有很多资料，也可以参考这篇https://www.cnblogs.com/huwj/p/10759532.html，在这里仅仅列出BN的训练和推断过程。
一、BN的训练(train)过程
BN的训练过程和普通神经网络采用的方法没有什么不同，都是采用经典的BP（Back Propagation）算法进行训练，利用梯度下降算法，求解损失函数关于参数的梯度，迭代更新参数直到收敛。
（一）前向传播
过程如下图所示：
从图中可以看出，BN的前向传播过程分为三步骤：
1、求解输入向量每一维度特征的均值和方差；
2、对每一维度特征就行0均值，1方差进行归一化；
3、引入可学习参数γ和β，对归一化后的结果进行缩放(scale)和平移(shift)操作。
（二）反向传播
反向传播就是根据网络最终输出产生的损失loss，反向一步步求解关于参数Θ、γ和β的梯度，利用梯度下降法更新每一个参数，这里的Θ是指权重和偏置。关于参数求偏导的具体公式很复杂，这里不做推导。根据求导的链式法则，给出大概公式，如下图所示：
二、BN的推断(inference)过程
BN训练完成之后，模型的参数Θ、γ和β最终就固定下来，当来一个测试样本进行预测（推断）时，我们只需要带入固定的参数，根据BN前向传播的公式进行BN就可以了。但是要注意的是：在推断阶段，对均值和方差的求解不再和训练阶段时的求法一样。这里的均值和方差是根据训练过程中每一次batch得到的均值和方差求解得到的，即求每一个batch的均值和方差的期望的无偏估计。具体如下：
再结合训练好的参数γ和β，带入前向传播公式，可得：
但是，实际求解均值E[x]和方差Var[x]计算量较大，在实际软件框架实现中，采用滑动平均法(Moving Average)来近似求解E[x]和Var[x]。即在训练阶段，每更新一次参数，都顺便按照滑动平均法更新均值和方差，最终训练过程结束后得到的均值和方差就用来代替这里的E[x]和方差Var[x]。
滑动平均按照如下公式计算：shadow_variable（cur） = decay * shadow_variable（pre） + (1 - decay) * variable，decay是人为设定的衰减率参数，shadow_variable（cur）相当于当前轮次训练的参数更新，它等于上一轮次的参数更新*衰减率+当前轮次计算出的参数取值*（1-衰减率）。这里所说的参数就是均值和方差，当前计算出的参数取值就是当前伦次训练过程中计算出的batch的均值和方差。（具体什么是滑动平均，自行百度）
最后综合给出BN算法训练和推断的算法过程，如下图所示：
参考：
《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 》https://arxiv.org/pdf/1502.03167.pdf
内容总结
以上是互联网集市为您收集整理的Batch Normalization 算法训练和推断过程全部内容，希望文章能够帮你解决Batch Normalization 算法训练和推断过程所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。