[深度学习]受限玻尔兹曼机生成手写数字训练样本分析
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了[深度学习]受限玻尔兹曼机生成手写数字训练样本分析，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2734字，纯文字阅读大概需要4分钟。
内容图文
基于能量的模型(EBM)
有隐层单元的EBM
受限玻尔兹曼机(RBM)
实现
基于能量的模型将每一个我们感兴趣的变量构造联系到一个标量能量上. 学习就是修改能量方程从而使得它的外形有我们需要的特点. 举例来说, 我们希望的是: 期望构造的能量低. 基于能量的概率性模型定义了一个概率分布, 它是由能量方程决定的:
归一化因子Z被称为配分函数, 类比于物理系统.
基于能量的模型可以通过SGD(随机梯度下降)算法基于数据的负值对数相似性(NLL)学习得到. 对于对数回归我们首先定义了对数相似性, 之后是损耗函数, 即 负值对数相似性(NLL).
使用随机梯度下降
有隐层单元的EBM
在许多实例中, 我们并不能观测到样本x的所有特征, 或者我们想要引入一些并非观测得到的变量来增加模型的区分度. 因此我们定义一个观察项x和一个隐藏项h.
这种情况下, 为了将此式映射到近似等式(1)上, 我们引入自由能量的记号(取自物理), 如下定义:
从而(2)式可以改写为
从而数据的负值对数相似性(NLL)梯度有一个特别有趣的形式:
[第一项为分子偏导, 第二项为分母偏导, 注意d exp(-F(x))/ d
注意到上述梯度包含了两部分, 分别是正向和负向分量.
这两部分并不和它们在等式中的符号对应, 但是反映了它们对于概率密度的影响.
第一部分增加了训练数据的概率(通过减少对应的自由能量), 第二部分则降低了模型产生的样本概率.
通常很难从分析这些梯度, 因为它涉及了计算
解决这个问题的第一步就是使用一个固定数量的模型样本来估计期望. 用于估计负向分量梯度的样本被称为负粒子, 使用
理论上我们希望
受限玻尔兹曼机(RBM)
玻尔兹曼机(BMs)是对数线性马尔科夫随机域的一种特殊形式, 它的能量函数对于自由参数是线性的. 为了能够使得它们能够表达复杂的分布(比如从受限变参设置到一个非变参的情况), 我们假设某些变量从未被观察到(隐藏的). 通过构造更多的隐含变量(隐含单元), 我们可以增加BM模型的容量. 受限BM进一步限制了BM, 它没有可见-可见和隐藏-隐藏的连接. RBM的图示如下:
能量方程E(v, h)定义为:
其中W代表连接隐藏和可见单元的权重, b,c则是可见和隐藏层的偏置.
从而可以得到下面的自由能量公式:
因为RBM的特殊结构, 可见和隐藏单元是相互独立的, 使用这个特性我们得到:
二进制单元的RBM
使用二进制单元的一般情况下(
RBM的自由能量则简化为:
使用二进制单元更新等式
结合等式(5)和(9), 我们可以得到下列二进制单元RBM的对数相似性梯度:
我们在Theano中使用T.grad对式(4)进行处理得到此式而不是直接使用.
RBM的采样
p(x)的采样可以通过运行一个马尔科夫链来收敛得到, 使用Gibbs采样作为过渡操作.
- N个随机变量的Gibbs采样
对于RBM, S由可见和隐藏神经元集合组成, 但是因为它们是条件独立的, 所以可以进行Gibbs块采样(block Gibbs sample). 在这种条件下, 可见神经元在隐藏神经元值给定同时进行采样. 相似的, 隐藏神经元也在可见神经元值给定同时进行采样. 马尔科夫链中的一步(step)操作如下:神经
其中
当
理论上, 学习过程中每次更新参数都要求运行一次这个链直到收敛. 毫无疑问这样做成本太高. 因此, 很多算法设计出来, 用于有效地在学习过程中对p(v,h)进行采样.
对比差异算法(contrastive divergence, CD-k)
CD算法使用2个技巧来加速采样过程:
- 因为最终希望
- CD并不等待链收敛, 采样点集在第k步Gibbs采样结束后就获得了. 实际应用中, k = 1效果已经非常好.
持续CD(PCD)
持续CD使用了另一种p(v,h)采样的估计. 它依赖于一个单一马尔科夫链, 该链有一个不变的状态(即并不对于每一个观测样本都重启该链). 对于每一次参数更新, 我们通过简单的运行链k步来提取新的样本. 链的状态被保存, 用于之后的更新.
基本思想是如果参数变化相对链的混合状态足够小, 马尔科夫链就能够"跟上"模型的变化.
实现
我们构造了RBM类. 网络的参数可以通过构造器或者是输入参数初始化.
这样RBM可以用作构造一个深度网络, 在这种情况下, 权值矩阵和隐层偏置是和一个MLP网络的sigmoidal层共享的.
- 写好构造函数, 对一些参数的默认值进行设置, 并完成一系列的初始化
- 权值初始化成均匀分布
- 偏置初始化成0
- 定义与(7)(8)两式相关的符号图.
- propup()/propdown()
- 给定V/H层状态, 返回V/H层[激励函数, 均值/概率]
- 这两个方法供给下面的两个方法调用
- sample_h_given_v()/sample_v_given_h()
- 给定V/H层神经元状态, 返回H/V层[激励函数, 概率/均值, 采样点]
- 我们可以使用这4个函数来定义Gibbs采样的一个符号图.
- gibbs_vhv定义了从可见神经元开始的一步Gibbs采样, 这在RBM采样中非常有用
- gibbs_hvh则相反, 这在CD和PCD更新中将会很有用
- 返回V,H/H,V层[激励函数, 均值, 采样点]
原文：http://www.cnblogs.com/lancelod/p/3863053.html
内容总结
以上是互联网集市为您收集整理的[深度学习]受限玻尔兹曼机生成手写数字训练样本分析全部内容，希望文章能够帮你解决[深度学习]受限玻尔兹曼机生成手写数字训练样本分析所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。
来源：【匿名】