python – 烤宽面条/ Theano渐变值

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python – 烤宽面条/ Theano渐变值，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含839字，纯文字阅读大概需要2分钟。

内容图文

我目前正在研究使用Lasagne / Theano的复发神经网络.

在训练时,使用Theano的符号渐变计算更新.

grads = theano.grad(loss_or_grads, params)

虽然渐变表达式总的来说非常精细,但我也对渐变值感兴趣以便监控训练.

我现在的问题是,是否有一个内置的方法来获取渐变值,到目前为止我还没有找到,或者我是否必须自己做.

提前致谢

解决方法:

我不知道任何测试渐变的千层面功能,但您可以通过简单的theano功能自行获得.

假设我们有以下theano变量：

> inputs =网络输入
> targets =网络的目标输出
> loss =损失函数的值,定义为网络输出和目标的函数
> l_hid =网络的循环层,输入lasagne.layers.RecurrentLayer

假设我们对损失函数的梯度感兴趣w.r.t.经常性重量：

grad = theano.grad(loss, l_hid.W_hid_to_hid)

定义theano函数以获取渐变的数值

get_grad = theano.function([inputs, targets], grad)

现在,只需为输入和目标的任何值(例如当前的小批量)调用get_grad. get_grad()不需要传递权重值,因为它们存储为theano共享变量.

内容总结

以上是互联网集市为您收集整理的python – 烤宽面条/ Theano渐变值全部内容，希望文章能够帮你解决python – 烤宽面条/ Theano渐变值所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端