首页 / 神经网络 / 008---递归神经网络-RNN

008---递归神经网络-RNN

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了008---递归神经网络-RNN，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含630字，纯文字阅读大概需要1分钟。

内容图文

常规神经网络：

常规的神经网络是各算各的，每个x之间都是独立的

技术分享图片

递归神经网络：

递归神经网络要干的一件事就是，在隐藏层中，x1利用了x0的w，x2利用了x1的w，x3利用x2的w。。。。。以此类推

技术分享图片

例如下面这个例子：

x0表示“我出生”

x1表示“在”

x2表示“中国”

xt表示“我说”

xt+1就会预测出“汉语”

技术分享图片

 

 

RNN网络细节：

技术分享图片

U和W都是参数矩阵，V是全连接矩阵。

RNN与CNN网络不通之处在于，CNN每个输入和输出都是独立的，RNN每个输入都要依赖上一个输入的输出。

所以RNN网路下一步需要前一步的有用的参数，RNN做自然语言处理很合适，

因为人类的语言上下文结合很重要。

 

 

RNN网络反向传播：

由于RNN网络的链接特性，每个输入参数的权重值更新都会更新上一个输入的参数，CNN是只会更新自身输入的参数。

技术分享图片

 

RNN网络的局限性

1，网络过于庞大

例如：

I am Chinese，.........I love China

如果省略号中间隔了500个词，那么最初的am这个词对于最后的China起的作用就不是很大了，

但是RNN会把最前面的am也作用于最后的China

技术分享图片

2，有可能发生梯度消失：

如果网络庞大，在参数更新时，链式法则梯度往前传的过程中，如果梯度很小的话，那么前面的梯度累乘后梯度就会越来越小，趋近于0

 

原文：https://www.cnblogs.com/Mjerry/p/9815559.html

内容总结

以上是互联网集市为您收集整理的008---递归神经网络-RNN全部内容，希望文章能够帮你解决008---递归神经网络-RNN所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1310933.html

来源：【匿名】