深度神经网络的初始化不应该只做一次

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了深度神经网络的初始化不应该只做一次，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含408字，纯文字阅读大概需要1分钟。

内容图文

深度神经网络的初始化不应该只做一次

读完彩票假设和超级掩模，结合一些强化学习和传统模拟退火算法的经验，有所感悟。

BP过程只是在不断加强初始化时靠运气碰到的那些好的结构/权重组合，而那些可以被掩模删掉的路径呢？如果持续，渐进的再随机初始化，是否能挖掘出新的黑马呢？

自由经济的实践中，这个假设是成立的，会有持续的新公司诞生，其中的部分是适应时代的，会壮大。

 

再次大胆猜测，给模型权重周期性的引入一些再随机将大大改善参数利用率，规律满足：

在超级掩模论文中所述会被保留的权重，其引入的随机扰动小。

在超级掩模论文中所述会被遮蔽的权重，其引入的随机扰动大。

这个随机量的大小之间是连续的，特性服从模拟退火算法，兼顾创新与传统。

 

预期参数效率可以再提高一个数量级。

 

争取抽时间验证一下。

 

原文：https://www.cnblogs.com/robird/p/11022402.html

内容总结

以上是互联网集市为您收集整理的深度神经网络的初始化不应该只做一次全部内容，希望文章能够帮你解决深度神经网络的初始化不应该只做一次所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---