TensorFlow学习笔记之--[tf.clip_by_global_norm,tf.clip_by_value,tf.clip_by_norm等的区别]
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了TensorFlow学习笔记之--[tf.clip_by_global_norm,tf.clip_by_value,tf.clip_by_norm等的区别]，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2053字，纯文字阅读大概需要3分钟。
内容图文
以下这些函数可以用于解决梯度消失或梯度爆炸问题上。
1. tf.clip_by_value
tf.clip_by_value(
t,
clip_value_min,
clip_value_max,
name=None
)
Returns:A clipped Tensor.
输入一个张量t，把t中的每一个元素的值都压缩在clip_value_min和clip_value_max之间。小于min的让它等于min，大于max的元素的值等于max。
例子：
import tensorflow as tf;
import numpy as np;
A = np.array([[1,1,2,4], [3,4,8,5]])
with tf.Session() as sess:
print sess.run(tf.clip_by_value(A, 2, 5))
>>>
[[2 2 2 4]
[3 4 5 5]]
2. tf.clip_by_norm
tf.clip_by_norm(
t,
clip_norm,
axes=None,
name=None
)
Returns:A clipped Tensor.
指对梯度进行裁剪，通过控制梯度的最大范式，防止梯度爆炸的问题，是一种比较常用的梯度规约的方式。
- t: 输入tensor，也可以是list
- clip_norm: 一个具体的数，如果\(l_2 \, norm(t)≤clip\_norm\)， 则t不变化；否则\(t=\frac{t*clip\_norm}{l_2norm(t)}\)
注意上面的t可以是list,所以最后做比较的时候是将t的二范式和clip_norm作比较。看下面的例子：
a = np.array([2.,5.])
b = tf.clip_by_norm(a, 5)
with tf.Session() as sess:
print(sess.run(tf.norm(a)))
print(sess.run(b))
>>>
5.3851647
[1.8569534 4.6423836]
3. tf.clip_by_average_norm
tf.clip_by_average_norm(
t,
clip_norm,
name=None
)
Returns:A clipped Tensor.
其实和tf.clip_by_norm类似，只不过把\(l_2\,norm(t)\)改成了\(l_2\,norm_avg(t)=\frac{1}{n} \, l_2\,norm(t)\),\(n\)表示t的元素个数。
例子
a = np.array([3, 4]).astype('float32')
e = tf.clip_by_average_norm(a, 1)
with tf.Session() as sess:
print(sess.run(e))
>>>
[1.2 1.6]
验证一下:\(\frac{3*1}{\frac{1}{2}\sqrt{3^2+4^2}}=\frac{3}{2.5}=1.2\)。
4. tf.clip_by_global_norm
tf.clip_by_global_norm(
t_list,
clip_norm,
use_norm=None,
name=None
)
Returns:
-
list_clipped: A list of Tensors of the same type as list_t. -
global_norm: A 0-D (scalar) Tensor representing the global norm.
注意这里的t_list是a tuple or list of tensors。
global_norm计算公式如下:
\[global\_norm=\sqrt{\sum_i^n{l_2\,norm(t[i])^2}} \]如果global_norm>clip_norm,则t_list中所有元素若如下计算:
\[t\_list[i]=\frac{t\_list[i]*clip\_norm}{max(global\_norm,clip\_norm)} \]如有意合作或学术讨论欢迎私戳联系~
邮箱:marsggbo@foxmail.com
2018-12-2
内容总结
以上是互联网集市为您收集整理的TensorFlow学习笔记之--[tf.clip_by_global_norm,tf.clip_by_value,tf.clip_by_norm等的区别]全部内容，希望文章能够帮你解决TensorFlow学习笔记之--[tf.clip_by_global_norm,tf.clip_by_value,tf.clip_by_norm等的区别]所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。