首页 / 神经网络 / 深度神经网络可解释性方法汇总，附 Tensorflow 代码实现

深度神经网络可解释性方法汇总，附 Tensorflow 代码实现

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了深度神经网络可解释性方法汇总，附 Tensorflow 代码实现，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含7646字，纯文字阅读大概需要11分钟。

内容图文

深度神经网络可解释性方法汇总，附 Tensorflow 代码实现

知识库 ? 小白学CV ? 于 10个月前 ? 2076 阅读

理解神经网络：人们一直觉得深度学习可解释性较弱。然而，理解神经网络的研究一直也没有停止过，本文就来介绍几种神经网络的可解释性方法，并配有能够在Jupyter下运行的代码链接。

1.Activation Maximization

通过激活最化来解释深度神经网络的方法一共有两种，具体如下：

1.1 Activation Maximization (AM)

技术分享图片

1.2 Performing AM in Code Space

技术分享图片

2.Layer-wise Relevance Propagation

层方向的关联传播，一共有5种可解释方法。Sensitivity Analysis、Simple Taylor Decomposition、Layer-wise Relevance Propagation、Deep Taylor Decomposition、DeepLIFT。它们的处理方法是：先通过敏感性分析引入关联分数的概念，利用简单的Taylor Decomposition探索基本的关联分解，进而建立各种分层的关联传播方法。具体如下：

2.1 Sensitivity Analysis

技术分享图片

2.2 Simple Taylor Decomposition

技术分享图片

2.3 Layer-wise Relevance Propagation

https://nbviewer.jupyter.org/github/1202kbs/Understanding-NN/blob/master/2.3%20Layer-wise%20Relevance%20Propagation%20%282%29.ipynb

技术分享图片

2.4 Deep Taylor Decomposition

https://nbviewer.jupyter.org/github/1202kbs/Understanding-NN/blob/master/2.4%20Deep%20Taylor%20Decomposition%20%282%29.ipynb

技术分享图片

2.5 DeepLIFT

技术分享图片

3.Gradient Based Methods

基于梯度的方法有：反卷积、反向传播，引导反向传播，积分梯度和平滑梯度这几种。具体可以参考如下链接：

https://github.com/1202kbs/Understanding-NN/blob/master/models/grad.py

详细信息如下：

3.1 Deconvolution

技术分享图片

3.2 Backpropagation

技术分享图片

3.3 Guided Backpropagation

技术分享图片

3.4 Integrated Gradients

技术分享图片

3.5 SmoothGrad

技术分享图片

4.Class Activation Map

类激活映射的方法有3种，分别为：Class Activation Map、Grad-CAM、 Grad-CAM++。在MNIST上的代码可以参考：

https://github.com/deepmind/mnist-cluttered

每种方法的详细信息如下：

4.1 Class Activation Map

技术分享图片

4.2 Grad-CAM

技术分享图片

4.3 Grad-CAM++

技术分享图片

5.Quantifying Explanation Quality

虽然每一种解释技术都基于其自身的直觉或数学原理，但在更抽象的层次上确定好解释的特征并能够定量地测试这些特征也很重要。这里再推荐两种基于质量和评价的可解释性方法。具体如下：

5.1 Explanation Continuity

技术分享图片

5.2 Explanation Selectivity

技术分享图片

参考文献

Sections 1.1 ~ 2.2 and 5.1 ~ 5.2

[1] Montavon, G., Samek, W., Müller, K., jun 2017. Methods for Interpreting and Understanding Deep Neural Networks. arXiv preprint arXiv:1706.07979, 2017.

Section 1.3

[2] Nguyen, A., Dosovitskiy, A., Yosinski, J., Brox, T., Clune, J., 2016. Synthesizing the preferred inputs for neurons in neural networks via deep generator networks. In: Advances in Neural Information Processing Systems 29: Annual Conference on Neural Information Processing Systems 2016, December 5-10, 2016, Barcelona, Spain. pp. 3387-3395.

[3] A. Dosovitskiy and T. Brox. Generating images with perceptual similarity metrics based on deep networks. In NIPS, 2016.

Section 2.3

[4] Bach, S., Binder, A., Montavon, G., Klauschen, F., Müller, K.R., Samek, W., 07 2015. On pixel-wise explanations for non-linear classi er decisions by layer-wise relevance propagation. PLOS ONE 10 (7), 1-46.

Section 2.4

[5] Montavon, G., Lapuschkin, S., Binder, A., Samek, W., Müller, K.R., 2017. Explaining nonlinear classi cation decisions with deep Taylor decomposition. Pattern Recognition 65, 211-222.

Section 2.5

[6] Avanti Shrikumar, Peyton Greenside, and Anshul Kundaje. Learning Important Features Through Propagating Activation Differences. arXiv preprint arXiv:1704.02685, 2017.

Section 3.1

[7] Zeiler, M. D., Fergus, R., 2014. Visualizing and understanding convolutional networks. In: Computer Vision - ECCV 2014 - 13th European Conference, Zurich, Switzerland, September 6-12, 2014, Proceedings, Part I. pp. 818-833.

Section 3.2

[8] K. Simonyan, A. Vedaldi, and A. Zisserman. Deep inside convolutional networks: Visualising image classification models and saliency maps. In Workshop at International Conference on Learning Representations, 2014.

Section 3.3

[9] Jost Tobias Springenberg, Alexey Dosovitskiy, Thomas Brox, and Martin Riedmiller. Striving for simplicity: The all convolutional net. arXiv preprint arXiv:1412.6806, 2014.

Section 3.4

[10] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Axiomatic attribution for deep networks. arXiv preprint arXiv:1703.01365, 2017.

Section 3.5

[11] Daniel Smilkov, Nikhil Thorat, Been Kim, Fernanda Viégas, and Martin Wattenberg. SmoothGrad: removing noise by adding noise. arXiv preprint arXiv:1706.03825, 2017.

Section 4.1

[12] Bolei Zhou, Aditya Khosla, Agata Lapedriza, Aude Oliva, and Antonio Torralba. Learning deep features for discriminative localization. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 2921–2929, 2016.

Section 4.2

[13] R. R.Selvaraju, A. Das, R. Vedantam, M. Cogswell, D. Parikh, and D. Batra. Grad-cam: Why did you say that? visual explanations from deep networks via gradient-based localization. arXiv:1611.01646, 2016.

Section 4.3

[14] A. Chattopadhyay, A. Sarkar, P. Howlader, and V. N. Balasubramanian. Grad-cam++: Generalized gradient-based visual explanations for deep convolutional networks. CoRR, abs/1710.11063, 2017.

作者：代码医生
来源：相约机器人@微信公众号

技术分享图片
△ 关注极市平台
获得最新CV干货

本文章首发在极市计算机视觉技术社区

大白

成为第一个点赞的人吧

回复数量: 0

时间投票

暂无回复~

您需要登陆以后才能留下评论！登录注册

作者：小白学CV

硕士研究生 @ 哈工大

工业瑕疵检测

深圳

小白学CV 的其他话题

建议反馈？点此私信Admin！

极市CV社区是人工智能垂直领域计算机视觉技术的开发者社区，致力于为视觉算法开发者提供一个分享创造、结识伙伴、协同互助的平台。

统计信息

社区会员: 9573
话题数: 3038
评论数: 1956

其他信息

Scroll to top

原文：https://www.cnblogs.com/cx2016/p/13738899.html

内容总结

以上是互联网集市为您收集整理的深度神经网络可解释性方法汇总，附 Tensorflow 代码实现全部内容，希望文章能够帮你解决深度神经网络可解释性方法汇总，附 Tensorflow 代码实现所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1106004.html

来源：【匿名】

【上一篇】训练深度神经网络提示【下一篇】怎样用Python实现两层神经网络和感知器模型

更多 ►

【深度神经网络可解释性方法汇总，附 Tensorflow 代码实现】教程文章相关的互联网学习教程文章

吴裕雄 python 神经网络——TensorFlow 变量管理【代码】【图】

import tensorflow as tfwith tf.variable_scope("foo"):v = tf.get_variable("v", [1], initializer=tf.constant_initializer(1.0))#with tf.variable_scope("foo"):# v = tf.get_variable("v", [1]) with tf.variable_scope("foo", reuse=True):v1 = tf.get_variable("v", [1]) print(v == v1)#with tf.variable_scope("bar", reuse=True):# v = tf.get_variable("v", [1])with tf.variable_scope("root"):print(tf.get_vari...

TensorFlow2.0入门学习笔记(10)——使用keras搭建神经网络(Mnist,Fashion)【代码】【图】

前面已经使用TensorFlow2的原生代码搭建神经网络，接下来将使用keras搭建神经网络，并改写鸢尾花分类问题的代码，将原本100多行的代码用不到20行代码实现。用TensorFlow API：tf.keras搭建网络使用Sequential六步法：import，相关模块train, test，指定训练集的输入特征，和训练集的标签model = tf.keras.models.Sequential，搭建网络结构,（顺序神经网络）model.compile，配置训练方法model.fit，执行训练model.summary，打印出网...

前馈神经网络练习：使用tensorflow进行葡萄酒种类识别【代码】【图】

数据处理样本数据描述样本数据集是double类型的178 * 14矩阵，第一列表示酒所属类别，后面13列分别表示当前样本的13个属性：1) Alcohol2) Malic acid3) Ash4) Alcalinity of ash 5) Magnesium6) Total phenols7) Flavanoids8) Nonflavanoid phenols9) Proanthocyanins10) Color intensity11) Hue12) OD280/OD315 of diluted wines13) Proline数据预处理将文件内容读入矩阵，由于标签有三类，分别是1、2、3，于是进行二进制化。由于...

tensorflow1.0 构建卷积神经网络【代码】

import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data import os os.environ["CUDA_DEVICE_ORDER"] = "0,1"mnist = input_data.read_data_sets("MNIST_data",one_hot=True)def compute_accuracy(v_xs,v_ys):global predictiony_pre = sess.run(prediction,feed_dict ={xs:v_xs,keep_prob:1})correct_predicton = tf.equal(tf.argmax(y_pre,1),tf.argmax(v_ys,1))accuracy = tf.reduce_mean(tf.cas...

Python之TensorFlow的卷积神经网络-5【代码】【图】

一、卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一 [1-2] 。卷积神经网络具有表征学习（representation learning）能力，能够按其阶层结构对输入信息进行平移不变分类（shift-invariant classification），因此也被称为“平移不变人工神经网络（Shift-Invariant Artificial Neural Networks, S...

深度神经网络可解释性方法汇总，附 Tensorflow 代码实现【图】

深度神经网络可解释性方法汇总，附 Tensorflow 代码实现知识库 ? 小白学CV ? 于 10个月前 ? 2076 阅读理解神经网络：人们一直觉得深度学习可解释性较弱。然而，理解神经网络的研究一直也没有停止过，本文就来介绍几种神经网络的可解释性方法，并配有能够在Jupyter下运行的代码链接。 1.Activation Maximization通过激活最化来解释深度神经网络的方法一共有两种，具体如下：1.1 Activation Maximization (AM)相关代码如下：https:...

tensorflow神经网络拟合非线性函数【代码】【图】

本实验通过建立一个含有两个隐含层的BP神经网络，拟合具有二次函数非线性关系的方程，并通过可视化展现学习到的拟合曲线，同时随机给定输入值，输出预测值，最后给出一些关键的提示。源代码如下：# -*- coding: utf-8 -*-import tensorflow as tf import numpy as np import matplotlib.pyplot as pltplotdata = { "batchsize":[], "loss":[] } def moving_average(a, w=11):if len(a) < w: return a[:] return [val if idx < w...

tensorflow 神经网络模型概览；熟悉Eager 模式；【图】

典型神经网络模型：（图片来源：https://github.com/madalinabuzau/tensorflow-eager-tutorials）保持更新，更多内容请关注 cnblogs.com/xuyaowen;原文：https://www.cnblogs.com/xuyaowen/p/tensorflow-nn-Eager.html

tensorflow学习之（七）使用tensorboard 展示神经网络的graph/histogram/scalar【代码】【图】

# 创建神经网络，使用tensorboard 展示graph/histogram/scalarimport tensorflow as tf import numpy as np import matplotlib.pyplot as plt # 若没有 pip install matplotlib# 定义一个神经层def add_layer(inputs, in_size, out_size,n_layer, activation_function=None):#add one more layer and return the output of this layerlayer_name="layer%s"%n_layerwith tf.name_scope(layer_name):with tf.name_scope(‘Weights‘...

跟我学算法- tensorflow 卷积神经网络训练验证码【代码】

使用captcha.image.Image 生成随机验证码，随机生成的验证码为0到9的数字，验证码有4位数字组成,这是一个自己生成验证码，自己不断训练的模型使用三层卷积层，三层池化层，二层全连接层来进行组合第一步：定义生成随机验证码图片number = [‘0‘,‘1‘,‘2‘,‘3‘,‘4‘,‘5‘,‘6‘,‘7‘,‘8‘,‘9‘] # alphabet = [‘a‘,‘b‘,‘c‘,‘d‘,‘e‘,‘f‘,‘g‘,‘h‘,‘i‘,‘j‘,‘k‘,‘l‘,‘m‘,‘n‘,‘o‘,‘p‘,‘q‘,‘...

吴裕雄 python 神经网络——TensorFlow实现AlexNet模型处理手写数字识别MNIST数据集【代码】【图】

import tensorflow as tf# 输入数据from tensorflow.examples.tutorials.mnist import input_datamnist = input_data.read_data_sets("E:\\MNIST_data", one_hot=True)# 定义网络的超参数 learning_rate = 0.001 training_iters = 200000 batch_size = 128 display_step = 5# 定义网络的参数 # 输入的维度 (img shape: 28*28) n_input = 784 # 标记的维度 (0-9 digits) n_classes = 10 # Dropout的概率，输出的可能性 dropout = ...

基于TensorFlow框架实现人工神经网络完成手写数字识别任务【多测师】【代码】【图】

使用人工神经网络完成手写数字识别任务。具体要求如下：（1）batch_size和step_num自定义，把loss值打印出来。（2）神经网络的层数、节点数目、激活函数自定义。（记录心得）（3）使用tensorboard把计算图显示出来。一、初始数据如下：batch_size=64lr = 0.01 #学习率step_num = 6000 #计算6000次计算的神经元层数是3层使用的是随机梯度下降算法 tf.train.GradientDescentOptimizer()计算出来的准确度为：0.717 二、参数调优过程...

吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow：使用自动编解码网络实现黑白图片上色【代码】【图】

加载cifar10图片集并准备将图片进行灰度化 from keras.datasets import cifar10def rgb2gray(rgb):#把彩色图转化为灰度图，如果当前像素点为[r,g,b],那么对应的灰度点为0.299*r+0.587*g+0.114*breturn np.dot(rgb[...,:3], [0.299, 0.587, 0.114])(x_train, _),(x_test, _) = cifar10.load_data()img_rows = x_train.shape[1] img_cols = x_train.shape[2] channels = x_train.shape[3]#将100张彩色原图集合在一起显示 imgs = x_t...

吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow：RNN-具有记忆功能的神经网络【代码】【图】

from keras.layers import SimpleRNN model = Sequential() model.add(embedding_layer) model.add(SimpleRNN(32)) #当结果是输出多个分类的概率时，用softmax激活函数,它将为30个分类提供不同的可能性概率值 model.add(layers.Dense(len(int_category), activation=softmax))#对于输出多个分类结果，最好的损失函数是categorical_crossentropy model.compile(optimizer=rmsprop, loss=categorical_crossentropy, metrics=[accurac...

吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow：LSTM网络层详解及其应用【代码】【图】

from keras.layers import LSTM model = Sequential() model.add(embedding_layer) model.add(LSTM(32)) #当结果是输出多个分类的概率时，用softmax激活函数,它将为30个分类提供不同的可能性概率值 model.add(layers.Dense(len(int_category), activation=softmax))#对于输出多个分类结果，最好的损失函数是categorical_crossentropy model.compile(optimizer=rmsprop, loss=categorical_crossentropy, metrics=[accuracy]) histor...

首页 / 神经网络 / 深度神经网络可解释性方法汇总，附 Tensorflow 代码实现

深度神经网络可解释性方法汇总，附 Tensorflow 代码实现

内容导读

内容图文

深度神经网络可解释性方法汇总，附 Tensorflow 代码实现

1.Activation Maximization

2.Layer-wise Relevance Propagation

3.Gradient Based Methods

4.Class Activation Map

5.Quantifying Explanation Quality

参考文献

作者：小白学CV

小白学CV 的其他话题

相关网站

统计信息

其他信息

内容总结

内容备注

内容手机端

【深度神经网络可解释性方法汇总，附 Tensorflow 代码实现】教程文章相关的互联网学习教程文章

吴裕雄 python 神经网络——TensorFlow 变量管理【代码】【图】

TensorFlow2.0入门学习笔记(10)——使用keras搭建神经网络(Mnist,Fashion)【代码】【图】

前馈神经网络练习：使用tensorflow进行葡萄酒种类识别【代码】【图】

tensorflow1.0 构建卷积神经网络【代码】

Python之TensorFlow的卷积神经网络-5【代码】【图】

深度神经网络可解释性方法汇总，附 Tensorflow 代码实现【图】

tensorflow神经网络拟合非线性函数【代码】【图】

tensorflow 神经网络模型概览；熟悉Eager 模式；【图】

tensorflow学习之（七）使用tensorboard 展示神经网络的graph/histogram/scalar【代码】【图】

跟我学算法- tensorflow 卷积神经网络训练验证码【代码】

吴裕雄 python 神经网络——TensorFlow实现AlexNet模型处理手写数字识别MNIST数据集【代码】【图】

基于TensorFlow框架实现人工神经网络完成手写数字识别任务【多测师】【代码】【图】

吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow：使用自动编解码网络实现黑白图片上色【代码】【图】

吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow：RNN-具有记忆功能的神经网络【代码】【图】

吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow：LSTM网络层详解及其应用【代码】【图】

TENSORFLOW - 相关标签

方法 - 相关标签

神经网络 - 最新教程

神经网络 - 最热教程