首页 / TENSORFLOW / tensorflow1.0学习之模型的保存与恢复(Saver)_python

tensorflow1.0学习之模型的保存与恢复(Saver)_python

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了tensorflow1.0学习之模型的保存与恢复(Saver)_python，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含7391字，纯文字阅读大概需要11分钟。

内容图文

这篇文章主要介绍了tensorflow1.0学习之模型的保存与恢复(Saver) ，现在分享给大家，也给大家做个参考。一起过来看看吧

将训练好的模型参数保存起来，以便以后进行验证或测试，这是我们经常要做的事情。tf里面提供模型保存的是tf.train.Saver()模块。

模型保存，先要创建一个Saver对象：如

saver=tf.train.Saver()

在创建这个Saver对象的时候，有一个参数我们经常会用到，就是 max_to_keep 参数，这个是用来设置保存模型的个数，默认为5，即 max_to_keep=5，保存最近的5个模型。如果你想每训练一代（epoch)就想保存一次模型，则可以将 max_to_keep设置为None或者0，如：

saver=tf.train.Saver(max_to_keep=0)

但是这样做除了多占用硬盘，并没有实际多大的用处，因此不推荐。

当然，如果你只想保存最后一代的模型，则只需要将max_to_keep设置为1即可，即

saver=tf.train.Saver(max_to_keep=1)

创建完saver对象后，就可以保存训练好的模型了，如：

saver.save(sess,'ckpt/mnist.ckpt',global_step=step)

第一个参数sess,这个就不用说了。第二个参数设定保存的路径和名字，第三个参数将训练的次数作为后缀加入到模型名字中。

saver.save(sess, 'my-model', global_step=0) ==> filename: 'my-model-0'
...
saver.save(sess, 'my-model', global_step=1000) ==> filename: 'my-model-1000'

看一个mnist实例：

# -*- coding: utf-8 -*-
"""
Created on Sun Jun 4 10:29:48 2017

@author: Administrator
"""
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("MNIST_data/", one_hot=False)

x = tf.placeholder(tf.float32, [None, 784])
y_=tf.placeholder(tf.int32,[None,])

dense1 = tf.layers.dense(inputs=x, 
           units=1024, 
           activation=tf.nn.relu,
           kernel_initializer=tf.truncated_normal_initializer(stddev=0.01),
           kernel_regularizer=tf.nn.l2_loss)
dense2= tf.layers.dense(inputs=dense1, 
           units=512, 
           activation=tf.nn.relu,
           kernel_initializer=tf.truncated_normal_initializer(stddev=0.01),
           kernel_regularizer=tf.nn.l2_loss)
logits= tf.layers.dense(inputs=dense2, 
            units=10, 
            activation=None,
            kernel_initializer=tf.truncated_normal_initializer(stddev=0.01),
            kernel_regularizer=tf.nn.l2_loss)

loss=tf.losses.sparse_softmax_cross_entropy(labels=y_,logits=logits)
train_op=tf.train.AdamOptimizer(learning_rate=0.001).minimize(loss)
correct_prediction = tf.equal(tf.cast(tf.argmax(logits,1),tf.int32), y_)  
acc= tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

sess=tf.InteractiveSession() 
sess.run(tf.global_variables_initializer())

saver=tf.train.Saver(max_to_keep=1)
for i in range(100):
 batch_xs, batch_ys = mnist.train.next_batch(100)
 sess.run(train_op, feed_dict={x: batch_xs, y_: batch_ys})
 val_loss,val_acc=sess.run([loss,acc], feed_dict={x: mnist.test.images, y_: mnist.test.labels})
 print('epoch:%d, val_loss:%f, val_acc:%f'%(i,val_loss,val_acc))
 saver.save(sess,'ckpt/mnist.ckpt',global_step=i+1)
sess.close()

代码中红色部分就是保存模型的代码，虽然我在每训练完一代的时候，都进行了保存，但后一次保存的模型会覆盖前一次的，最终只会保存最后一次。因此我们可以节省时间，将保存代码放到循环之外（仅适用max_to_keep=1,否则还是需要放在循环内).

在实验中，最后一代可能并不是验证精度最高的一代，因此我们并不想默认保存最后一代，而是想保存验证精度最高的一代，则加个中间变量和判断语句就可以了。

saver=tf.train.Saver(max_to_keep=1)
max_acc=0
for i in range(100):
 batch_xs, batch_ys = mnist.train.next_batch(100)
 sess.run(train_op, feed_dict={x: batch_xs, y_: batch_ys})
 val_loss,val_acc=sess.run([loss,acc], feed_dict={x: mnist.test.images, y_: mnist.test.labels})
 print('epoch:%d, val_loss:%f, val_acc:%f'%(i,val_loss,val_acc))
 if val_acc>max_acc:
   max_acc=val_acc
   saver.save(sess,'ckpt/mnist.ckpt',global_step=i+1)
sess.close()

如果我们想保存验证精度最高的三代，且把每次的验证精度也随之保存下来，则我们可以生成一个txt文件用于保存。

saver=tf.train.Saver(max_to_keep=3)
max_acc=0
f=open('ckpt/acc.txt','w')
for i in range(100):
 batch_xs, batch_ys = mnist.train.next_batch(100)
 sess.run(train_op, feed_dict={x: batch_xs, y_: batch_ys})
 val_loss,val_acc=sess.run([loss,acc], feed_dict={x: mnist.test.images, y_: mnist.test.labels})
 print('epoch:%d, val_loss:%f, val_acc:%f'%(i,val_loss,val_acc))
 f.write(str(i+1)+', val_acc: '+str(val_acc)+'\n')
 if val_acc>max_acc:
   max_acc=val_acc
   saver.save(sess,'ckpt/mnist.ckpt',global_step=i+1)
f.close()
sess.close()

模型的恢复用的是restore()函数，它需要两个参数restore(sess, save_path)，save_path指的是保存的模型路径。我们可以使用tf.train.latest_checkpoint（）来自动获取最后一次保存的模型。如：

model_file=tf.train.latest_checkpoint('ckpt/')
saver.restore(sess,model_file)

则程序后半段代码我们可以改为：

sess=tf.InteractiveSession() 
sess.run(tf.global_variables_initializer())
is_train=False
saver=tf.train.Saver(max_to_keep=3)

#训练阶段
if is_train:
  max_acc=0
  f=open('ckpt/acc.txt','w')
  for i in range(100):
   batch_xs, batch_ys = mnist.train.next_batch(100)
   sess.run(train_op, feed_dict={x: batch_xs, y_: batch_ys})
   val_loss,val_acc=sess.run([loss,acc], feed_dict={x: mnist.test.images, y_: mnist.test.labels})
   print('epoch:%d, val_loss:%f, val_acc:%f'%(i,val_loss,val_acc))
   f.write(str(i+1)+', val_acc: '+str(val_acc)+'\n')
   if val_acc>max_acc:
     max_acc=val_acc
     saver.save(sess,'ckpt/mnist.ckpt',global_step=i+1)
  f.close()

#验证阶段
else:
  model_file=tf.train.latest_checkpoint('ckpt/')
  saver.restore(sess,model_file)
  val_loss,val_acc=sess.run([loss,acc], feed_dict={x: mnist.test.images, y_: mnist.test.labels})
  print('val_loss:%f, val_acc:%f'%(val_loss,val_acc))
sess.close()

标红的地方，就是与保存、恢复模型相关的代码。用一个bool型变量is_train来控制训练和验证两个阶段。

整个源程序：

# -*- coding: utf-8 -*-
"""
Created on Sun Jun 4 10:29:48 2017

@author: Administrator
"""
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("MNIST_data/", one_hot=False)

x = tf.placeholder(tf.float32, [None, 784])
y_=tf.placeholder(tf.int32,[None,])

dense1 = tf.layers.dense(inputs=x, 
           units=1024, 
           activation=tf.nn.relu,
           kernel_initializer=tf.truncated_normal_initializer(stddev=0.01),
           kernel_regularizer=tf.nn.l2_loss)
dense2= tf.layers.dense(inputs=dense1, 
           units=512, 
           activation=tf.nn.relu,
           kernel_initializer=tf.truncated_normal_initializer(stddev=0.01),
           kernel_regularizer=tf.nn.l2_loss)
logits= tf.layers.dense(inputs=dense2, 
            units=10, 
            activation=None,
            kernel_initializer=tf.truncated_normal_initializer(stddev=0.01),
            kernel_regularizer=tf.nn.l2_loss)

loss=tf.losses.sparse_softmax_cross_entropy(labels=y_,logits=logits)
train_op=tf.train.AdamOptimizer(learning_rate=0.001).minimize(loss)
correct_prediction = tf.equal(tf.cast(tf.argmax(logits,1),tf.int32), y_)  
acc= tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

sess=tf.InteractiveSession() 
sess.run(tf.global_variables_initializer())

is_train=True
saver=tf.train.Saver(max_to_keep=3)

#训练阶段
if is_train:
  max_acc=0
  f=open('ckpt/acc.txt','w')
  for i in range(100):
   batch_xs, batch_ys = mnist.train.next_batch(100)
   sess.run(train_op, feed_dict={x: batch_xs, y_: batch_ys})
   val_loss,val_acc=sess.run([loss,acc], feed_dict={x: mnist.test.images, y_: mnist.test.labels})
   print('epoch:%d, val_loss:%f, val_acc:%f'%(i,val_loss,val_acc))
   f.write(str(i+1)+', val_acc: '+str(val_acc)+'\n')
   if val_acc>max_acc:
     max_acc=val_acc
     saver.save(sess,'ckpt/mnist.ckpt',global_step=i+1)
  f.close()

#验证阶段
else:
  model_file=tf.train.latest_checkpoint('ckpt/')
  saver.restore(sess,model_file)
  val_loss,val_acc=sess.run([loss,acc], feed_dict={x: mnist.test.images, y_: mnist.test.labels})
  print('val_loss:%f, val_acc:%f'%(val_loss,val_acc))
sess.close()

内容总结

以上是互联网集市为您收集整理的tensorflow1.0学习之模型的保存与恢复(Saver)_python全部内容，希望文章能够帮你解决tensorflow1.0学习之模型的保存与恢复(Saver)_python所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/429340.html

来源：【匿名】

【上一篇】tensorflow使用flags定义命令行参数的方法【下一篇】详解tensorflow载入数据的三种方式

更多 ►

【tensorflow1.0学习之模型的保存与恢复(Saver)_python】教程文章相关的互联网学习教程文章

tensorflow教程：变量创建、初始化、保存和加载【代码】

变量保存到文件import tensorflow as tf import numpy as np # Create two variables. x_data = np.float32([1,2,3,4,5,6,7,8,9,0]) weights = tf.Variable(tf.random_normal([10, 1], stddev=0.35), name="weights") biases = tf.Variable(tf.zeros([1]), name="biases") y = tf.matmul(x_data.reshape((1,-1)), weights)+biases # Add an op to initialize the variables. init_op = tf.global_variables_initializer() saver = ...

吴裕雄 python 神经网络——TensorFlow pb文件保存方法【代码】【图】

import tensorflow as tf from tensorflow.python.framework import graph_utilv1 = tf.Variable(tf.constant(1.0, shape=[1]), name = "v1") v2 = tf.Variable(tf.constant(2.0, shape=[1]), name = "v2") result = v1 + v2init_op = tf.global_variables_initializer() with tf.Session() as sess:sess.run(init_op)graph_def = tf.get_default_graph().as_graph_def()output_graph_def = graph_util.convert_variables_to_const...

吴裕雄 python 神经网络——TensorFlow ckpt文件保存方法【代码】【图】

import tensorflow as tfv1 = tf.Variable(tf.random_normal([1], stddev=1, seed=1)) v2 = tf.Variable(tf.random_normal([1], stddev=1, seed=1)) result = v1 + v2init_op = tf.global_variables_initializer() saver = tf.train.Saver()with tf.Session() as sess:sess.run(init_op)saver.save(sess, "E:\\Saved_model\\model.ckpt")with tf.Session() as sess:saver.restore(sess, "E:\\Saved_model\\model.ckpt")print(sess....

python学习教程：tensorflow实现训练变量checkpoint的保存与读取【代码】【图】

@本文来源于公众号：csdn2299，喜欢可以关注公众号程序员学府今天小编就为大家分享一篇tensorflow实现训练变量checkpoint的保存与读取，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧 1.保存变量先创建（在tf.Session()之前）saver saver = tf.train.Saver(tf.global_variables(),max_to_keep=1) #max_to_keep这个保证只保存最后一次training的训练数据然后在训练的循环里面 checkpoint_path = os.path.joi...

浅谈Tensorflow模型的保存与恢复加载

本篇文章主要介绍了浅谈Tensorflow模型的保存与恢复加载，现在分享给大家，也给大家做个参考。一起过来看看吧近期做了一些反垃圾的工作，除了使用常用的规则匹配过滤等手段，也采用了一些机器学习方法进行分类预测。我们使用TensorFlow进行模型的训练，训练好的模型需要保存，预测阶段我们需要将模型进行加载还原使用，这就涉及TensorFlow模型的保存与恢复加载。总结一下Tensorflow常用的模型保存方式。保存checkpoint模型文件（.c...

TensorFlow入门使用tf.train.Saver()保存模型

这篇文章主要介绍了TensorFlow入门使用 tf.train.Saver()保存模型，现在分享给大家，也给大家做个参考。一起过来看看吧关于模型保存的一点心得saver = tf.train.Saver(max_to_keep=3)在定义 saver 的时候一般会定义最多保存模型的数量，一般来说，如果模型本身很大，我们需要考虑到硬盘大小。如果你需要在当前训练好的模型的基础上进行 fine-tune，那么尽可能多的保存模型，后继 fine-tune 不一定从最好的 ckpt 进行，因为有可能一...

tensorflow1.0学习之模型的保存与恢复(Saver)_python

这篇文章主要介绍了tensorflow1.0学习之模型的保存与恢复(Saver) ，现在分享给大家，也给大家做个参考。一起过来看看吧将训练好的模型参数保存起来，以便以后进行验证或测试，这是我们经常要做的事情。tf里面提供模型保存的是tf.train.Saver()模块。模型保存，先要创建一个Saver对象：如saver=tf.train.Saver()在创建这个Saver对象的时候，有一个参数我们经常会用到，就是 max_to_keep 参数，这个是用来设置保存模型的个数，默认为...

TensorFlow模型保存和提取方法示例【图】

本篇文章主要介绍了TensorFlow模型保存和提取方法示例，现在分享给大家，也给大家做个参考。一起过来看看吧一、TensorFlow模型保存和提取方法1. TensorFlow通过tf.train.Saver类实现神经网络模型的保存和提取。tf.train.Saver对象saver的save方法将TensorFlow模型保存到指定路径中，saver.save(sess,"Model/model.ckpt")，实际在这个文件目录下会生成4个人文件：checkpoint文件保存了一个录下多有的模型文件列表，model.ckpt.meta保...

python算法专项（七）——Tensorflow三层网络（进阶），训练手写字数据集、模型保存、tensorboard可视化【代码】【图】

基于算法专项六，的tensorflow原理，用三层网络结构进行训练手写字数据集目录 1-手写数字数据集1.1数据集下载1.2数据集读取1.3进行各种样式的显示测试1.3.1显示单张样本1.3.1显示多张样本在一张影像上1.3.1显示多张样本在一张影像上并且在每张影像外面加白框2-用tensorflow框架搭建三层网络，训练手写字数据集2.1技巧1，用全连接方法代替专项六中的矩阵相乘并加上偏置项操作2.2tensorflow补充知识1、tf.one_hot()使用2、tf.nn.sof...

python – Tensorflow Estimator API在eval模式下保存图像摘要【代码】

目前,我尝试使用Tensorflow的新Estimator API在自定义图像数据集上训练自动编码器. 到目前为止一切正常.我唯一的问题是当模型处于评估模式时将输入和输出图像保存为摘要.我在列车模式下创建的所有图像摘要都存储在Tensorboard中并正确显示. 这是我的代码：def model_fn_autoencoder(features, labels, mode, params):is_training = mode == ModeKeys.TRAIN# Define model's architecturelogits = architecture_autoencoder(feature...

python – Tensorflow ValueError：没有要保存的变量【代码】

我写了一个张量流CNN,它已经训练好了.我希望恢复它以便在几个样本上运行它但不幸的是它吐出来：ValueError: No variables to save我的评估代码可以在这里找到：import tensorflow as tfimport main import Process import Inputeval_dir = "/Users/Zanhuang/Desktop/NNP/model.ckpt-30" checkpoint_dir = "/Users/Zanhuang/Desktop/NNP/checkpoint"init_op = tf.initialize_all_variables() saver = tf.train.Saver()def evaluate(...

python – Tensorflow – 保存模型【代码】

我有以下代码,并在尝试保存模型时出错.我可能做错了什么,我该如何解决这个问题？import tensorflow as tfdata, labels = cifar_tools.read_data('C:\\Users\\abc\\Desktop\\Testing')x = tf.placeholder(tf.float32, [None, 150 * 150]) y = tf.placeholder(tf.float32, [None, 2])w1 = tf.Variable(tf.random_normal([5, 5, 1, 64])) b1 = tf.Variable(tf.random_normal([64]))w2 = tf.Variable(tf.random_normal([5, 5, 64, 64])...

python – 在Tensorflow中如何冻结已保存的模型【代码】

这可能是一个非常基本的问题…… 但是如何将检查点文件转换为单个.pb文件.我的目标是使用大概C来服务模型这些是我试图转换的文件.作为旁注,我正在使用带有tensorflow的tflearn. 编辑1：我发现了一篇解释如何执行此操作的文章：https://blog.metaflow.fr/tensorflow-how-to-freeze-a-model-and-serve-it-with-a-python-api-d4f3596b3adc 问题是我遇到了以下错误KeyError: "The name 'Adam' refers to an Operation not in the grap...

javascript – 如何保存Tensorflow.js模型？【代码】

我想创建一个用户界面来创建,保存和训练tensorflow.js模型.但是在创建模型后我无法保存模型.我甚至从tensorflow.js文档复制了这段代码,但它不起作用：const model = tf.sequential({layers: [tf.layers.dense({units: 1, inputShape: [3]})]}); console.log('Prediction from original model:'); model.predict(tf.ones([1, 3])).print();const saveResults = await model.save('localstorage://my-model-1');const loadedModel = ...

python – Tensorflow：保存和恢复变量问题【代码】

如何在tensorflow中保存和恢复变量？我遇到了问题.我的代码：import tensorflow as tfv1 = tf.Variable(tf.zeros([2, 2], dtype=tf.float32, name='v1')) saver = tf.train.Saver()with tf.Session() as sess:sess.run(tf.global_variables_initializer())print sess.run(v1)save_path = saver.save(sess, 'model.ckpt')print "model saved in file:", save_pathv1 = v1 + 1print sess.run(v1)saver = tf.train.import_meta_graph...

首页 / TENSORFLOW / tensorflow1.0学习之模型的保存与恢复(Saver)_python

tensorflow1.0学习之模型的保存与恢复(Saver)_python

内容导读

内容图文

内容总结

内容备注

内容手机端

【tensorflow1.0学习之模型的保存与恢复(Saver)_python】教程文章相关的互联网学习教程文章

PYTHON - 相关标签

模型 - 相关标签

TENSORFLOW - 最新教程

TENSORFLOW - 最热教程