解决tensorflow模型参数保存和加载的问题

作者:fresh七天 时间:2022-07-19 17:44:00 

终于找到bug原因!记一下;还是不熟悉平台的原因造成的!

Q:为什么会出现两个模型对象在同一个文件中一起运行,当直接读取他们分开运行时训练出来的模型会出错,而且总是有一个正确,一个读取错误? 而 直接在同一个文件又训练又重新加载模型预测不出错,而且更诡异的是此时用分文件里的对象加载模型不会出错?

model.py,里面含有 ModelV 和 ModelP,另外还有 modelP.py 和 modelV.py 分别只含有 ModelP 和 ModeV 这两个对象,先使用 modelP.py 和 modelV.py 分别训练好模型,然后再在 model.py 里加载进来:


# -*- coding: utf8 -*-

import tensorflow as tf

class ModelV():

def __init__(self):

self.v1 = tf.Variable(66, name="v1")
 self.v2 = tf.Variable(77, name="v2")
 self.save_path = "model_v/model.ckpt"
 self.init = tf.global_variables_initializer()
 self.saver = tf.train.Saver()
 self.sess = tf.Session()

def train(self):
 self.sess.run(self.init)
 print 'v2', self.v2.eval(self.sess)

self.saver.save(self.sess, self.save_path)
 print "ModelV saved."

def predict(self):

all_vars = tf.trainable_variables()
 for v in all_vars:
  print(v.name)
 self.saver.restore(self.sess, self.save_path)
 print "ModelV restored."
 print 'v2', self.v2.eval(self.sess)
 print '------------------------------------------------------------------'

class ModelP():

def __init__(self):

self.p1 = tf.Variable(88, name="p1")
 self.p2 = tf.Variable(99, name="p2")
 self.save_path = "model_p/model.ckpt"
 self.init = tf.global_variables_initializer()
 self.saver = tf.train.Saver()
 self.sess = tf.Session()

def train(self):
 self.sess.run(self.init)
 print 'p2', self.p2.eval(self.sess)

self.saver.save(self.sess, self.save_path)
 print "ModelP saved."

def predict(self):

all_vars = tf.trainable_variables()
 for v in all_vars:
  print v.name
 self.saver.restore(self.sess, self.save_path)
 print "ModelP restored."
 print 'p2', self.p2.eval(self.sess)
 print '---------------------------------------------------------------------'

if __name__ == '__main__':
v = ModelV()
p = ModelP()
v.predict()
#v.train()
p.predict()
#p.train()

这里 tf.global_variables_initializer() 很关键! 尽管你是分别在对象 ModelP 和 ModelV 内部分配和定义的 tf.Variable(),即 v1 v2 和 p1 p2,但是 对 tf 这个模块而言, 这些都是全局变量,可以通过以下代码查看所有的变量,你就会发现同一个文件中同时运行 ModelP 和 ModelV 在初始化之后都打印出了一样的变量,这个是问题的关键所在:


all_vars = tf.trainable_variables()
for v in all_vars:
print(v.name)

错误。你可以交换 modelP 和 modelV 初始化的顺序,看看错误信息的变化


v1:0
v2:0
p1:0
p2:0
ModelV restored.
v2 77
v1:0
v2:0
p1:0
p2:0
W tensorflow/core/framework/op_kernel.cc:975] Not found: Key v2 not found in checkpoint
W tensorflow/core/framework/op_kernel.cc:975] Not found: Key v1 not found in checkpoint

实际上,分开运行时,模型保存的参数是正确的,因为在一个模型里的Variable就只有 v1 v2 或者 p1 p2; 但是在一个文件同时运行的时候,模型参数实际上保存的是 v1 v2 p1 p2四个,因为在默认情况下,创建的Saver,会直接保存所有的参数。而 Saver.restore() 又是默认(无Variable参数列表时)按照已经定义好的全局模型变量来加载对应的参数值, 在进行 ModelV.predict时,按照顺序(从debug可以看出,应该是按照参数顺序一次检测)在模型文件中查找相应的 key,此时能够找到对应的v1 v2,加载成功,但是在 ModelP.predict时,在model_p的模型文件中找不到 v1 和 v2,只有 p1 和 p2, 此时就会报错;不过这里的 第一次加载 还有 p1 p2 找不到没有报错,解释不通, 未完待续

Saver.save() 和 Saver.restore() 是一对, 分别只保存和加载模型的参数, 但是模型的结构怎么知道呢? 必须是你定义好了,而且要和保存的模型匹配才能加载;

如果想要在不定义模型的情况下直接加载出模型结构和模型参数值,使用


# 加载 结构,即 模型参数 变量等
new_saver = tf.train.import_meta_graph("model_v/model.ckpt.meta")
print "ModelV construct"
all_vars = tf.trainable_variables()
for v in all_vars:
print v.name
#print v.name,v.eval(self.sess) # v 都还未初始化,不能求值
# 加载模型 参数变量 的 值
new_saver.restore(self.sess, tf.train.latest_checkpoint('model_v/'))
print "ModelV restored."
all_vars = tf.trainable_variables()
for v in all_vars:
print v.name,v.eval(self.sess)

加载 结构,即 模型参数 变量等完成后,就会有变量了,但是不能访问他的值,因为还未赋值,然后再restore一次即可得到值了

那么上述错误的解决方法就是这个改进版本的model.py;其实 tf.train.Saver 是可以带参数的,他可以保存你想要保存的模型参数,如果不带参数,很可能就会保存 tf.trainable_variables() 所有的variable,而 tf.trainable_variables()又是从 tf 全局得到的,因此只要在模型保存和加载时,构造对应的带参数的tf.train.Saver即可,这样就会保存和加载正确的模型了


# -*- coding: utf8 -*-

import tensorflow as tf

class ModelV():

def __init__(self):

self.v1 = tf.Variable(66, name="v1")
 self.v2 = tf.Variable(77, name="v2")
 self.save_path = "model_v/model.ckpt"
 self.init = tf.global_variables_initializer()

self.sess = tf.Session()

def train(self):
 saver = tf.train.Saver([self.v1, self.v2])
 self.sess.run(self.init)
 print 'v2', self.v2.eval(self.sess)

saver.save(self.sess, self.save_path)
 print "ModelV saved."

def predict(self):
 saver = tf.train.Saver([self.v1, self.v2])
 all_vars = tf.trainable_variables()
 for v in all_vars:
  print v.name

v_vars = [v for v in all_vars if v.name == 'v1:0' or v.name == 'v2:0']
 print "ModelV restored."
 saver.restore(self.sess, self.save_path)
 for v in v_vars:
  print v.name,v.eval(self.sess)
 print 'v2', self.v2.eval(self.sess)
 print '------------------------------------------------------------------'

class ModelP():

def __init__(self):

self.p1 = tf.Variable(88, name="p1")
 self.p2 = tf.Variable(99, name="p2")
 self.save_path = "model_p/model.ckpt"
 self.init = tf.global_variables_initializer()
 self.sess = tf.Session()

def train(self):
 saver = tf.train.Saver([self.p1, self.p2])
 self.sess.run(self.init)
 print 'p2', self.p2.eval(self.sess)

saver.save(self.sess, self.save_path)
 print "ModelP saved."

def predict(self):
 saver = tf.train.Saver([self.p1, self.p2])
 all_vars = tf.trainable_variables()
 p_vars = [v for v in all_vars if v.name == 'p1:0' or v.name == 'p2:0']
 for v in all_vars:
  print v.name
  #print v.name,v.eval(self.sess)
 saver.restore(self.sess, self.save_path)
 print "ModelP restored."
 for p in p_vars:
  print p.name,p.eval(self.sess)
 print 'p2', self.p2.eval(self.sess)
 print '----------------------------------------------------------'

if __name__ == '__main__':
v = ModelV()
p = ModelP()
v.predict()
#v.train()
p.predict()
#p.train()

小结: 构造的Saver 最好带Variable参数,这样保证 保存和加载能够正确执行

来源:https://blog.csdn.net/u014659656/article/details/53954793

标签:tensorflow,参数,保存,加载
0
投稿

猜你喜欢

  • dl.dt.dd.ul.li.ol区别及应用

    2008-05-24 09:42:00
  • Python框架Flask的基本数据库操作方法分析

    2024-01-18 19:54:35
  • Python爬虫实现搭建代理ip池

    2022-05-19 06:57:11
  • python调用c++ ctype list传数组或者返回数组的方法

    2021-09-28 01:24:04
  • python神经网络学习使用Keras进行回归运算

    2023-01-30 14:08:45
  • python文字转语音实现过程解析

    2022-10-26 22:13:27
  • 基于python实现获取网页图片过程解析

    2023-10-08 21:57:59
  • composer.lock文件的作用

    2023-06-06 13:05:24
  • python中如何对多变量连续赋值

    2023-08-21 01:30:43
  • ORM Django 终端打印 SQL 语句实现解析

    2023-08-30 04:56:39
  • spyder快捷键与python符号化输出方式

    2023-08-23 11:58:24
  • 基于OpenCV的路面质量检测的实现

    2023-12-29 14:52:52
  • python并发场景锁的使用方法

    2022-12-30 17:25:20
  • Mysql 忘记root密码和修改root密码的解决方法(小结)

    2024-01-20 09:01:22
  • seaborn绘制双变量联合分布图示例详解

    2021-04-29 01:49:24
  • HTML的form表单和django的form表单

    2021-08-03 07:04:42
  • Python入门之三角函数tan()函数实例详解

    2022-04-12 18:41:59
  • Python实现对比两个Excel数据内容并标记出不同

    2022-01-26 09:42:50
  • 一文详解如何使用Python批量拼接图片

    2023-08-12 04:15:37
  • 首页访问感受提升三步曲

    2007-12-13 20:36:00
  • asp之家 网络编程 m.aspxhome.com