tensorflow tf.train.batch之数据批量读取方式

作者:Webbley 时间:2023-12-08 01:11:51 

在进行大量数据训练神经网络的时候,可能需要批量读取数据。于是参考了这篇文章的代码,结果发现数据一直批量循环输出,不会在数据的末尾自动停止。

然后发现这篇博文说slice_input_producer()这个函数有一个形参num_epochs,通过设置它的值就可以控制全部数据循环输出几次。

于是我设置之后出现以下的报错:


tensorflow.python.framework.errors_impl.FailedPreconditionError: Attempting to use uninitialized value input_producer/input_producer/limit_epochs/epochs

[[Node: input_producer/input_producer/limit_epochs/CountUpTo = CountUpTo[T=DT_INT64, _class=["loc:@input_producer/input_producer/limit_epochs/epochs"], limit=2, _device="/job:localhost/replica:0/task:0/cpu:0"](input_producer/input_producer/limit_epochs/epochs)]]

找了好久,都不知道为什么会错,于是只好去看看slice_input_producer()函数的源码,结果在源码中发现作者说这个num_epochs如果不是空的话,就是一个局部变量,需要先调用global_variables_initializer()函数初始化。

于是我调用了之后,一切就正常了,特此记录下来,希望其他人遇到的时候能够及时找到原因。

哈哈,这是笔者第一次通过阅读源码解决了问题,心情还是有点小激动。啊啊,扯远了,上最终成功的代码:


import pandas as pd
import numpy as np
import tensorflow as tf

def generate_data():
 num = 25
 label = np.asarray(range(0, num))
 images = np.random.random([num, 5])
 print('label size :{}, image size {}'.format(label.shape, images.shape))
 return images,label

def get_batch_data():
 label, images = generate_data()
 input_queue = tf.train.slice_input_producer([images, label], shuffle=False,num_epochs=2)
 image_batch, label_batch = tf.train.batch(input_queue, batch_size=5, num_threads=1, capacity=64,allow_smaller_final_batch=False)
 return image_batch,label_batch

images,label = get_batch_data()
sess = tf.Session()
sess.run(tf.global_variables_initializer())
sess.run(tf.local_variables_initializer())#就是这一行
coord = tf.train.Coordinator()
threads = tf.train.start_queue_runners(sess,coord)
try:
 while not coord.should_stop():
   i,l = sess.run([images,label])
   print(i)
   print(l)
except tf.errors.OutOfRangeError:
 print('Done training')
finally:
 coord.request_stop()
coord.join(threads)
sess.close()

来源:https://blog.csdn.net/liweibin1994/article/details/78306417

标签:tensorflow,tf.train.batch,数据,读取
0
投稿

猜你喜欢

  • python 创建一个空dataframe 然后添加行数据的实例

    2022-05-08 01:51:59
  • 简单掌握Python的Collections模块中counter结构的用法

    2023-05-17 00:20:13
  • 在Python中执行cmd

    2022-05-20 07:24:50
  • python实现自动化上线脚本的示例

    2021-02-01 05:14:49
  • Python 实现简单的shell sed替换功能(实例讲解)

    2023-03-03 09:48:52
  • pandas添加新列的5种常见方法

    2022-08-09 16:45:03
  • Java中用Mybatis插入mysql报主键重复的解决方案

    2024-01-20 01:49:45
  • 带你熟练掌握Vue3之Pinia状态管理

    2024-05-28 15:52:44
  • canvas 2d 环形统计图手写实现示例

    2023-07-13 16:35:23
  • 深入理解Golang的单元测试和性能测试

    2024-05-05 09:27:42
  • 彻底搞懂python 迭代器和生成器

    2021-09-14 05:00:26
  • Python对小数进行除法运算的正确方法示例

    2021-06-19 08:42:18
  • Python多路复用selector模块的基本使用

    2021-12-17 08:43:25
  • Oracle PL/SQL入门案例实践

    2010-07-18 13:13:00
  • JavaScript实现解析INI文件内容的方法

    2024-04-25 13:10:23
  • python 函数传参之传值还是传引用的分析

    2021-08-20 13:06:34
  • 使用Python实现大学座位预约功能

    2022-03-14 16:26:53
  • Python矩阵常见运算操作实例总结

    2021-05-29 18:26:38
  • SQL2005日志收缩方法

    2024-01-23 10:42:17
  • Python数据类型-序列sequence

    2022-06-07 11:03:56
  • asp之家 网络编程 m.aspxhome.com