使用tensorflow DataSet实现高效加载变长文本输入

作者:lyg5623 时间:2022-12-09 09:26:09 

DataSet是tensorflow 1.3版本推出的一个high-level的api,在1.3版本还只是处于测试阶段,1.4版本已经正式推出。

在网上搜了一遍,发现关于使用DataSet加载文本的资料比较少,官方举的例子只是csv格式的,要求csv文件中所有样本必须具有相同的维度,也就是padding必须在写入csv文件之前做掉,这会增加文件的大小。

经过一番折腾试验,这里给出一个DataSet+TFRecords加载变长样本的范例。

首先先把变长的数据写入到TFRecords文件:


def writedata():
xlist = [[1,2,3],[4,5,6,8]]
ylist = [1,2]
#这里的数据只是举个例子来说明样本的文本长度不一样,第一个样本3个词标签1,第二个样本4个词标签2
writer = tf.python_io.TFRecordWriter("train.tfrecords")
for i in range(2):
 x = xlist[i]
 y = ylist[i]
 example = tf.train.Example(features=tf.train.Features(feature={
  "y": tf.train.Feature(int64_list=tf.train.Int64List(value=[y])),
  'x': tf.train.Feature(int64_list=tf.train.Int64List(value=x))
 }))
 writer.write(example.SerializeToString())
writer.close()

然后用DataSet加载:


feature_names = ['x']

def my_input_fn(file_path, perform_shuffle=False, repeat_count=1):
def parse(example_proto):
 features = {"x": tf.VarLenFeature(tf.int64),
   "y": tf.FixedLenFeature([1], tf.int64)}
 parsed_features = tf.parse_single_example(example_proto, features)
 x = tf.sparse_tensor_to_dense(parsed_features["x"])
 x = tf.cast(x, tf.int32)
 x = dict(zip(feature_names, [x]))
 y = tf.cast(parsed_features["y"], tf.int32)
 return x, y

dataset = (tf.contrib.data.TFRecordDataset(file_path)
   .map(parse))
if perform_shuffle:
 dataset = dataset.shuffle(buffer_size=256)
dataset = dataset.repeat(repeat_count)
dataset = dataset.padded_batch(2, padded_shapes=({'x':[6]},[1])) #batch size为2,并且x按maxlen=6来做padding
iterator = dataset.make_one_shot_iterator()
batch_features, batch_labels = iterator.get_next()
return batch_features, batch_labels

next_batch = my_input_fn('train.tfrecords', True)
init = tf.initialize_all_variables()
with tf.Session() as sess:
sess.run(init)
for i in range(1):
 xs, y =sess.run(next_batch)
 print(xs['x'])
 print(y)

注意变长的数据TFRecords解析要用VarLenFeature,然后用sparse_tensor_to_dense转换。

来源:https://blog.csdn.net/lyg5623/article/details/78456915

标签:tensorflow,DataSet,变长,文本输入
0
投稿

猜你喜欢

  • Python OpenCV招商银行信用卡卡号识别的方法

    2022-01-16 06:31:30
  • 打印出python 当前全局变量和入口参数的所有属性

    2022-09-01 07:06:51
  • PyQt5+Caffe+Opencv搭建人脸识别登录界面

    2022-06-18 01:42:25
  • Python脚本实现虾米网签到功能

    2021-11-23 14:37:53
  • 认清区别CSS的类class和id

    2007-10-08 12:02:00
  • python实现随机梯度下降法

    2023-11-02 16:55:37
  • Python技巧之变长和定长序列拆分

    2022-10-23 17:19:19
  • 解决Jupyter notebook更换主题工具栏被隐藏及添加目录生成插件问题

    2023-11-08 21:32:55
  • phpcms中的评论样式修改方法

    2024-05-02 17:17:23
  • python使用paramiko实现ssh的功能详解

    2023-03-29 04:10:34
  • Python 实现将大图切片成小图,将小图组合成大图的例子

    2023-05-23 18:08:36
  • python3实现磁盘空间监控

    2023-07-09 14:12:49
  • python去掉空格的一些常用方式

    2022-02-10 04:45:34
  • CSS自定义属性Expression

    2011-04-29 14:17:00
  • python 实现手机自动拨打电话的方法(通话压力测试)

    2021-03-19 08:10:34
  • PyQt中实现自定义工具提示ToolTip的方法详解

    2023-11-09 13:34:56
  • Python实现全局变量的两个解决方法

    2021-03-23 22:43:44
  • golang执行命令操作 exec.Command

    2024-04-26 17:31:20
  • Explain命令在优化查询中的实际应用

    2024-01-20 03:54:13
  • python二叉树遍历的实现方法

    2021-09-19 03:53:14
  • asp之家 网络编程 m.aspxhome.com