pytorch下大型数据集(大型图片)的导入方式

作者:牙疼_LG 时间:2021-01-18 05:30:29 

使用torch.utils.data.Dataset类 处理图片数据时,

1. 我们需要定义三个基本的函数,以下是基本流程


class our_datasets(Data.Dataset):

def __init__(self,root,is_resize=False,is_transfrom=False):
   #这里只是个参考。按自己需求写。
   self.root=root
   self.is_resize=is_resize
   self.is_transfrom=is_transfrom

self.imgs_list=...#这里建议保存的是 图片的路径 而不是 图片的数据
   self.labs_list=...

def __getitem__(self, index):

img_path,lab=self.imgs_list[index],self.labs_list[index]

#这里使用PIL库读取图片数据.
   img_data = Image.open(img_path).convert('RGB')

#这里看自己需要,可以不要
   if self.is_resize:
     img_data = img_data.resize((self.is_resize[0], self.is_resize[1]), Image.ANTIALIAS)

#但是数据转换建议加上,很多时候都会用到
   if self.is_transfrom:
     img_data=self.is_transfrom(img_data)
   return img_data,lab

def __len__(self):

return len(self.imgs_list)

这里,我将 读取图片 的步骤 放到 __getitem__ ,是因为 这样放的话,对内存的要求会降低很多,我们只是将数据的路径导入了内存中,当需要读取这个图片数据时,再读取,这样更像是随用随取。如果将这部分放到 __init__ 里面,会一次将 图片数据都加载到 内存中,如果数据量太大,会直接卡死。

2.Dataset 类 返回的数据 类型 是与你读取时的类型一致的。但是在 pytorch使用时,会提示


TypeError: batch must contain tensors, numbers, dicts or lists; found <class 'PIL.Image.Image'>

通常,在数据了不大时,我一般都是在 读取数据后 加一句,转换成 numpy.array类型。

但是,在处理较大型的数据时,这样会很慢。

这时候,我建议 直接使用 torchvision来进行数据转换。


is_transfrom=torchvision.transforms.ToTensor()

将 上例代码 加入 Dataset类中,这样就会快很多。

来源:https://blog.csdn.net/qq_36285997/article/details/82463959

标签:pytorch,数据集,图片,导入
0
投稿

猜你喜欢

  • python中文乱码的解决方法

    2022-07-12 18:03:48
  • Python中的__init__作用是什么

    2022-05-28 00:27:02
  • python装饰器简介---这一篇也许就够了(推荐)

    2021-02-21 23:09:20
  • MySQL实现清空分区表单个分区数据

    2024-01-14 03:45:34
  • JavaScript字符串对象(string)基本用法示例

    2024-04-17 10:00:31
  • GO语言常用的文件读取方式

    2024-05-21 10:21:30
  • Vue + iView实现Excel上传功能的完整代码

    2024-05-29 22:43:13
  • 基于go+vue实现的golang每日新闻数据浏览与检索平台(推荐)

    2023-06-16 12:11:26
  • 详解在node.js中require方法的加载规则

    2024-05-08 09:36:10
  • OpenCV学习方框滤波实现图像处理代码示例

    2023-02-08 17:17:43
  • python计算Content-MD5并获取文件的Content-MD5值方式

    2022-09-27 00:53:29
  • asp如何实现页面延迟?

    2010-06-03 10:18:00
  • MySQL无法启动1067错误的又一种解决方法(机房断电)

    2024-01-13 08:55:25
  • 分享11个Python自动化操作Excel的方法

    2022-11-18 08:10:39
  • 教你如何在Pycharm中导入requests模块

    2023-05-03 13:10:14
  • 为您解读CSS优先级

    2009-06-18 18:29:00
  • Python自定义元类的实例讲解

    2021-12-31 13:13:36
  • Python Excel数据处理之xlrd/xlwt/xlutils模块详解

    2022-03-28 16:45:53
  • 简单介绍Python中用于求最小值的min()方法

    2021-05-27 23:00:11
  • Javascript Closures (2)

    2009-03-18 12:22:00
  • asp之家 网络编程 m.aspxhome.com