Pytorch中使用ImageFolder读取数据集时忽略特定文件
作者:SDFDSJFJ 时间:2021-08-09 01:18:24
一、使用ImageFolder读取数据集时忽略特定文件
如果事先知道需要忽略哪些文件,当然直接从数据集里删除就行了。但如果需要在程序运行时动态确认,或者筛选规则比较复杂,人工不好做,就需要让ImageFolder
在读取时使用自定义的筛选规则。
ImageFolder有一个可选参数为is_valid_file
,参数类型为可调用的函数,该函数传入一个str参数,返回一个bool值。当返回值为True时保留该文件,否则忽略。
例如,读取时想要忽略所有文件名带‘invalid’的文件,
代码如下:
import platform
from torchvision.datasets import ImageFolder
class Check(object):
def __init__(self,
key_word: str):
self.key_word = key_word
self.separator = '\\' if platform.system() == 'Windows' else '/'
def __call__(self,
file_name: str) -> bool:
folders = file_name.split(self.separator)
return folders[-1].find(self.key_word) < 0
dataset = ImageFolder('./data', is_valid_file=Check('invalid'))
这里定义了一个实现了__call__
方法的Check类,相比于直接定义函数的好处在于可以在构造函数里指定想要忽略的字符,并且能够根据操作系统的不同把文件目录分隔符给确定了。
更加复杂的功能可以自行修改代码逻辑实现,但是要注意如果某个类别的所有文件都被筛选掉了,ImageFolder
会报FileNotFoundError
错误。
如果想要忽略整个类别可以使用下面方法!!!
二、ImageFolder只读取部分类别文件夹
直接继承并且重写ImageFolder
类的find_classes
方法即可
from torchvision.datasets.folder import *
from typing import *
class FilterableImageFolder(ImageFolder):
def __init__(
self,
root: str,
transform: Optional[Callable] = None,
target_transform: Optional[Callable] = None,
loader: Callable[[str], Any] = default_loader,
is_valid_file: Optional[Callable[[str], bool]] = None,
valid_classes: List = None
):
self.valid_classes = valid_classes
super(FilterableImageFolder, self).__init__(root, transform, target_transform, loader, is_valid_file)
def find_classes(self, directory: str) -> Tuple[List[str], Dict[str, int]]:
classes = sorted(entry.name for entry in os.scandir(directory) if entry.is_dir())
#增加了这下面这句
classes = [valid_class for valid_class in classes if valid_class in self.valid_classes]
if not classes:
raise FileNotFoundError(f"Couldn't find any class folder in {directory}.")
class_to_idx = {cls_name: i for i, cls_name in enumerate(classes)}
return classes, class_to_idx
使用时,例如有mouse
、cat
、dog
三个类别的数据集文件夹,只想读取cat
和dog
,
代码如下:
dataset = FilterableImageFolder('./data', valid_classes=['cat', 'dog'])
来源:https://blog.csdn.net/qq_44980390/article/details/123439341
标签:Pytorch,ImageFolder,读取,数据集,忽略,特定,文件
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
谈谈Javascript中的++和–操作符
2009-05-08 11:43:00
IE中选择符的4095限制
2009-10-09 13:25:00
CSS 裸奔节
2009-04-09 19:36:00
![](https://img.aspxhome.com/file/UploadPic/20094/12/864_001-18s.gif)
ASP实例:处理多关键词查询实例代码
2008-11-24 12:56:00
详解Numpy数组转置的三种方法T、transpose、swapaxes
2023-01-14 21:42:13
![](https://img.aspxhome.com/file/2023/7/77667_0s.png)
js版sliderBar(滑动条)控件
2008-10-18 15:59:00
Python基于scrapy采集数据时使用代理服务器的方法
2022-06-03 08:37:04
利用ASP.NET MVC和Bootstrap快速搭建响应式个人博客站(一)
2023-07-06 23:47:39
![](https://img.aspxhome.com/file/2023/6/56056_0s.jpg)
常用的三种修改mysql最大连接数的方法
2010-03-09 15:42:00
表单相关特效整理
2013-06-29 15:42:26
使用一条INSERT语句完成多表插入
2010-03-18 11:08:00
Django使用中间件解决前后端同源策略问题
2022-09-05 10:33:32
![](https://img.aspxhome.com/file/2023/3/71343_0s.png)
python使用matplotlib模块绘制多条折线图、散点图
2021-07-28 06:41:20
![](https://img.aspxhome.com/file/2023/2/76042_0s.jpg)
Python常用数据类型之间的转换总结
2023-06-21 10:06:21
js实现将选中内容分享到新浪或腾讯微博
2023-08-25 07:39:02
![](https://img.aspxhome.com/file/2023/5/56225_0s.jpg)
能让Python提速超40倍的神器Cython详解
2023-11-12 07:11:11
![](https://img.aspxhome.com/file/2023/2/64662_0s.png)
CSS 几条经典的 CSS Tips
2008-08-20 18:40:00
使用Microsoft SQL Server 2000全文搜索功能构建Web搜索应用程序
2008-09-29 12:32:00
php官方微信接口大全(微信支付、微信红包、微信摇一摇、微信小店)
2023-10-17 14:16:56
Python抓取电影天堂电影信息的代码
2023-07-23 17:18:49