Pytorch关于Dataset 的数据处理
作者:游客26024 时间:2021-04-16 08:40:54
Pytorch系列是了解与使用Pytorch编程来实现卷积神经网络。
学习如何对卷积神经网络编程;首先,需要了解Pytorch对数据的使用(也是在我们模型流程中对数据的预处理部分),其中有两个包Dataset,DataLoader
。Dataset
是Pytorch
对于单个数据的处理类似于给一堆数据进行编号,(在有标签的图像处理中)对其有序地提取图像与标签,
而DataLoader
则是一坨一坨的数据进行批次的处理。
此实验运用的数据是北邮邓伟洪老师的人脸表情包的数据集,
当然大家也可以自己手动做个二分类数据集之类的就将一幅幅的图片放图标签命名的文件夹中即可。
将邓伟洪老师的RAF-DB
简单来刨析,假设其只有Image
,没有真正的Annotation
等,
则其根路径(整个data的大体位置)设为 root_dir = "D:\data\basic"
(由于以下考虑了Annotation
,"Image
"放入label)标签路径(data下的label位置)设为label_dir="Image\aligned(original)"
可参考下图理解:
假设aligned
与original
是标签,但是它是真正的图片的路径
现在开始编程:
因为使用Dataset
,即让新的类(MyData
)来继承Dataset
需要改写 def __getitem__(self,item):
与 def __len__(self):
其中, def __getitem__ (self,item):
输入一系列图像的path与图像的index(组合为一张图像的详细地址),输出图像与标签,代码中默认item
为序列号,但是为了方便将item改写为idx;def __len__(self):
输入一系列图像的路径,输出这些图像的个数。
其他的函数就可以创新加载自己定义的类里。
from torch.utils.data import Dataset #Dataset的包
import os #路径需要这个
import cv2 # 需要读取图片,最好用opencv-python,当然也可以用PIL只是我不顺手
class MyData(Dataset): #我定义的这个类
def __init__(self, root_dir, label_dir):
#下面需要使用的变量,在__init__定义好,
self.root_dir = root_dir # 根路径 data在电脑或者服务器大致的位置
self.label_dir = label_dir # label的位置(这里假设Image的名字就是label的位置)
self.path = os.path.join(self.root_dir, self.label_dir)# 将这个两个合在一起就能找到整体图片的大致路径
self.img_path = os.listdir(self.path) #得到整体图片的路径(可取其中的一张一张的图像的名字)
def __getitem__(self, idx):
# 改写__getitem__(self,item)函数,最后得到图像,标签
#获取具体的一幅图像的名字
img_name = self.img_path[idx]
#获取一幅图像的详细地址
img_item_path = os.path.join(self.root_dir, self.label_dir, img_name)
#用opencv来读取图像
img = cv2.imread(img_item_path)
#获取标签(这里简单写了aligned与original)
label = self.label_dir
return img, label
def __len__(self):
#改写整体图像的大小
return len(self.img_path)
root_dir = "D://data//basic"
img_dir = "Image"
aligned_label_dir = "aligned"
# aligned_label_dir = "Image//aligned"
aligned_label_dir = os.path.join(img_dir, aligned_label_dir)
original_label_dir = "original"
#original_label_dir = "Image//original"
original_label_dir = os.path.join(img_dir, original_label_dir)
#aligned_data = "D://data//basic//Image//aligned"
aligned_data = MyData(root_dir, aligned_label_dir)
#original_data = "D://data//basic//Image//original"
original_data = MyData(root_dir, original_label_dir)
data = aligned_data + original_data
# 15339
print(len(aligned_data))
# 15339
print(len(original_data))
# 30678
print(len(data))
img_1, label_1 = data[15338]
img_2, label_2 = data[15339]
print(label_1) # Image\aligned
print(label_2) # Image\original
来源:https://blog.csdn.net/XiaoyYidiaodiao/article/details/121960837
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
手机验证设计感悟
![](https://img.aspxhome.com/file/UploadPic/20111/20/01-64s.jpg)
在Pytorch中使用Mask R-CNN进行实例分割操作
![](https://img.aspxhome.com/file/2023/1/79571_0s.jpg)
python网络爬虫精解之pyquery的使用说明
PHP strip_tags() 去字符串中的 HTML、XML 以及 PHP 标签的函数
python去除删除数据中\\u0000\\u0001等unicode字符串的代码
迎来2009年CSS裸奔节(CSS Naked Day )
![](https://img.aspxhome.com/file/UploadPic/20094/24/qqqqqqqqq-36s.gif)
网页设计进阶之一 (步骤和大局观)
认清区别CSS的类class和id
利用ASP远程注册DLL的方法
吴恩达机器学习练习:SVM支持向量机
![](https://img.aspxhome.com/file/2023/5/81695_0s.png)
PHP使用观察者模式处理异常信息的方法详解
IE中伪类:hover的使用及BUG
Access下如何使用通用对话框
ASP实例:处理多关键词查询实例代码
网马解密大讲堂——网马解密中级篇(Document.write篇)
分享到豆瓣、百度空间、新浪微博的js代码
Keras自定义实现带masking的meanpooling层方式
![](https://img.aspxhome.com/file/2023/2/80652_0s.jpg)
Go实现文件上传和下载
![](https://img.aspxhome.com/file/2023/6/86276_0s.png)