keras 读取多标签图像数据方式
作者:Stretch Dong 时间:2021-01-30 18:26:48
我所接触的多标签数据,主要包括两类:
1、一张图片属于多个标签,比如,data:一件蓝色的上衣图片.jpg,label:蓝色,上衣。其中label包括两类标签,label1第一类:上衣,裤子,外套。label2第二类,蓝色,黑色,红色。这样两个输出label1,label2都是是分类,我们可以直接把label1和label2整合为一个label,直接编码,比如[蓝色,上衣]编码为[011011]。这样模型的输出也只需要一个输出。实现了多分类。
2、一张图片属于多个标签,但是几个标签不全是分类。比如data:一张结婚现场的图片.jpg,label:高兴,3(表示高兴程度)。这时label1是分类,label2时回归。这种情况就需要多个标签,模型需要多个输出。【其实最好的例子,就是目标检测,不但检测什么物体(分类),还要检测到物体的坐标(回归)】
在这里我主要针对第二种情况加以说明:
keras的ImageDataGenerator.flow_from_directory 只能简单的读取单标签数据。所以我自己写了个data_generate,来生成bathsize多标签数据
#此模块主要用来读取数据集,返回一个数据可迭代对象
#重点是,此模块分批次的把图像读入内存的,而不是一次全读入,有效的减少了内存溢出
import os
import cv2
import numpy as np
import keras
from random import shuffle
#目标图像大小
image_size= (229, 229, 3)
#类别编码
class_dict=dict(zip(['neg','pos','neu'],[0,1,2]))
#处理.txt文件,并加载图片文件夹里的图片名
#txt_path,txt文件路径,data_path,图片文件夹路径
def read_txt(txt_path,data_path):
# 中间数组
labels_class = []
labels_score = []
with open(txt_path) as f:
lines_list = f.readlines()
for lines in lines_list:
line = lines.split(' ')
labels_class.append(line[0].rstrip(".jpg"))
labels_score.append(line[2])
labels_dict=dict(zip(labels_class,labels_score))
#处理图片数据集
all_picture_name = os.listdir(data_path)
#打乱数据集
shuffle(all_picture_name)
all_picture_path=[os.path.join(data_path,one)for one in all_picture_name]
return all_picture_name,all_picture_path,labels_dict
class data_generate:
def __init__(self,all_piture_name,all_picture_path,labels_dict,batch_size):
self.index=0
self.all_picture_name=all_piture_name
self.all_picture_path=all_picture_path
self.labels_dict=labels_dict
self.batch_size = batch_size
def get_mini_batch(self):
while True:
batch_images=[]
batch_labels=[]
batch_class=[]
batch_score=[]
for i in range(self.batch_size):
if(self.index==len(self.all_picture_name)):
self.index=0
bgr_image = cv2.imread(self.all_picture_path[self.index])
if len(bgr_image.shape) == 2: # 若是灰度图则转为三通道
bgr_image = cv2.cvtColor(bgr_image, cv2.COLOR_GRAY2BGR)
rgb_image = cv2.cvtColor(bgr_image, cv2.COLOR_BGR2RGB)
rgb_image=cv2.resize(rgb_image,(image_size[0], image_size[1]))
img = np.array(rgb_image)
img=keras.applications.inception_v3.preprocess_input(img)
batch_images.append(img)
#label=[]
label1=self.all_picture_name[self.index].rstrip(".jpg")
batch_class.append(keras.utils.to_categorical(class_dict[label1[:3]], 3))
batch_score.append(np.array(self.labels_dict[label1]))
#batch_labels.append(label)
self.index+=1
batch_images=np.array(batch_images)
batch_class = np.array(batch_class)
batch_score = np.array(batch_score)
#注意label的生成batch_class,一个单独数组,batch_score一个单独的数组
'''
注释掉的这段代码生成的label是错误的。
batch_images=[]
batch_labels=[]
for i in range(self.batch_size):
if(self.index==len(self.images)):
self.index=0
batch_images.append(self.images[self.index])
batch_labels.append(self.labels[self.index])
self.index+=1
batch_images=np.array(batch_images)
batch_labels=np.array(batch_labels)
yield batch_images,batch_labels
'''
yield batch_images,[batch_class,batch_score]
接下来就是放入keras.fit_generate中了
history=model.fit_generator(generator=train_data.get_mini_batch(),
steps_per_epoch=146,
epochs=300,
validation_data=test_data.get_mini_batch(),
validation_steps=34,
)
来源:https://blog.csdn.net/weixin_42269778/article/details/100384934
标签:keras,多标签,图像
0
投稿
猜你喜欢
python中什么是面向对象
2021-02-19 04:13:08
DW MX 的快键一览表
2009-07-21 12:47:00
JS判断是否为数字、JS判断是否为整数、JS判断是否为浮点数
2008-11-19 16:42:00
python包的导入方式总结
2021-01-18 08:55:23
eslint常见的一些报错及解决方法
2024-05-11 09:09:32
PyTorch数据读取的实现示例
2022-01-31 04:15:48
百度小程序自定义通用toast组件
2024-04-22 22:17:11
使用 Python 实现文件递归遍历的三种方式
2022-08-19 18:49:08
使用Python搭建虚拟环境的配置方法
2021-09-04 17:50:58
解决vue项目中页面调用数据 在数据加载完毕之前出现undefined问题
2024-05-22 10:28:12
代码分析Python地图坐标转换
2022-01-15 19:50:48
Go语言中序列化与反序列化示例详解
2024-02-10 11:43:57
Python程序打包工具py2exe和PyInstaller详解
2021-04-17 05:04:12
浅谈SQL Server 2016里TempDb的进步
2024-01-13 20:23:41
php获取给定日期相差天数的方法分析
2024-05-02 17:34:20
Oracle数据表分区的策略
2010-07-28 12:59:00
学习mysql 如何行转列与列传行
2024-01-17 05:45:01
golang 的string与[]byte转换方式
2024-03-08 20:01:40
最常用的12种设计模式小结
2024-04-29 13:17:45
PyCharm 2020.2.2 x64 下载并安装的详细教程
2023-11-29 13:36:32