基于Python的图像数据增强Data Augmentation解析

作者:SiyuanChen 时间:2022-12-21 11:50:31 

1.1 简介

深层神经网络一般都需要大量的训练数据才能获得比较理想的结果。在数据量有限的情况下,可以通过数据增强(Data Augmentation)来增加训练样本的多样性, 提高模型鲁棒性,避免过拟合。

在计算机视觉中,典型的数据增强方法有翻转(Flip),旋转(Rotat ),缩放(Scale),随机裁剪或补零(Random Crop or Pad),色彩抖动(Color jittering),加噪声(Noise)

笔者在跟进视频及图像中的人体姿态检测和关键点追踪(Human Pose Estimatiion and Tracking in videos)的项目。因此本文的数据增强仅使用——翻转(Flip),旋转(Rotate ),缩放以及缩放(Scale)

2.1 裁剪(Crop)

  • image.shape--([3, width, height])一个视频序列中的一帧图片,裁剪前大小不统一

  • bbox.shape--([4,])人体检测框,用于裁剪

  • x.shape--([1,13]) 人体13个关键点的所有x坐标值

  • y.shape--([1,13])人体13个关键点的所有y坐标值


def crop(image, bbox, x, y, length):
   x, y, bbox = x.astype(np.int), y.astype(np.int), bbox.astype(np.int)

x_min, y_min, x_max, y_max = bbox
   w, h = x_max - x_min, y_max - y_min

# Crop image to bbox
   image = image[y_min:y_min + h, x_min:x_min + w, :]

# Crop joints and bbox
   x -= x_min
   y -= y_min
   bbox = np.array([0, 0, x_max - x_min, y_max - y_min])

# Scale to desired size
   side_length = max(w, h)
   f_xy = float(length) / float(side_length)
   image, bbox, x, y = Transformer.scale(image, bbox, x, y, f_xy)

# Pad
   new_w, new_h = image.shape[1], image.shape[0]
   cropped = np.zeros((length, length, image.shape[2]))

dx = length - new_w
   dy = length - new_h
   x_min, y_min = int(dx / 2.), int(dy / 2.)
   x_max, y_max = x_min + new_w, y_min + new_h

cropped[y_min:y_max, x_min:x_max, :] = image
   x += x_min
   y += y_min

x = np.clip(x, x_min, x_max)
   y = np.clip(y, y_min, y_max)

bbox += np.array([x_min, y_min, x_min, y_min])
   return cropped, bbox, x.astype(np.int), y.astype(np.int)

2.2 缩放(Scale)

  • image.shape--([3, 256, 256])一个视频序列中的一帧图片,裁剪后输入网络为256*256

  • bbox.shape--([4,])人体检测框,用于裁剪

  • x.shape--([1,13]) 人体13个关键点的所有x坐标值

  • y.shape--([1,13])人体13个关键点的所有y坐标值

  • f_xy--缩放倍数


def scale(image, bbox, x, y, f_xy):
   (h, w, _) = image.shape
   h, w = int(h * f_xy), int(w * f_xy)
   image = resize(image, (h, w), preserve_range=True, anti_aliasing=True, mode='constant').astype(np.uint8)

x = x * f_xy
   y = y * f_xy
   bbox = bbox * f_xy

x = np.clip(x, 0, w)
   y = np.clip(y, 0, h)

return image, bbox, x, y

2.3 翻转(fillip)

这里是将图片围绕对称轴进行左右翻转(因为人体是左右对称的,在关键点检测中有助于防止模型过拟合)


def flip(image, bbox, x, y):
   image = np.fliplr(image).copy()
   w = image.shape[1]
   x_min, y_min, x_max, y_max = bbox
   bbox = np.array([w - x_max, y_min, w - x_min, y_max])
   x = w - x
   x, y = Transformer.swap_joints(x, y)
   return image, bbox, x, y

翻转前:

基于Python的图像数据增强Data Augmentation解析

翻转后:

基于Python的图像数据增强Data Augmentation解析

2.4 旋转(rotate)

angle--旋转角度


def rotate(image, bbox, x, y, angle):
   # image - -(256, 256, 3)
   # bbox - -(4,)
   # x - -[126 129 124 117 107 99 128 107 108 105 137 155 122 99]
   # y - -[209 176 136 123 178 225 65 47 46 24 44 64 49 54]
   # angle - --8.165648811999333
   # center of image [128,128]
   o_x, o_y = (np.array(image.shape[:2][::-1]) - 1) / 2.
   width,height = image.shape[0],image.shape[1]
   x1 = x
   y1 = height - y
   o_x = o_x
   o_y = height - o_y
   image = rotate(image, angle, preserve_range=True).astype(np.uint8)
   r_x, r_y = o_x, o_y
   angle_rad = (np.pi * angle) /180.0
   x = r_x + np.cos(angle_rad) * (x1 - o_x) - np.sin(angle_rad) * (y1 - o_y)
   y = r_y + np.sin(angle_rad) * (x1 - o_x) + np.cos(angle_rad) * (y1 - o_y)
   x = x
   y = height - y
   bbox[0] = r_x + np.cos(angle_rad) * (bbox[0] - o_x) + np.sin(angle_rad) * (bbox[1] - o_y)
   bbox[1] = r_y + -np.sin(angle_rad) * (bbox[0] - o_x) + np.cos(angle_rad) * (bbox[1] - o_y)
   bbox[2] = r_x + np.cos(angle_rad) * (bbox[2] - o_x) + np.sin(angle_rad) * (bbox[3] - o_y)
   bbox[3] = r_y + -np.sin(angle_rad) * (bbox[2] - o_x) + np.cos(angle_rad) * (bbox[3] - o_y)
   return image, bbox, x.astype(np.int), y.astype(np.int)

旋转前:

基于Python的图像数据增强Data Augmentation解析

旋转后:

基于Python的图像数据增强Data Augmentation解析

3 结果(output)

数据增强前的原图:

基于Python的图像数据增强Data Augmentation解析

数据增强后:

基于Python的图像数据增强Data Augmentation解析

来源:https://www.cnblogs.com/siyuan1998/p/10686616.html

标签:python,图像,数据,增强,data,augmentation
0
投稿

猜你喜欢

  • Python深入学习之内存管理

    2021-11-18 12:54:10
  • 使用Keras预训练好的模型进行目标类别预测详解

    2023-02-04 09:14:37
  • vue.js刷新当前页面的实例讲解

    2023-04-03 07:39:27
  • python executemany的使用及注意事项

    2024-01-02 22:55:16
  • ubuntu下mysql版本升级到5.7

    2024-01-13 11:10:00
  • python中如何使用虚拟环境

    2021-02-17 22:07:49
  • 层叠加的五条叠加法则

    2009-05-01 12:07:00
  • pandas 如何将字符串映射为数字

    2021-04-15 02:47:33
  • Python 基于win32com客户端实现Excel操作的详细过程

    2021-01-18 11:22:47
  • 在Python中使用MySQL--PyMySQL的基本使用方法

    2024-01-22 20:32:49
  • 一文详解Python中的行为验证码验证功能

    2023-04-18 02:00:56
  • Golang实现http文件上传小功能的案例

    2023-07-19 00:55:37
  • Go日志框架zap增强及源码解读

    2024-05-22 10:19:13
  • 小白入门篇使用Python搭建点击率预估模型

    2021-02-09 20:49:04
  • 通过cmd进入python的步骤

    2022-05-27 05:23:31
  • go语言环境搭建简述

    2024-05-22 10:12:57
  • 使用python脚本自动生成K8S-YAML的方法示例

    2023-09-19 06:12:17
  • asp+XMLHTTP的国际域名查询系统(whois)源代码

    2008-02-16 09:23:00
  • Python PIL库图片灰化处理

    2022-08-18 20:57:30
  • JS将滑动门改为选项卡(需鼠标点击)的实现方法

    2024-05-22 10:36:17
  • asp之家 网络编程 m.aspxhome.com