Pytorch dataloader在加载最后一个batch时卡死的解决

作者:Wilber529 时间:2022-09-15 06:50:34 

问题:

自己写了个dataloader,为了部署方便,用OpenCV的接口进行数据读取,而没有用PIL,代码大致如下:


   def __getitem__(self, idx):
       sample = self.samples[idx]

img = cv2.imread(sample[0])
       img = cv2.resize(img, tuple(self.input_size))
       img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
       # if not self.val and random.randint(1, 10) < 3:
       #     img = self.img_aug(img)
       img = Image.fromarray(img)
       img = self.transforms(img)        
       ...

结果在训练过程中,在第1个epoch的最后一个batch时,程序卡死。

解决方案:

可能是因为OpenCV与Pytorch互锁的问题,关闭OpenCV的多线程,问题解决。


cv2.setNumThreads(0)
cv2.ocl.setUseOpenCL(False)

补充:pytorch 中一个batch的训练过程


# 一般情况下
optimizer.zero_grad()             # 梯度清零
preds = model(inputs)             # inference,前向传播求出预测值
loss = criterion(preds, targets)  # 计算loss
loss.backward()                   # 反向传播求解梯度
optimizer.step()                  # 更新权重,更新网络权重参数

此外,反向传播前,如果不进行梯度清零,则可以实现梯度累加,从而一定程度上解决显存受限的问题。

来源:https://blog.csdn.net/sinat_37532065/article/details/103990364

标签:Pytorch,dataloader,batch,卡死
0
投稿

猜你喜欢

  • Python selenium爬取微信公众号文章代码详解

    2023-12-10 19:43:18
  • Ubuntu安装Go语言运行环境

    2024-03-09 11:06:15
  • 利用Python实现命令行版的火车票查看器

    2021-10-24 13:59:21
  • 使用Python对Dicom文件进行读取与写入的实现

    2022-05-30 12:18:27
  • 浅谈一下关于Python对XML的解析

    2023-08-15 21:33:36
  • 中秋快到了利用python画个月亮和月饼

    2021-09-16 13:55:51
  • python机器学习理论与实战(五)支持向量机

    2021-11-27 11:36:30
  • Python3标准库总结

    2022-10-22 13:36:47
  • python 基于Apscheduler实现定时任务

    2022-03-29 00:53:32
  • python中的集合及集合常用的使用方法

    2023-05-04 11:14:11
  • php注册和登录界面的实现案例(推荐)

    2024-04-30 08:48:47
  • django用户登录和注销的实现方法

    2021-01-17 13:55:40
  • vue element-ui el-table组件自定义合计(summary-method)的坑

    2024-05-05 09:24:19
  • Python qqbot 实现qq机器人的示例代码

    2021-05-18 12:43:43
  • sql存储过程获取汉字拼音头字母函数

    2011-11-03 16:58:05
  • 前后端分离和跨域问题的详细解决方案(CORS的原理)

    2023-05-30 01:19:26
  • python中pivot()函数基础知识点

    2023-12-18 15:28:06
  • axios发送post请求,提交图片类型表单数据方法

    2024-04-26 17:40:27
  • Matlab如何实现矩阵复制扩充

    2023-10-13 15:46:52
  • Vue实现通知或详情类弹窗

    2024-05-29 22:45:06
  • asp之家 网络编程 m.aspxhome.com