pytorch多GPU并行运算的实现
作者:FelixCoder 时间:2022-01-09 22:01:06
Pytorch多GPU运行
设置可用GPU环境变量。例如,使用0号和1号GPU'
os.environ["CUDA_VISIBLE_DEVICES"] = '0,1'
设置模型参数放置到多个GPU上。在pytorch1.0之后的版本中,多GPU运行变得十分方便,先将模型的参数设置并行
if torch.cuda.device_count() > 1:
print("Let's use", torch.cuda.device_count(), "GPUs!")
model = nn.DataParallel(model)
将模型参数设置使用GPU运行
if torch.cuda.is_available():
model.cuda()
踩坑记录
在训练中,需要使用验证集/测试集对目前的准确率进行测试,验证集/测试集的加载也会占用部分显存,所以在训练开始时,不要将所有显存都几乎占满,稍微留一些显存给训练过程中的测试环节
pytorch并行后,假设batchsize设置为64,表示每张并行使用的GPU都使用batchsize=64来计算(单张卡使用时,使用batchsize=64比较合适时,多张卡并行时,batchsize仍为64比较合适,而不是64*并行卡数)。
参考
https://www.zhihu.com/question/67726969
来源:https://www.jianshu.com/p/6f526c6dd033
标签:pytorch,GPU,并行
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
Javascript fso操作文件
2008-07-30 12:51:00
关于设计的一些个人看法
2008-06-12 12:44:00
如何利用SQL Server数据库快照形成报表
2009-01-15 11:55:00
Centos6.x服务器配置jdk+tomcat+mysql环境(jsp+mysql)
2023-06-14 12:14:13
![](https://img.aspxhome.com/file/2023/1/67221_0s.png)
Python安装Bs4的多种方法
2023-08-07 07:35:04
![](https://img.aspxhome.com/file/2023/1/103651_0s.png)
Python字符串逆序输出的实例讲解
2023-04-21 22:59:46
泛泛而谈界面中的斑马纹设计
2010-07-15 12:59:00
![](https://img.aspxhome.com/file/UploadPic/20107/15/bm-001-76s.jpg)
python实现文本文件合并
2022-01-06 04:30:27
Python2和Python3中@abstractmethod使用方法
2021-12-29 08:55:36
Pandas实现在线文件和剪贴板数据读取详解
2021-06-02 16:49:55
![](https://img.aspxhome.com/file/2023/0/127320_0s.jpg)
Python新手学习标准库模块命名
2021-01-16 05:18:06
Python request post上传文件常见要点
2022-11-05 09:27:14
![](https://img.aspxhome.com/file/2023/5/80485_0s.png)
分析用Python脚本关闭文件操作的机制
2021-01-25 07:03:26
详解DeBug Python神级工具PySnooper
2022-12-14 15:44:31
用python如何绘制表格不同颜色的excel
2022-08-09 22:05:11
![](https://img.aspxhome.com/file/2023/0/63610_0s.png)
Python断言assert的用法代码解析
2021-10-05 21:57:07
ASP用csDrawGraph组件制作饼图、柱状图
2008-04-25 22:58:00
![](https://img.aspxhome.com/file/UploadPic/up/2008042523153992.gif)
Python实现光速定位并提取两个文件的不同之处
2023-11-01 10:42:25
![](https://img.aspxhome.com/file/2023/9/98899_0s.jpg)
jQuery点击改变链接的文本
2010-03-19 18:11:00
Yii框架实现乐观锁与悲观锁流程详解
2023-11-16 13:38:38