pytorch中的model=model.to(device)使用说明

作者:Wanderer001 时间:2023-02-23 15:07:48 

这代表将模型加载到指定设备上。

其中,device=torch.device("cpu")代表的使用cpu,而device=torch.device("cuda")则代表的使用GPU。

当我们指定了设备之后,就需要将模型加载到相应设备中,此时需要使用model=model.to(device),将模型加载到相应的设备中。

将由GPU保存的模型加载到CPU上。

将torch.load()函数中的map_location参数设置为torch.device('cpu')


device = torch.device('cpu')
model = TheModelClass(*args, **kwargs)
model.load_state_dict(torch.load(PATH, map_location=device))

将由GPU保存的模型加载到GPU上。确保对输入的tensors调用input = input.to(device)方法。


device = torch.device("cuda")
model = TheModelClass(*args, **kwargs)
model.load_state_dict(torch.load(PATH))
model.to(device)

将由CPU保存的模型加载到GPU上。

确保对输入的tensors调用input = input.to(device)方法。map_location是将模型加载到GPU上,model.to(torch.device('cuda'))是将模型参数加载为CUDA的tensor。

最后保证使用.to(torch.device('cuda'))方法将需要使用的参数放入CUDA。


device = torch.device("cuda")
model = TheModelClass(*args, **kwargs)
model.load_state_dict(torch.load(PATH, map_location="cuda:0"))  # Choose whatever GPU device number you want
model.to(device)

补充:pytorch中model.to(device)和map_location=device的区别

一、简介

在已训练并保存在CPU上的GPU上加载模型时,加载模型时经常由于训练和保存模型时设备不同出现读取模型时出现错误,在对跨设备的模型读取时候涉及到两个参数的使用,分别是model.to(device)和map_location=devicel两个参数,简介一下两者的不同。

将map_location函数中的参数设置 torch.load()为 cuda:device_id。这会将模型加载到给定的GPU设备。

调用model.to(torch.device('cuda'))将模型的参数张量转换为CUDA张量,无论在cpu上训练还是gpu上训练,保存的模型参数都是参数张量不是cuda张量,因此,cpu设备上不需要使用torch.to(torch.device("cpu"))。

二、实例

了解了两者代表的意义,以下介绍两者的使用。

1、保存在GPU上,在CPU上加载

保存:


torch.save(model.state_dict(), PATH)

加载:


device = torch.device('cpu')
model = TheModelClass(*args, **kwargs)
model.load_state_dict(torch.load(PATH, map_location=device))

解释:

在使用GPU训练的CPU上加载模型时,请传递 torch.device('cpu')给map_location函数中的 torch.load()参数,使用map_location参数将张量下面的存储器动态地重新映射到CPU设备 。

2、保存在GPU上,在GPU上加载

保存:


torch.save(model.state_dict(), PATH)

加载:


device = torch.device("cuda")
model = TheModelClass(*args, **kwargs)
model.load_state_dict(torch.load(PATH))
model.to(device)
# Make sure to call input = input.to(device) on any input tensors that you feed to the model

解释:

在GPU上训练并保存在GPU上的模型时,只需将初始化model模型转换为CUDA优化模型即可model.to(torch.device('cuda'))。

此外,请务必.to(torch.device('cuda'))在所有模型输入上使用该 功能来准备模型的数据。

请注意,调用my_tensor.to(device) 返回my_tensorGPU上的新副本。

它不会覆盖 my_tensor。

因此,请记住手动覆盖张量: my_tensor = my_tensor.to(torch.device('cuda'))

3、保存在CPU,在GPU上加载

保存:


torch.save(model.state_dict(), PATH)

加载:


device = torch.device("cuda")
model = TheModelClass(*args, **kwargs)
model.load_state_dict(torch.load(PATH, map_location="cuda:0"))  # Choose whatever GPU device number you want
model.to(device)
# Make sure to call input = input.to(device) on any input tensors that you feed to the model

解释:

在已训练并保存在CPU上的GPU上加载模型时,请将map_location函数中的参数设置 torch.load()为 cuda:device_id。

这会将模型加载到给定的GPU设备。

接下来,请务必调用model.to(torch.device('cuda'))将模型的参数张量转换为CUDA张量。

最后,确保.to(torch.device('cuda'))在所有模型输入上使用该 函数来为CUDA优化模型准备数据。

请注意,调用 my_tensor.to(device)返回my_tensorGPU上的新副本。

它不会覆盖my_tensor。

因此,请记住手动覆盖张量:my_tensor = my_tensor.to(torch.device('cuda'))

来源:https://blog.csdn.net/weixin_36670529/article/details/104367696

标签:pytorch,model,device
0
投稿

猜你喜欢

  • sqlserver下Kill 所有连接到某一数据库的连接

    2024-01-21 18:05:51
  • JavaScript学习心得之如何走出初学困境

    2008-12-24 13:30:00
  • php简单实现批量上传图片的方法

    2023-11-20 13:55:53
  • pytorch 实现tensor与numpy数组转换

    2022-02-07 16:06:44
  • SQLServer日期函数总结案例详解

    2024-01-13 07:50:49
  • Golang学习笔记之安装Go1.15版本(win/linux/macos/docker安装)

    2024-05-13 10:41:23
  • python生成遍历暴力破解密码的方法

    2021-07-02 21:28:54
  • Java实现飞机大战-连接数据库并把得分写入数据库

    2024-01-26 19:16:54
  • Python高级编程之继承问题详解(super与mro)

    2023-08-08 18:58:47
  • 详解Python的迭代器、生成器以及相关的itertools包

    2022-07-24 01:03:44
  • python Windows最新版本安装教程

    2023-02-25 21:09:52
  • JS实现普通轮播图特效

    2024-04-17 10:19:52
  • 数据库主键的故事

    2008-05-31 07:50:00
  • 用js实现小球的自由移动代码

    2023-08-23 02:57:29
  • Python内建类型list源码学习

    2023-03-21 09:41:24
  • javascript+css3开发打气球小游戏完整代码

    2024-05-02 16:15:54
  • pycharm 激活码及使用方式的详细教程

    2023-05-16 15:11:15
  • pytorch实现focal loss的两种方式小结

    2023-07-02 14:43:22
  • Python中XlsxWriter模块简介与用法分析

    2022-12-29 15:10:57
  • Golang初始化MySQL数据库方法浅析

    2024-01-16 23:49:20
  • asp之家 网络编程 m.aspxhome.com