pytorch 计算Parameter和FLOP的操作
作者:落地生根1314 时间:2023-03-01 04:15:55
深度学习中,模型训练完后,查看模型的参数量和浮点计算量,在此记录下:
1 THOP
在pytorch中有现成的包thop用于计算参数数量和FLOP,首先安装thop:
pip install thop
注意安装thop时可能出现如下错误:
解决方法:
pip install --upgrade git+https://github.com/Lyken17/pytorch-OpCounter.git # 下载源码安装
使用方法如下:
from torchvision.models import resnet50 # 引入ResNet50模型
from thop import profile
model = resnet50()
flops, params = profile(model, input_size=(1, 3, 224,224)) # profile(模型,输入数据)
对于自己构建的函数也一样,例如shuffleNetV2
from thop import profile
from utils.ShuffleNetV2 import shufflenetv2 # 导入shufflenet2 模块
import torch
model_shuffle = shufflenetv2(width_mult=0.5)
model = torch.nn.DataParallel(model_shuffle) # 调用shufflenet2 模型,该模型为自己定义的
flop, para = profile(model, input_size=(1, 3, 224, 224),)
print("%.2fM" % (flop/1e6), "%.2fM" % (para/1e6))
更多细节,可参考thop GitHub链接: https://github.com/Lyken17/pytorch-OpCounter
2 计算参数
pytorch本身带有计算参数的方法
from thop import profile
from utils.ShuffleNetV2 import shufflenetv2 # 导入shufflenet2 模块
import torch
model_shuffle = shufflenetv2(width_mult=0.5)
model = torch.nn.DataParallel(model_shuffle)
total = sum([param.nelement() for param in model.parameters()])
print("Number of parameter: %.2fM" % (total / 1e6))
补充:pytorch: 计算网络模型的计算量(FLOPs)和参数量(Params)
计算量:
FLOPs,FLOP时指浮点运算次数,s是指秒,即每秒浮点运算次数的意思,考量一个网络模型的计算量的标准。
参数量:
Params,是指网络模型中需要训练的参数总数。
第一步:安装模块(thop)
pip install thop
第二步:计算
import torch
from thop import profile
net = Model() # 定义好的网络模型
input = torch.randn(1, 3, 112, 112)
flops, params = profile(net, (inputs,))
print('flops: ', flops, 'params: ', params)
注意:
输入input的第一维度是批量(batch size),批量的大小不回影响参数量, 计算量是batch_size=1的倍数
profile(net, (inputs,))的 (inputs,)中必须加上逗号,否者会报错
以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。如有错误或未考虑完全的地方,望不吝赐教。
来源:https://blog.csdn.net/qq_26369907/article/details/89857021
标签:pytorch,Parameter,FLOP
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
详解Django中的ifequal和ifnotequal标签使用
2023-06-24 05:07:04
php引用和拷贝的区别知识点总结
2023-11-15 03:39:48
python的PyPDF2实现pdf文件切割和合并
2023-02-07 19:57:39
![](https://img.aspxhome.com/file/2023/8/102968_0s.png)
python sqlite的Row对象操作示例
2023-07-23 17:08:55
Golang二维数组的使用方式
2023-07-21 07:29:16
Python命令行库click的具体使用
2023-07-05 02:51:16
Python求出0~100以内的所有素数
2023-09-17 16:54:02
Oracle密码文件的使用和维护第1/3页
2010-07-30 12:43:00
python使用pil进行图像处理(等比例压缩、裁剪)实例代码
2022-12-22 16:50:09
pytorch模型部署 pth转onnx的方法
2022-07-05 03:49:04
Python导入自定义路径的方法
2021-06-30 13:43:28
python中的json数据和pyecharts模块入门示例教程
2023-02-22 04:58:37
![](https://img.aspxhome.com/file/2023/9/87659_0s.jpg)
Python实现复制图片到指定文件夹并按顺序重新命名
2022-04-25 18:53:06
![](https://img.aspxhome.com/file/2023/4/72194_0s.png)
python脚本监控Tomcat服务器的方法
2023-10-03 18:19:23
![](https://img.aspxhome.com/file/2023/2/77042_0s.png)
js鼠标事件大全
2007-08-13 15:56:00
Python如何求取逆序数
2022-07-16 07:16:57
Python open读写文件实现脚本
2022-08-23 00:26:46
python读取excel进行遍历/xlrd模块操作
2022-11-09 18:44:51
![](https://img.aspxhome.com/file/2023/0/128290_0s.jpg)
Python基于Webhook实现github自动化部署
2023-09-28 21:31:27
![](https://img.aspxhome.com/file/2023/2/77752_0s.jpg)
Python 安装 virturalenv 虚拟环境的教程详解
2021-04-04 18:27:30
![](https://img.aspxhome.com/file/2023/1/124751_0s.png)