解决Pytorch训练过程中loss不下降的问题
作者:猫猬兽 时间:2023-03-01 09:30:22
在使用Pytorch进行神经网络训练时,有时会遇到训练学习率不下降的问题。出现这种问题的可能原因有很多,包括学习率过小,数据没有进行Normalization等。不过除了这些常规的原因,还有一种难以发现的原因:在计算loss时数据维数不匹配。
下面是我的代码:
loss_function = torch.nn.MSE_loss()
optimizer.zero_grad()
output = model(x_train)
loss = loss_function(output, y_train)
loss.backward()
optimizer.step()
要特别注意计算loss时网络输出值output和真实值y_train的维数必须完全匹配,否则训练误差不下降,无法训练。这种错误在训练一维数据时很容易忽略,要十分注意。
来源:https://blog.csdn.net/yyb19951015/article/details/88779171
标签:Pytorch,loss,不下降
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
如何使用数据绑定控件实现不换页提交数据?
2010-05-16 15:17:00
scrapy爬虫完整实例
2021-06-08 09:34:26
Python3中常用的处理时间和实现定时任务的方法的介绍
2022-05-13 09:25:25
解决pytorch 保存模型遇到的问题
2021-12-13 08:26:37
Tensorflow tf.dynamic_partition矩阵拆分示例(Python3)
2021-07-10 10:35:25
Python使用线程来接收串口数据的示例
2022-01-21 11:32:38
ASP Application 对象用户手册
2008-10-23 13:59:00
Python中使用jpype调用Jar包中的实现方法
2023-04-24 13:48:05
![](https://img.aspxhome.com/file/2023/0/134550_0s.png)
python 查找文件名包含指定字符串的方法
2021-05-03 08:54:21
![](https://img.aspxhome.com/file/2023/5/127815_0s.jpg)
Keras设置以及获取权重的实现
2021-11-22 10:04:09
python实现可下载音乐的音乐播放器
2023-04-26 09:01:52
![](https://img.aspxhome.com/file/2023/8/134598_0s.jpg)
Python文件操作方法详解
2023-01-08 14:40:29
![](https://img.aspxhome.com/file/2023/0/134760_0s.png)
python+selenium+autoit实现文件上传功能
2021-01-16 12:00:04
![](https://img.aspxhome.com/file/2023/2/117362_0s.jpg)
详解LyScript 内存扫描与查壳实现
2022-04-18 07:07:31
![](https://img.aspxhome.com/file/2023/4/103324_0s.png)
使用 use re debug 查看正则表达式的匹配过程
2022-05-03 01:00:59
教你利用PyTorch实现sin函数模拟
2021-06-23 18:17:25
python plotly画柱状图代码实例
2023-11-29 13:41:31
![](https://img.aspxhome.com/file/2023/2/92392_0s.png)
Python使用shutil模块实现文件拷贝
2021-02-01 14:46:28
设计"以人为本"和"绿色设计"
2008-10-07 12:21:00
Laravel中常见的错误与解决方法小结
2023-09-09 19:38:37
![](https://img.aspxhome.com/file/2023/2/56292_0s.jpg)