tensorflow 查看梯度方式
作者:zyr523 时间:2022-11-07 12:46:22
1. 为什么要查看梯度
对于初学者来说网络经常不收敛,loss很奇怪(就是不收敛),所以怀疑是反向传播中梯度的问题
(1)求导之后的数(的绝对值)越来越小(趋近于0),这就是梯度消失
(2)求导之后的数(的绝对值)越来越大(特别大,发散),这就是梯度 *
所以说呢,当loss不正常时,可以看看梯度是否处于 * ,或者是消失了,梯度 * 的话,网络中的W也会很大,人工控制一下(初始化的时候弄小点等等肯定还有其它方法,只是我不知道,知道的大神也可以稍微告诉我一下~~),要是梯度消失,可以试着用用resnet,densenet之类的
2. tensorflow中如何查看梯度
tf.gradients(y,x)这里的就是y对于x的导数(dy/dx),x和y一定要有关联哦~
直接tf.gradients(y_, weight1)就可以了~
来源:https://blog.csdn.net/qq_24313621/article/details/82824503
标签:tensorflow,查看,梯度
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
客户认同的就是好商品
2009-08-31 16:41:00
基于Python实现批量保存视频到本地
2023-10-14 12:24:27
![](https://img.aspxhome.com/file/2023/7/118787_0s.png)
python实现简单名片管理系统
2023-06-13 08:03:12
如何在Python中安装GDAL库
2023-08-22 01:51:54
![](https://img.aspxhome.com/file/2023/4/134844_0s.jpg)
关于MYSQL中每个用户取1条记录的三种写法(group by xxx)
2024-01-22 02:08:38
使用OpenCV实现仿射变换—平移功能
2022-11-01 01:45:06
![](https://img.aspxhome.com/file/2023/2/103172_0s.jpg)
通过5个知识点轻松搞定Python的作用域
2021-10-02 03:51:23
Python反爬实战掌握酷狗音乐排行榜加密规则
2021-05-29 08:05:57
![](https://img.aspxhome.com/file/2023/5/70245_0s.gif)
MYSQL METADATA LOCK(MDL LOCK) 理论及加锁类型测试
2024-01-23 11:16:46
Windows下的Python 3.6.1的下载与安装图文详解(适合32位和64位)
2021-06-28 16:02:24
![](https://img.aspxhome.com/file/2023/6/125046_0s.png)
vuex state及mapState的基础用法详解
2024-05-13 09:07:23
![](https://img.aspxhome.com/file/2023/4/126654_0s.png)
Pyhton中单行和多行注释的使用方法及规范
2021-11-21 12:13:00
![](https://img.aspxhome.com/file/2023/0/135310_0s.jpg)
Python教程之基本运算符的使用(上)
2023-12-16 23:11:40
python opencv之SIFT算法示例
2023-12-27 21:42:33
![](https://img.aspxhome.com/file/2023/0/65950_0s.png)
JavaScript中的"类" 序言
2008-02-18 13:26:00
MSSql简单查询出数据表中所有重复数据的方法
2024-01-14 20:06:56
Django中从mysql数据库中获取数据传到echarts方式
2024-01-22 02:06:25
javascript模拟php函数in_array
2023-10-15 22:12:49
python 实现的截屏工具
2023-05-15 00:20:39
![](https://img.aspxhome.com/file/2023/5/86215_0s.png)
js+css实现有立体感的按钮式文字竖排菜单效果
2024-04-22 13:09:42
![](https://img.aspxhome.com/file/2023/8/135738_0s.jpg)