关于tensorflow的几种参数初始化方法小结
作者:liushui94 时间:2023-10-15 12:05:26
在tensorflow中,经常会遇到参数初始化问题,比如在训练自己的词向量时,需要对原始的embeddigs矩阵进行初始化,更一般的,在全连接神经网络中,每层的权值w也需要进行初始化。
tensorlfow中应该有一下几种初始化方法
1. tf.constant_initializer() 常数初始化
2. tf.ones_initializer() 全1初始化
3. tf.zeros_initializer() 全0初始化
4. tf.random_uniform_initializer() 均匀分布初始化
5. tf.random_normal_initializer() 正态分布初始化
6. tf.truncated_normal_initializer() 截断正态分布初始化
7. tf.uniform_unit_scaling_initializer() 这种方法输入方差是常数
8. tf.variance_scaling_initializer() 自适应初始化
9. tf.orthogonal_initializer() 生成正交矩阵
具体的
1、tf.constant_initializer(),它的简写是tf.Constant()
#coding:utf-8
import numpy as np
import tensorflow as tf
train_inputs = [[1,2],[1,4],[3,2]]
with tf.variable_scope("embedding-layer"):
val = np.array([[1,2,3,4,5,6,7],[1,3,4,5,2,1,9],[0,12,3,4,5,7,8],[2,3,5,5,6,8,9],[3,1,6,1,2,3,5]])
const_init = tf.constant_initializer(val)
embeddings = tf.get_variable("embed",shape=[5,7],dtype=tf.float32,initializer=const_init)
embed = tf.nn.embedding_lookup(embeddings, train_inputs) #在embedding中查找train_input所对应的表示
print("embed",embed)
sum_embed = tf.reduce_mean(embed,1)
initall = tf.global_variables_initializer()
with tf.Session() as sess:
sess.run(initall)
print(sess.run(embed))
print(sess.run(tf.shape(embed)))
print(sess.run(sum_embed))
4、random_uniform_initializer = RandomUniform()
可简写为tf.RandomUniform()
生成均匀分布的随机数,参数有四个(minval=0, maxval=None, seed=None, dtype=dtypes.float32),分别用于指定最小值,最大值,随机数种子和类型。
6、tf.truncated_normal_initializer()
可简写tf.TruncatedNormal()
生成截断正态分布的随机数,这个初始化方法在tf中用得比较多。
它有四个参数(mean=0.0, stddev=1.0, seed=None, dtype=dtypes.float32),分别用于指定均值、标准差、随机数种子和随机数的数据类型,一般只需要设置stddev这一个参数就可以了。
8、tf.variance_scaling_initializer()
可简写为tf.VarianceScaling()
参数为(scale=1.0,mode="fan_in",distribution="normal",seed=None,dtype=dtypes.float32)
scale: 缩放尺度(正浮点数)
mode: "fan_in", "fan_out", "fan_avg"中的一个,用于计算标准差stddev的值。
distribution:分布类型,"normal"或“uniform"中的一个。
当 distribution="normal" 的时候,生成truncated normal distribution(截断正态分布) 的随机数,其中stddev = sqrt(scale / n) ,n的计算与mode参数有关。
如果mode = "fan_in", n为输入单元的结点数;
如果mode = "fan_out",n为输出单元的结点数;
如果mode = "fan_avg",n为输入和输出单元结点数的平均值。
当distribution="uniform”的时候 ,生成均匀分布的随机数,假设分布区间为[-limit, limit],则 limit = sqrt(3 * scale / n)
来源:https://blog.csdn.net/liushui94/article/details/78947956
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
利用python的socket发送http(s)请求方法示例
![](https://img.aspxhome.com/file/2023/1/68871_0s.png)
golang操作rocketmq的示例代码
YUI3新特性学习
Maui Blazor 使用摄像头实现代码
一句Sql把纵向表转为横向表,并分别分组求平均和总平均值
![](https://img.aspxhome.com/file/2023/6/94416_0s.gif)
对用户研究实践的思考
![](https://img.aspxhome.com/file/UploadPic/201010/19/01-90s.jpg)
python 实现两个npy档案合并
Python实现Keras搭建神经网络训练分类模型教程
![](https://img.aspxhome.com/file/2023/1/127101_0s.jpg)
Vue组件的通信方式详解
![](https://img.aspxhome.com/file/2023/1/133161_0s.jpg)
pygame游戏之旅 调用按钮实现游戏开始功能
![](https://img.aspxhome.com/file/2023/2/87752_0s.jpg)
python运用sklearn实现KNN分类算法
![](https://img.aspxhome.com/file/2023/4/127604_0s.jpg)
Mysql InnoDB多版本并发控制MVCC详解
![](https://img.aspxhome.com/file/2023/7/69767_0s.png)
如何用mysql自带的定时器定时执行sql(每天0点执行与间隔分/时执行)
![](https://img.aspxhome.com/file/2023/6/99496_0s.png)
SQL Server数据体系和应用程序逻辑详解
Symfony2框架创建项目与模板设置实例详解
![](https://img.aspxhome.com/file/2023/9/92809_0s.jpg)