python人工智能tensorflow函数tf.nn.dropout使用方法

作者:Bubbliiiing 时间:2023-11-16 17:45:44 

前言

神经网络在设置的神经网络足够复杂的情况下,可以无限逼近一段非线性连续函数,但是如果神经网络设置的足够复杂,将会导致过拟合(overfitting)的出现,就好像下图这样。

python人工智能tensorflow函数tf.nn.dropout使用方法

看到这个蓝色曲线,我就知道:

很明显蓝色曲线是overfitting的结果,尽管它很好的拟合了每一个点的位置,但是曲线是歪歪曲曲扭扭捏捏的,这个的曲线不具有良好的鲁棒性,在实际工程实验中,我们更希望得到如黑色线一样的曲线。

tf.nn.dropout函数介绍

tf.nn.dropout是tensorflow的好朋友,它的作用是为了减轻过拟合带来的问题而使用的函数,它一般用在每个连接层的输出。

Dropout就是在不同的训练过程中,按照一定概率使得某些神经元停止工作。也就是让每个神经元按照一定的概率停止工作,这次训练过程中不更新权值,也不参加神经网络的计算。但是它的权重依然存在,下次更新时可能会使用到它。

def dropout(x, keep_prob, noise_shape=None, seed=None, name=None)

x 一般是每一层的输出

keep_prob,保留keep_prob的神经元继续工作,其余的停止工作与更新

在实际定义每一层神经元的时候,可以加入dropout。

def add_layer(inputs,in_size,out_size,n_layer,activation_function = None,keep_prob = 1):
   layer_name = 'layer%s'%n_layer
   with tf.name_scope(layer_name):
       with tf.name_scope("Weights"):
           Weights = tf.Variable(tf.random_normal([in_size,out_size]),name = "Weights")
           tf.summary.histogram(layer_name+"/weights",Weights)
       with tf.name_scope("biases"):
           biases = tf.Variable(tf.zeros([1,out_size]) + 0.1,name = "biases")
           tf.summary.histogram(layer_name+"/biases",biases)
       with tf.name_scope("Wx_plus_b"):
           Wx_plus_b = tf.matmul(inputs,Weights) + biases
           #dropout一般加载每个神经层的输出
           Wx_plus_b = tf.nn.dropout(Wx_plus_b,keep_prob)
           #看这里看这里,dropout在这里。
           tf.summary.histogram(layer_name+"/Wx_plus_b",Wx_plus_b)
       if activation_function == None :
           outputs = Wx_plus_b
       else:
           outputs = activation_function(Wx_plus_b)
       tf.summary.histogram(layer_name+"/outputs",outputs)
       return outputs

但需要注意的是,神经元的输出层不可以定义dropout参数。因为输出层就是输出的是结果,在输出层定义参数的话,就会导致输出结果被dropout掉。

例子

本次例子使用sklearn.datasets,在进行测试的时候,我们只需要改变最下方keep_prob:0.5的值即可,1代表不进行dropout。

代码

import tensorflow as tf
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import LabelBinarizer
digits = load_digits()
X = digits.data
y = digits.target
y = LabelBinarizer().fit_transform(y)
X_train,X_test,Y_train,Y_test = train_test_split(X,y,test_size = 500)
def add_layer(inputs,in_size,out_size,n_layer,activation_function = None,keep_prob = 1):
   layer_name = 'layer%s'%n_layer
   with tf.name_scope(layer_name):
       with tf.name_scope("Weights"):
           Weights = tf.Variable(tf.random_normal([in_size,out_size]),name = "Weights")
           tf.summary.histogram(layer_name+"/weights",Weights)
       with tf.name_scope("biases"):
           biases = tf.Variable(tf.zeros([1,out_size]) + 0.1,name = "biases")
           tf.summary.histogram(layer_name+"/biases",biases)
       with tf.name_scope("Wx_plus_b"):
           Wx_plus_b = tf.matmul(inputs,Weights) + biases
           Wx_plus_b = tf.nn.dropout(Wx_plus_b,keep_prob)
           tf.summary.histogram(layer_name+"/Wx_plus_b",Wx_plus_b)
       if activation_function == None :
           outputs = Wx_plus_b
       else:
           outputs = activation_function(Wx_plus_b)
       tf.summary.histogram(layer_name+"/outputs",outputs)
       return outputs
def compute_accuracy(x_data,y_data,prob = 1):
   global prediction
   y_pre = sess.run(prediction,feed_dict = {xs:x_data,keep_prob:prob})
   correct_prediction = tf.equal(tf.arg_max(y_data,1),tf.arg_max(y_pre,1))
   accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32))
   result = sess.run(accuracy,feed_dict = {xs:x_data,ys:y_data,keep_prob:prob})
   return result
keep_prob = tf.placeholder(tf.float32)
xs = tf.placeholder(tf.float32,[None,64])
ys = tf.placeholder(tf.float32,[None,10])
l1 = add_layer(xs,64,100,'l1',activation_function=tf.nn.tanh, keep_prob = keep_prob)
l2 = add_layer(l1,100,100,'l2',activation_function=tf.nn.tanh, keep_prob = keep_prob)
prediction = add_layer(l1,100,10,'l3',activation_function = tf.nn.softmax, keep_prob = 1)
with tf.name_scope("loss"):
   loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=ys,logits = prediction),name = 'loss')
   tf.summary.scalar("loss",loss)
train = tf.train.AdamOptimizer(0.01).minimize(loss)
init = tf.initialize_all_variables()
merged = tf.summary.merge_all()
with tf.Session() as sess:
   sess.run(init)
   train_writer =  tf.summary.FileWriter("logs/strain",sess.graph)
   test_writer = tf.summary.FileWriter("logs/test",sess.graph)
   for i in range(5001):
       sess.run(train,feed_dict = {xs:X_train,ys:Y_train,keep_prob:0.5})
       if i % 500 == 0:
           print("训练%d次的识别率为:%f。"%((i+1),compute_accuracy(X_test,Y_test,prob=0.5)))
           train_result = sess.run(merged,feed_dict={xs:X_train,ys:Y_train,keep_prob:0.5})
           test_result = sess.run(merged,feed_dict={xs:X_test,ys:Y_test,keep_prob:0.5})
           train_writer.add_summary(train_result,i)
           test_writer.add_summary(test_result,i)

keep_prob = 0.5

训练结果为:

训练1次的识别率为:0.086000。
训练501次的识别率为:0.890000。
训练1001次的识别率为:0.938000。
训练1501次的识别率为:0.952000。
训练2001次的识别率为:0.952000。
训练2501次的识别率为:0.946000。
训练3001次的识别率为:0.940000。
训练3501次的识别率为:0.932000。
训练4001次的识别率为:0.970000。
训练4501次的识别率为:0.952000。
训练5001次的识别率为:0.950000。

这是keep_prob = 0.5时tensorboard中的loss的图像:

python人工智能tensorflow函数tf.nn.dropout使用方法

keep_prob = 1

训练结果为:

训练1次的识别率为:0.160000。
训练501次的识别率为:0.754000。
训练1001次的识别率为:0.846000。
训练1501次的识别率为:0.854000。
训练2001次的识别率为:0.852000。
训练2501次的识别率为:0.852000。
训练3001次的识别率为:0.860000。
训练3501次的识别率为:0.854000。
训练4001次的识别率为:0.856000。
训练4501次的识别率为:0.852000。
训练5001次的识别率为:0.852000。

这是keep_prob = 1时tensorboard中的loss的图像:

python人工智能tensorflow函数tf.nn.dropout使用方法

可以明显看出来keep_prob = 0.5的训练集和测试集的曲线更加贴近。

来源:https://blog.csdn.net/weixin_44791964/article/details/96972541

标签:python,人工智能,tensorflow,dropout
0
投稿

猜你喜欢

  • python代码实现猜拳小游戏

    2023-10-16 19:00:46
  • python实现图片彩色转化为素描

    2021-12-02 03:57:36
  • 详解Python直接赋值,深拷贝和浅拷贝

    2023-05-18 12:09:34
  • SQL Server 获取服务器时间的sql语句

    2024-01-20 02:14:52
  • 浅析Go语言中的Range关键字

    2024-02-10 10:57:42
  • python之生产者消费者模型实现详解

    2021-12-03 14:37:15
  • 一款强大的端到端测试工具Playwright介绍

    2021-06-19 11:59:55
  • python基础之迭代器与生成器

    2022-02-20 07:07:54
  • mysql索引必须了解的几个重要问题

    2024-01-27 17:58:54
  • Django 多语言教程的实现(i18n)

    2022-12-18 22:41:39
  • MSSQL MySQL 数据库分页(存储过程)

    2024-01-29 13:28:13
  • python如何制作英文字典

    2021-12-01 10:30:00
  • Pytorch中的广播机制详解(Broadcast)

    2022-11-17 05:22:51
  • Javascript实现信息滚动效果

    2023-07-02 05:15:55
  • django富文本编辑器的实现示例

    2021-02-02 06:20:33
  • python自动分箱,计算woe,iv的实例代码

    2022-10-13 22:51:50
  • 分享十个Python超级好用提高工作效率的自动化脚本

    2021-06-26 17:17:16
  • 源码解析python中randint函数的效率缺陷

    2023-01-24 01:23:54
  • python实现xml转json文件的示例代码

    2023-09-29 23:52:50
  • python 实现汉诺塔游戏

    2021-06-28 10:47:51
  • asp之家 网络编程 m.aspxhome.com