Keras保存模型并载入模型继续训练的实现

作者:凌逆战 时间:2021-08-12 23:23:32 

我们以MNIST手写数字识别为例


import numpy as np
from keras.datasets import mnist
from keras.utils import np_utils
from keras.models import Sequential
from keras.layers import Dense
from keras.optimizers import SGD

# 载入数据
(x_train,y_train),(x_test,y_test) = mnist.load_data()
# (60000,28,28)
print('x_shape:',x_train.shape)
# (60000)
print('y_shape:',y_train.shape)
# (60000,28,28)->(60000,784)
x_train = x_train.reshape(x_train.shape[0],-1)/255.0
x_test = x_test.reshape(x_test.shape[0],-1)/255.0
# 换one hot格式
y_train = np_utils.to_categorical(y_train,num_classes=10)
y_test = np_utils.to_categorical(y_test,num_classes=10)

# 创建模型,输入784个神经元,输出10个神经元
model = Sequential([
   Dense(units=10,input_dim=784,bias_initializer='one',activation='softmax')
 ])

# 定义优化器
sgd = SGD(lr=0.2)

# 定义优化器,loss function,训练过程中计算准确率
model.compile(
 optimizer = sgd,
 loss = 'mse',
 metrics=['accuracy'],
)

# 训练模型
model.fit(x_train,y_train,batch_size=64,epochs=5)

# 评估模型
loss,accuracy = model.evaluate(x_test,y_test)

print('\ntest loss',loss)
print('accuracy',accuracy)

# 保存模型
model.save('model.h5')  # HDF5文件,pip install h5py

Keras保存模型并载入模型继续训练的实现

Keras保存模型并载入模型继续训练的实现

载入初次训练的模型,再训练


import numpy as np
from keras.datasets import mnist
from keras.utils import np_utils
from keras.models import Sequential
from keras.layers import Dense
from keras.optimizers import SGD
from keras.models import load_model
# 载入数据
(x_train,y_train),(x_test,y_test) = mnist.load_data()
# (60000,28,28)
print('x_shape:',x_train.shape)
# (60000)
print('y_shape:',y_train.shape)
# (60000,28,28)->(60000,784)
x_train = x_train.reshape(x_train.shape[0],-1)/255.0
x_test = x_test.reshape(x_test.shape[0],-1)/255.0
# 换one hot格式
y_train = np_utils.to_categorical(y_train,num_classes=10)
y_test = np_utils.to_categorical(y_test,num_classes=10)

# 载入模型
model = load_model('model.h5')

# 评估模型
loss,accuracy = model.evaluate(x_test,y_test)

print('\ntest loss',loss)
print('accuracy',accuracy)

# 训练模型
model.fit(x_train,y_train,batch_size=64,epochs=2)

# 评估模型
loss,accuracy = model.evaluate(x_test,y_test)

print('\ntest loss',loss)
print('accuracy',accuracy)

# 保存参数,载入参数
model.save_weights('my_model_weights.h5')
model.load_weights('my_model_weights.h5')
# 保存网络结构,载入网络结构
from keras.models import model_from_json
json_string = model.to_json()
model = model_from_json(json_string)

print(json_string)

关于compile和load_model()的使用顺序

这一段落主要是为了解决我们fit、evaluate、predict之前还是之后使用compile。想要弄明白,首先我们要清楚compile在程序中是做什么的?都做了什么?

compile做什么?

compile定义了loss function损失函数、optimizer优化器和metrics度量。它与权重无关,也就是说compile并不会影响权重,不会影响之前训练的问题。

如果我们要训练模型或者评估模型evaluate,则需要compile,因为训练要使用损失函数和优化器,评估要使用度量方法;如果我们要预测,则没有必要compile模型。

是否需要多次编译?

除非我们要更改其中之一:损失函数、优化器 / 学习率、度量

又或者我们加载了尚未编译的模型。或者您的加载/保存方法没有考虑以前的编译。

再次compile的后果?

如果再次编译模型,将会丢失优化器状态.

这意味着您的训练在开始时会受到一点影响,直到调整学习率,动量等为止。但是绝对不会对重量造成损害(除非您的初始学习率如此之大,以至于第一次训练步骤疯狂地更改微调的权重)。

来源:https://www.cnblogs.com/LXP-Never/p/11601404.html

标签:Keras,保存模型,加载模型
0
投稿

猜你喜欢

  • Pytorch自定义CNN网络实现猫狗分类详解过程

    2023-10-27 19:51:02
  • php实现比较全的数据库操作类

    2023-11-22 02:15:10
  • python使用nibabel和sitk读取保存nii.gz文件实例

    2021-03-11 16:12:53
  • python中如何使用insert函数

    2023-08-02 17:04:43
  • python将ip地址转换成整数的方法

    2022-10-17 23:40:23
  • 用XML创建可排序、分页的数据显示页面

    2008-04-22 18:25:00
  • python中dump与dumps实现序列化

    2023-01-13 22:46:16
  • 一个asp版XMLDOM操作类

    2011-04-19 10:50:00
  • 关于设计的六个误会

    2008-06-26 18:18:00
  • 注册表单的改进分解

    2008-05-31 17:19:00
  • django foreignkey外键使用的例子 相当于left join

    2021-04-17 15:52:33
  • javascript修正12个浏览器兼容问题[译]

    2009-04-23 12:19:00
  • PHP和JavaScrip分别获取关联数组的键值示例代码

    2023-06-16 05:30:51
  • 利用python进行文件操作

    2022-01-09 10:49:51
  • pytorch 如何把图像数据集进行划分成train,test和val

    2023-12-26 15:28:10
  • Python采集某评论区内容的实现示例

    2023-02-28 15:07:10
  • 轻松掌握python设计模式之策略模式

    2022-01-19 00:17:15
  • python 按不同维度求和,最值,均值的实例

    2023-06-12 15:08:23
  • Keras中的多分类损失函数用法categorical_crossentropy

    2023-06-23 12:25:37
  • python文件处理详解

    2023-11-01 21:48:34
  • asp之家 网络编程 m.aspxhome.com