python中编写config文件并及时更新的方法

0. Intro

• 在pytorch或者其他深度学习框架中，有许多超参数需要调整，包括learning_rate，training_data_path等，因此编写一个config文件统一存放这些参数，方便调用/查看/修改还是很有必要的。下面是我使用过的一种很简单的方式，不是很优雅，小模型下初步的微调已经够用，希望也对你有所帮助，有更好更pro的方式欢迎大家留言~

• 我这里的目录结构:

• MLP

• mlp.ipynb: 用于training等

• config.py: 存放超参数、路径

• data

• targets：targets data path

• train：training data path

1. config.py

这个.py文件实际上是一个class，大概如下:

class DefaultConfig(object):

# dataset划分
   batch_size = 40
   train_pct = 0.7
   vali_pct = 0.2
   test_pct = 0.1

#learning rate
   learning_rate = 1e-3

# Training data
   train_path = r"../data/train"
   target_path_metric = r"../data/targets"

2. 调用以及更新

写成class之后，在mlp.ipynb中调用只需要引用一下就完事了:

import config  # import进来
reload(config)  ################## 注意这里必须reload！！
from config import DefaultConfig# 引入class

opt = DefaultConfig()# 实例config对象

# 这里名字最好保持和clas内部一致，方便检查
batch_size = opt.batch_size
train_pct = opt.train_pct
vali_pct = opt.vali_pct
test_pct = opt.test_pct

注意，很可能当我们改动config.py之后，外部文件的参数不会及时更新，所以加入reload语句是一个很好的习惯

import config  # import进来
reload(config)  ################## 注意这里必须reload！！

来源：https://blog.csdn.net/qq_42147816/article/details/129224306