Python实现解析参数的三种方法详解

作者:周萝卜 时间:2023-09-13 21:46:25 

今天我们分享的主要目的就是通过在 Python 中使用命令行和配置文件来提高代码的效率

Let's go!

我们以机器学习当中的调参过程来进行实践,有三种方式可供选择。第一个选项是使用 argparse,它是一个流行的 Python 模块,专门用于命令行解析;另一种方法是读取 JSON 文件,我们可以在其中放置所有超参数;第三种也是鲜为人知的方法是使用 YAML 文件!好奇吗,让我们开始吧!

Python实现解析参数的三种方法详解

先决条件

在下面的代码中,我将使用 Visual Studio Code,这是一个非常高效的集成 Python 开发环境。这个工具的美妙之处在于它通过安装扩展支持每种编程语言,集成终端并允许同时处理大量 Python 脚本和 Jupyter 笔记本

当然如果你还不知道怎么配置 VSCode,可以看这里

手把手将Visual Studio Code变成Python开发神器

数据集,使用的是 Kaggle 上的共享自行车数据集,可以在这里下载或者在文末获取

使用 argparse

Python实现解析参数的三种方法详解

就像上图所示,我们有一个标准的结构来组织我们的小项目:

  • 包含我们数据集的名为 data 的文件夹

  • train.py 文件

  • 用于指定超参数的 options.py 文件

首先,我们可以创建一个文件 train.py,在其中我们有导入数据、在训练数据上训练模型并在测试集上对其进行评估的基本程序:

import pandas as pd
import numpy as np
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import mean_squared_error, mean_absolute_error

from options import train_options

df = pd.read_csv('data\hour.csv')
print(df.head())
opt = train_options()

X=df.drop(['instant','dteday','atemp','casual','registered','cnt'],axis=1).values
y =df['cnt'].values
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

if opt.normalize == True:
    scaler = StandardScaler()
    X = scaler.fit_transform(X)
    
rf = RandomForestRegressor(n_estimators=opt.n_estimators,max_features=opt.max_features,max_depth=opt.max_depth)
model = rf.fit(X_train,y_train)
y_pred = model.predict(X_test)
rmse = np.sqrt(mean_squared_error(y_pred, y_test))
mae = mean_absolute_error(y_pred, y_test)
print("rmse: ",rmse)
print("mae: ",mae)

在代码中,我们还导入了包含在 options.py 文件中的 train_options 函数。后一个文件是一个 Python 文件,我们可以从中更改 train.py 中考虑的超参数:

import argparse

def train_options():
    parser = argparse.ArgumentParser()
    parser.add_argument("--normalize", default=True, type=bool, help='maximum depth')
    parser.add_argument("--n_estimators", default=100, type=int, help='number of estimators')
    parser.add_argument("--max_features", default=6, type=int, help='maximum of features',)
    parser.add_argument("--max_depth", default=5, type=int,help='maximum depth')
    opt = parser.parse_args()
    return opt

在这个例子中,我们使用了 argparse 库,它在解析命令行参数时非常流行。首先,我们初始化解析器,然后,我们可以添加我们想要访问的参数。

这是运行代码的示例:

python train.py

Python实现解析参数的三种方法详解

要更改超参数的默认值,有两种方法。第一个选项是在 options.py 文件中设置不同的默认值。另一种选择是从命令行传递超参数值:

python train.py --n_estimators 200

我们需要指定要更改的超参数的名称和相应的值。

python train.py --n_estimators 200 --max_depth 7

使用 JSON 文件

Python实现解析参数的三种方法详解

和前面一样,我们可以保持类似的文件结构。在这种情况下,我们将 options.py 文件替换为 JSON 文件。换句话说,我们想在 JSON 文件中指定超参数的值并将它们传递给 train.py 文件。与 argparse 库相比,JSON 文件可以是一种快速且直观的替代方案,它利用键值对来存储数据。下面我们创建一个 options.json 文件,其中包含我们稍后需要传递给其他代码的数据。

{
"normalize":true,
"n_estimators":100,
"max_features":6,
"max_depth":5 
}

如上所见,它与 Python 字典非常相似。但是与字典不同的是,它包含文本/字符串格式的数据。此外,还有一些语法略有不同的常见数据类型。例如,布尔值是 false/true,而 Python 识别 False/True。JSON 中其他可能的值是数组,它们用方括号表示为 Python 列表。

在 Python 中使用 JSON 数据的美妙之处在于,它可以通过 load 方法转换成 Python 字典:

f = open("options.json", "rb")
parameters = json.load(f)

要访问特定项目,我们只需要在方括号内引用它的键名:

if parameters["normalize"] == True:
    scaler = StandardScaler()
    X = scaler.fit_transform(X)
rf=RandomForestRegressor(n_estimators=parameters["n_estimators"],max_features=parameters["max_features"],max_depth=parameters["max_depth"],random_state=42)
model = rf.fit(X_train,y_train)
y_pred = model.predict(X_test)

使用 YAML 文件

Python实现解析参数的三种方法详解

最后一种选择是利用 YAML 的潜力。与 JSON 文件一样,我们将 Python 代码中的 YAML 文件作为字典读取,以访问超参数的值。YAML 是一种人类可读的数据表示语言,其中层次结构使用双空格字符表示,而不是像 JSON 文件中的括号。下面我们展示 options.yaml 文件将包含的内容:

normalize: True 
n_estimators: 100
max_features: 6
max_depth: 5

在 train.py 中,我们打开 options.yaml 文件,该文件将始终使用 load 方法转换为 Python 字典,这一次是从 yaml 库中导入的:

import yaml
f = open('options.yaml','rb')
parameters = yaml.load(f, Loader=yaml.FullLoader)

和前面一样,我们可以使用字典所需的语法访问超参数的值。

最后的想法

配置文件的编译速度非常快,而 argparse 则需要为我们要添加的每个参数编写一行代码。

所以我们应该根据自己的不同情况来选择最为合适的方式

例如,如果我们需要为参数添加注释,JSON 是不合适的,因为它不允许注释,而 YAML 和 argparse 可能非常适合。

来源:https://mp.weixin.qq.com/s/BKi9A_NPmsimg-gmxASpYw

标签:Python,解析,参数
0
投稿

猜你喜欢

  • python自带的http模块详解

    2021-11-03 08:59:22
  • golang 各种排序大比拼实例

    2024-05-21 10:18:27
  • 四个Python操作Excel的常用脚本分享

    2023-12-04 07:04:27
  • 关于Python3爬虫利器Appium的安装步骤

    2022-06-04 15:30:59
  • Python批量删除txt文本指定行的思路与代码

    2021-05-12 22:49:45
  • JS实现简单的抽奖转盘效果示例

    2024-04-22 22:29:39
  • 浅谈关于axios和session的一些事

    2024-05-11 09:49:33
  • python实现FTP文件传输的方法(服务器端和客户端)

    2021-03-29 23:36:08
  • 解决Python图形界面中设置尺寸的问题

    2022-11-12 12:05:02
  • django多种支付、并发订单处理实例代码

    2022-09-02 05:55:09
  • 浅谈tensorflow 中tf.concat()的使用

    2023-07-21 20:24:08
  • 使用ASP常见问题解答

    2007-10-11 14:07:00
  • 关于SQL Server中bit类型字段增删查改的一些事

    2024-01-13 10:07:45
  • 无图片CSS圆角的五个实例

    2008-08-02 12:18:00
  • Python3爬虫之urllib携带cookie爬取网页的方法

    2022-07-01 14:19:02
  • sqlserver中触发器+游标操作实现

    2024-01-20 19:25:42
  • python数据操作之lambda表达式详情

    2022-08-19 21:21:32
  • 如何在小空间放置大图片

    2009-08-04 13:04:00
  • python中while循环语句用法简单实例

    2021-12-03 22:34:44
  • 浅谈Python peewee 使用经验

    2023-09-14 14:20:55
  • asp之家 网络编程 m.aspxhome.com