Python移动测试开发subprocess模块项目实战

作者:opentest-oper@360.cn 时间:2022-09-06 11:11:19 

一、背景

我们日常测试中存在大量重复的造数操作,且流程较长,为了提升测试效率,我们搭建了数据构造平台。平台采用了前端 + 脚本分离的形式,数据构造脚本独立存在,页面和脚本的关联关系通过页面配置进行绑定。

页面配置中,包含了脚本的路径以及启动命令,因此,运行脚本的时候需要在服务器上启动子进程中去执行脚本命令。为了能够了解脚本的执行情况,还需要获取脚本的执行状态以及执行日志。

平台后端语言是 Python,因此,选择了 Python 中的 subprocess 模块,本文重点阐述 subprocess 模块在项目实战中遇到的问题以及解决方案。

本文涉及的程序执行环境如下:

Python 版本:3.8.3

操作系统:windows server

二、subprocess 模块基础

subprocess 模块允许我们启动一个新进程,并连接到它们的输入/输出/错误管道,从而获取返回值。subprocess 模块首先推荐使用的是它的 run 方法,更高级的用法可以直接使用 Popen 接口。

1. subprocess.run 方法

subprocess.run() 方法是 3.5 版本新增的,用于可以接受等待进程执行结束后获取返回值的场景,如果可以满足使用需求,官方推荐使用 run() 方法。
subprocess.run() 的执行过程是同步的,脚本执行结束之前是阻塞的,只有脚本结束之后才会返回 subprocess.CompletedProcess 对象。

2. subprocess.Popen 方法

subprocess.Popen() 是 subprocess 的核心,子进程的创建和管理都靠它处理。Popen() 相当于 run() 的高级版本,更加灵活,使开发人员能够处理 run() 方法未涵盖的更丰富的场景。subprocess.Popen() 是异步的,进程启动以后,我们可以通过预先指定好的 stdout 和 stderr 来实时读取到子进程的输出。

subprocess.Popen()常用参数介绍:

args:shell命令,可以是字符串或者序列类型(如:list,元组)

stdin, stdout, stderr:分别表示程序的标准输入、输出、错误句柄

shell:如果该参数为 True,将通过操作系统的 shell 执行指定的命令,args只能是String类型的参数;该参数为False,args可以是序列类型。

Popen 对象常用方法:

poll(): 检查进程是否终止,如果终止返回 returncode,否则返回 None,项目中通过该方法返回判断进程是否执行结束。

wait(timeout): 等待子进程终止,如果进程执行时间较长,可以使用该方法来保证进程执行完整。

communicate(input,timeout): 和子进程交互,发送和读取数据。

send_signal(singnal): 发送信号到子进程 。

terminate(): 停止子进程,也就是发送SIGTERM信号到子进程。

kill(): 杀死子进程。发送 SIGKILL 信号到子进程。

3. run 与 Popen 的同步/异步对比实验

Run() 和 Popen() 同步/异步的简单对比如下:

Python移动测试开发subprocess模块项目实战

Python移动测试开发subprocess模块项目实战

从执行结果可以看出,Popen 在子进程执行过程中就可以获取到日志,run 需要等待进程执行完成才能获取到日志。如果需要执行的命令耗时很短,可以选择 run 方法。因为我们的数据构造流程通常比较长,需要实时获取日志,所以选择了 Popen。

三、遇到的问题与解决方案

在使用 Popen 的过程中也遇到了一些问题,下面将具体介绍一下遇到的问题以及解决方案。

如何保证获取到完整的进程执行日志

subprocess.Popen() 可以获取到执行过程中的日志了,那我们如何保证进程日志获取的完整性呢?我们来看下具体方案:

方案一:这是我们最开始采用的方案。通过获取方法 poll() 返回的状态码来检查进程是否终止。如果终止,返回 returncode,否则返回 None,代码如下:

Python移动测试开发subprocess模块项目实战

该方案在使用的过程中存在问题。当子程序已经执行完毕,日志还没有获取完整,会出现日志接收不全的情况。为了解决这种问题,保证日志的完整性,我们选择通过判断日志是否读取完毕作为判断依据,详细参见方案二。

方案二:通过判断日志是否读取完毕保证日志完整性。代码如下:

Python移动测试开发subprocess模块项目实战

这种方法看似解决了日志不全的问题,但是存在着一定的风险。日志为 None 无法有效保证子进程执行结束(虽然经过多方实践,暂时没有发现日志为 None 但脚本未执行结束的情况)。为了安全起见,我们还是需要兼顾一下进程的执行状态,具体参见方案三。

方案三:通过判断 poll() 返回状态和日志返回值,也就是说,程序状态结束且返回对象为空,才表示子进程已经执行结束,并且获取到了完整的日志,代码如下:

Python移动测试开发subprocess模块项目实战

该方案已经比较完善了,通过子进程执行结束并且执行日志为 None,保证执行日志的完整性。美中不足的是,日志信息可能会比实际的多一些,当输出先读取完毕,子进程还没有结束,我们会获取到一部分空行,为了日志的美观度,我们可以进一步优化,获取日志的时候,过滤掉空行,代码如下:

Python移动测试开发subprocess模块项目实战

通过判断输出流和进程的执行状态,完美的解决了上面的问题,保证了日志的完整性与正确性。

如何保证脚本进程正常终止 当脚本执行以后,我们可能会因为某些原因想终止脚本的运行,如参数错误等。 在我们项目代码中,使用 Popen.terminate() 去终止进程的时候,发现命令只终止了父进程,唤起的子进程仍然在执行。

为了找到原因,先看一下项目中创建 Popen 的代码:

Python移动测试开发subprocess模块项目实战

参数介绍的时候提到过,shell 为 True 或 False 时,command 的类型是有要求的。因为我们 command 传值是 String 类型,参数 shell 只能设置为 True。当 shell=True 的时,程序会创建一个 shell 进程,command 是 shell 进程的子进程。

我们再来看下 Popen.terminate() 做了什么?官方的说明如下:

Stop the child. On POSIX OSs the method sends SIGTERM to the child. On Windows the Win32 API function TerminateProcess()is called to stop the child

也就是说,在 POSIX 系统中,该方法会发送 SIGTERM 信号给子进程;

在 Windows 系统中,该方法会调用 Win32 提供的 API TerminateProcess() 方法。

原因很清晰了,当 shell=True 的时候,发送 SIGTERM 能够杀死 shell 进程,但是无法杀死它的子进程(command);windows 系统中同理,TerminateProcess() 杀死了 shell 进程,却没有杀死它的子进程(command)。

解决方案如下:

方案一:比较优雅的方式,创建 Popen 对象时,将参数 shell 设为 False。实践发现,当 shell=False 的时候,Popen.terminate() 方法的执行结果是符合预期的;

subprocess.Popen(command, shell=False)

前面提到过,因为 command 格式问题,在我们项目中,shell 只能设置为 True,所以我们又探索了新的解决方案。

方案二:手动终止进程。使用第三方工具包 psutil,获取全部的子进程并逐一杀掉,该方法在 Linux 和 windows 平台通用。代码见下图。

Python移动测试开发subprocess模块项目实战

在 windows 服务器下,还可以用以下命令:

taskkill /t /f /pid {pid},强制杀掉指定进程以及它的子进程。

windows 平台的方案无需第三方依赖,所以我们项目中选择了该方案,项目代码如下:

Python移动测试开发subprocess模块项目实战

来源:https://testerhome.com/articles/33126

标签:Python,测试开发,subprocess
0
投稿

猜你喜欢

  • XML HttpRequst对象学习

    2007-10-12 19:04:00
  • Golang函数这些神操作你知道哪些

    2024-04-26 17:22:15
  • SQL Server 2022 AlwaysOn新特性之包含可用性组详解

    2024-01-26 07:51:49
  • JavaScript中函数声明与函数表达式的区别详解

    2024-04-19 10:02:34
  • 在IE下获取object(ActiveX)的Param

    2009-05-15 13:07:00
  • webpack5的entry和output配置小白学习

    2024-04-30 09:52:08
  • PHP使用laravel邮件服务发送邮件

    2023-05-25 03:48:23
  • 将TensorFlow的模型网络导出为单个文件的方法

    2022-11-11 07:30:13
  • Array.prototype.slice

    2010-05-07 12:43:00
  • Python错误的处理方法

    2021-08-01 05:38:15
  • javascript的this关键字详解

    2024-04-17 10:08:44
  • JavaScript生成.xls文件的代码

    2024-04-22 22:17:34
  • 在Django中限制已登录用户的访问的方法

    2023-02-20 19:55:14
  • python通过pil为png图片填充上背景颜色的方法

    2021-03-01 07:32:38
  • 基于python爬取有道翻译过程图解

    2021-11-03 23:57:27
  • Django框架教程之中间件MiddleWare浅析

    2021-07-15 08:19:43
  • Go web入门Go pongo2模板引擎

    2023-07-22 22:16:43
  • vue指令只能输入正数并且只能输入一个小数点的方法

    2024-06-05 09:20:44
  • 用go gin server来做文件上传服务

    2024-05-29 22:09:12
  • 对于Python异常处理慎用“except:pass”建议

    2023-01-30 02:30:44
  • asp之家 网络编程 m.aspxhome.com