移动测试开发Mitmproxy用于测试抓包神器详解

作者:opentest-oper@360.cn 时间:2023-08-30 23:34:55 

1.前言

在移动商业广告的测试的工作中,经常会需要对广告请求进行捕获和分析,常使用的有两个测试工具:fiddler,Charles,这两个工具都可以对广告请求进行抓包,断点调试,请求替换,构造请求等,但是这两个工具都有一定的局限性。首先,fiddler 只能在 windows 上运行,charles 虽然可以在 mac,windows 上运行,但是收费。其次,在商业广告请求中经常会对接口协议进行加密处理,使用 fiddler 和 charles 就不容易解决了。最后,商业广告测试中需要对广告请求协议的各种字段进行校验,但业务涉及到多字段修改的情况下,再利用 fiddler 和 charles 逐一校验判断显然很浪费时间。经过调研和实际应用,我们发现 mitmproxy 这个工具非常灵活,它是基于 Python 开发的开源工具,提供了 Python API,可以通过载入自定义 python 脚本轻松控制请求和响应。这是其它工具所不能做到的,通过自定义脚本进行二次开发,能够解决商业广告测试过程中所遇到的问题。

2.Mitmproxy 简介

MITM(Man In The Middle Attack)中间人攻击,这种攻击模式是通过各种技术手段将受入侵者控制的一台计算机虚拟放置在网络连接中的两台通信计算机之间,这台计算机就称为 “中间人”。mitmproxy 就是用于 MITM 的 proxy,用于中间人攻击的代理。首先会向正常的代理一样转发请求,保障服务端与客户端的通信,其次,会适时的查、记录其截获的数据,或篡改数据,引发服务端或客户端特定的行为。

mitmproxy 有两个关联组件。一个是 mitmdump,它是 mitmproxy 的命令行接口,利用它我们可以对接 Python 脚本,用 Python 实现监听后的处理逻辑。另一个是 mitmweb,它是一个 Web 程序,通过它我们可以清楚观察 mitmproxy 捕获的请求。

3.Mitmproxy 工作原理

mitmproxy 有 5 种代理模式,主要包含:正向代理,透明代理,反向代理,上游代理,socks 代理,在实际使用中经常用到正向代理,mitmproxy 作为正向代理是一个位于客户端和原始服务器 (origin server) 之间的服务器,为了从原始服务器取得内容,客户端向 mitmproxy 代理发送一个请求并指定目标 (原始服务器),然后代理向原始服务器转交请求并将获得的内容返回给客户端。客户端必须要进行一些特别的设置才能使用正向代理。

我们以 HTTPS 请求为例介绍一下 mitmproxy 作为正向代理抓包的过程:

移动测试开发Mitmproxy用于测试抓包神器详解

①. 客户端连接到 mitmproxy,并发出 HTTP 连接请求。

②. mitmproxy 响应建立了一个 200 的连接

③. 客户端认为它正在与远程服务器通信,并启动 SSL 连接。使用 SNI 来指定它连接到的主机名。

④. mitmproxy 使用客户端指定的 SNI 主机名与服务端建立一个 SSL/TLS 连接。

⑤. 服务器使用匹配的证书进行响应,该证书包含生成拦截证书所需的 CN 和 SAN 值。

⑥. mitmproxy 生成拦截证书,并继续跟客户端 SSL/TLS 握手。

⑦. 客户端通过已建立的 SSL/TLS 连接发送请求。

⑧. mitmproxy 通过步骤 ④ 中启动的 SSL/TLS 连接将请求传递到服务器。

4.实践应用

解决多字段校验效率问题:

商业广告测试中有大量的重复性工作在打点校验上,为了节省测试时间和解决易漏测的问题,我们可以利用 mitmproxy 二次开发,自定义业务相关的校验规则,然后通过捕获请求对协议中的各个字段进行自动化校验,这样既可以提高测试效率,又避免了漏测问题。

以所测广告业务为例,首先建立 addons.py 文件,addons 是个列表,每个元素是一个类实例,这些类,称为一个个 addon,这些类有若干方法,这些方法实现了某些 mitmproxy 提供的事件,mitmproxy 会在某个事件发生时调用对应的方法。如下图所示为 addons 文件内容,其中 SemiNativeCSJAd 则为 addon。

移动测试开发Mitmproxy用于测试抓包神器详解

SemiNativeCSJAd 类中实现了 mitmproxy 提供的 request 和 response 事件,当触发该事件的时候,就会调用对应的方法。

移动测试开发Mitmproxy用于测试抓包神器详解

其中将所有类型的广告打点中的公共字段校验抽取成公共方法 semiNativeCSJfieldCheck 调用。如下图所示:

移动测试开发Mitmproxy用于测试抓包神器详解

通过以上方式,简单且有效的解决了多个字段校验问题。

解决商业广告中加解密问题:

商业广告有不同的渲染形态,例如:激励视频类,模板类,在实际测试过程中,需要测试人员 mock 不同的广告进行测试,不仅如此,还会遇到需要对广告进行加解密的情况,那么具体应该怎么解决呢?以所测的广告业务为例需要做以下几个步骤:

①. mitmproxy 拦截客户端发起的请求并获取某字段

②. 利用 RSA 算法根据请求的某字段解密获取到秘钥

③. 利用 AES 算法和 ② 步骤的秘钥,对本地广告内容进行加密

④. mitmproxy 将加密的广告返回给客户端

如下图是实现的代码,此 mockMaxFile 函数还可以根据入参传入不同广告文件即可实现不同广告的 mock。

移动测试开发Mitmproxy用于测试抓包神器详解

5.总结

来源:https://testerhome.com/articles/33475

标签:移动测试,Mitmproxy,抓包
0
投稿

猜你喜欢

  • Python实现视频下载功能

    2022-04-06 13:42:14
  • Python Django框架url反向解析实现动态生成对应的url链接示例

    2021-08-23 04:30:38
  • Python 画出来六维图

    2022-03-14 04:01:15
  • SQL Server口令 sql server安全性第1/2页

    2024-01-22 19:00:15
  • 浅谈Python基础—判断和循环

    2021-04-21 03:53:46
  • 使用Python画出小人发射爱心的代码

    2022-08-07 01:52:16
  • python实现统计代码行数的方法

    2021-06-23 11:24:17
  • Python正则表达式教程之三:贪婪/非贪婪特性

    2023-08-14 20:20:12
  • 各种页面定时跳转(倒计时跳转)代码总结

    2023-09-05 00:12:01
  • Python处理XML格式数据的方法详解

    2021-04-10 22:25:07
  • JQuery中serialize()用法实例分析

    2024-04-22 22:22:25
  • vue设计一个倒计时秒杀的组件详解

    2024-05-09 10:41:55
  • MySQL基于索引的压力测试的实现

    2024-01-19 05:56:23
  • MySQL优化之大字段longtext、text所生产的问题

    2024-01-28 11:37:43
  • 如何用变量实现群聊和悄悄话?

    2010-05-19 21:33:00
  • php将textarea数据提交到mysql出现很多空格的解决方法

    2023-09-11 01:10:08
  • 利用python写api接口实战指南

    2021-03-29 06:07:18
  • Django框架中间件(Middleware)用法实例分析

    2021-01-04 09:27:38
  • python 从文件夹抽取图片另存的方法

    2022-08-26 13:00:55
  • Golang巧用defer进行错误处理的方法

    2023-08-05 03:21:13
  • asp之家 网络编程 m.aspxhome.com