python超详细实现字体反爬流程

作者:梦想橡皮擦 时间:2022-08-30 22:39:03 

查策实战场景

本次要采集的目标站点是查策,该测试站点如下所示。

python超详细实现字体反爬流程

目标站点网址如下

www.chacewang.com/chanye/news?newstype=sbtz

该站点的新闻资讯类信息很容易采集,通过开发者工具查看了一下,并不存在加密反爬。

但字体反爬还是存在的,案例寻找过程非常简单,只需要开发者工具切换到网络,字体视图,然后预览一下字体文件即可。

python超详细实现字体反爬流程

可以看到仅数字进行了顺序变换。

接下来就是实战解码的过程,可以通过 FontCreator 查看一下该字体内容。

字体实战解码

随机下载一个字体文件打开之后发现出事情了,字体文件内容如下所示。

python超详细实现字体反爬流程

其中除了简易的数字外,还存在大量的中文字符,也就是存在一种可能性,网页中的部分中文字符也被替换掉了。

我们拿一个【类】字做一下测试。

结果在页面中检索了一下,发现并没有发生变化,而且通过计算样式查看,得到的字体是平方和微软雅黑?

可能网站升级之后,字体反爬只保留了数字部分。

python超详细实现字体反爬流程

既然这样,那整体的难度就降低了~

我们随机访问一个页面,获取其网页源码内容。

访问公告类信息,需要提前登录,注册一个账号即可

import requests
headers = {
   "content-type": "application/json",
   "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) 你的 UA 信息",
   "Referer": "https://www.chacewang.com/chanye/news?newstype=sbtz",
   "cookie": "cityinfo={%22citycode%22:%22RegisterArea_HBDQ_Hebei_ShiJiaZhuangShi%22%2C%22cityname%22:%22%E7%9F%B3%E5%AE%B6%E5%BA%84%22}; 你的 COOKIES 信息"
}
res = requests.get('https://www.chacewang.com/news/detail?guid=KZwvLqpBVgE5AXB67k4XQY734MnG6ayo', headers=headers)
print(res.text)

结果运行代码之后,返回了一堆乱码。

python超详细实现字体反爬流程

橡皮擦原以为还有什么加密逻辑存在,结果发现多虑了,只是一个异步加载,真正的数据接口在下面。

web.chace-ai.com/api/gov/news/getDetailById/?id=KZwvLqpBVgE5AXB67k4XQY734MnG6ayo

接口一换,数据就可以获取到了。

import requests
headers = {
   "content-type": "application/json",
   "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36",
   "Referer": "https://www.chacewang.com/chanye/news?newstype=sbtz",
   "authorization": "Bearer eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1Ni 这个值每次登录都会切换"
}
res = requests.get('https://web.chace-ai.com/api/gov/news/getDetailById/?id=KZwvLqpBVgE5AXB67k4XQY734MnG6ayo', headers=headers)
print(res.text)

python超详细实现字体反爬流程

此时也发现了数据差异,接口返回和页面展现,差异如下所示。

python超详细实现字体反爬流程

此时字体反爬逻辑已经发现,但是字体文件还存在如下逻辑:

  • 每次请求有 2 个字体文件,确定哪一个影响;

  • 字体文件每次刷新都会产生变化;

  • 字体文件名每次刷新都会产生变化。

解决第一个问题,确定目标字体文件,该操作很简单,只需要通过文件替换规则比对即可,例如下图中响应中的 0 被替换为 2。

python超详细实现字体反爬流程

解决第三个问题,如何获取字体文件名。

在网络视图页面,唤醒搜索框,搜索字体文件名,发现其在 2 个请求中出现。第一个是字体文件,第二个是我们上文请求的数据接口。

python超详细实现字体反爬流程

检索之后发现字体文件名在接口返回的 news_set 参数中,并且是部分字符串,稍后我们截取字符串即可。

python超详细实现字体反爬流程

字体反爬编码时间

下面我们编写获取字体文件的代码,如下所示,下述代码注意自行获取一下 UA 值和 authorization 值。

import requests
headers = {
   "content-type": "application/json",
   "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) ",
   "Referer": "https://www.chacewang.com/chanye/news?newstype=sbtz",
   "authorization": "Bearer "
}
res = requests.get('https://web.chace-ai.com/api/gov/news/getDetailById/?id=KZwvLqpBVgE5AXB67k4XQY734MnG6ayo', headers=headers)
# 获取字体文件名
font_name = res.json()['data']['news_set'][:16]
res = requests.get(f'https://web.chace-ai.com/media/fonts/{font_name}.woff', headers=headers)
# 保存字体文件
file_woff =f'./fonts/{font_name}.woff'
with open(file_woff, 'wb') as f:
   f.write(res.content)

后续逻辑就变得简单了,本文仅展示字体呈现部分逻辑,其安装 fontTools 模块,并使用下述命令行导入相关功能。

from fontTools.ttLib import TTFont

字体文件读取代码如下所示。

# 读取文件
with open(file_woff, 'rb') as font_file:
   font = TTFont(io.BytesIO(font_file.read()))  # 转换成字体对象
print(font)
# 获取 cmap
font_obj = font['cmap']
# 获取 cmap table
font_tables = font['cmap'].tables
uni_list = font['cmap'].tables[0].ttFont.getGlyphOrder()
print(uni_list[2:12])

查策,查策,就这么简单的解决了站点

来源:https://blog.csdn.net/hihell/article/details/124705025

标签:python,字体,反爬
0
投稿

猜你喜欢

  • python使用PIL和matplotlib获取图片像素点并合并解析

    2021-09-07 15:41:45
  • PL/SQL Number数字类型函数

    2010-07-16 13:09:00
  • SQL Server中通用数据库角色权限的处理详解

    2024-01-18 17:24:27
  • Gradio机器学习模型快速部署工具quickstart前篇

    2023-07-01 15:07:51
  • Django框架表单操作实例分析

    2022-01-27 23:43:59
  • python实现计算器简易版

    2021-01-25 22:43:15
  • 使用Python脚本在Linux下实现部分Bash Shell的教程

    2023-10-02 06:55:28
  • 使用vue3实现一个人喵交流小程序

    2024-04-27 16:03:21
  • python单线程实现多个定时器示例

    2023-05-11 08:59:18
  • 1分钟快速生成用于网页内容提取的xslt

    2021-08-06 17:43:41
  • Oracle中查看正在运行的SQL进程脚本分享

    2024-01-28 11:59:58
  • go语言同步教程之条件变量

    2024-05-05 09:26:34
  • python学习之hook钩子的原理和使用

    2023-08-01 15:55:20
  • python简单文本处理的方法

    2023-08-31 12:33:01
  • 在ORACLE移动数据库文件

    2010-08-02 12:54:00
  • Python将字符串常量转化为变量方法总结

    2023-07-14 00:36:58
  • 轻松搞定IE的CSS制作网页技巧3则

    2009-08-14 20:32:00
  • python爬虫 批量下载zabbix文档代码实例

    2022-11-07 11:10:29
  • 比较详细的完美解决安装sql2000时出现以前的某个程序安装已在安装计算机上创建挂起的文件操作。 <font color=red>原创</font>

    2024-01-27 03:48:54
  • PHP 用数组降低程序的时间复杂度

    2023-10-08 11:38:03
  • asp之家 网络编程 m.aspxhome.com