python起点网月票榜字体反爬案例

作者:豪豪喜欢吃猪肉 时间:2021-03-11 02:56:05 

前言:

字体反爬是什么个意思?就是网站把自己的重要数据不直接的在源代码中呈现出来,而是通过相应字体的编码,与一个字体文件(一般后缀为ttf或woff)把相应的编码转换为自己想要的数据,知道了原理,接下来开始展示才艺

1.解析过程

老规矩哈我们先进入起点月票榜f12调试,找到书名与其对应的月票数据所在,使用xpath尝试提取

 python起点网月票榜字体反爬案例

可以看到刚刚好20条数据,接下来找月票数据:

 python起点网月票榜字体反爬案例

这是什么鬼xpath检索出来20条数据但是数据为空,element中数据显示为未知符号,这貌似没有数据呀,这时我们观察源代码,搜索关键字font-face可以看到这种看不懂的编码,这就是前言中所说的字体的编码。

 我们接下来找字体文件数据包

python起点网月票榜字体反爬案例

 woff文件并且请求地址与这上面看到的地址一样,不过这里需要注意的是每次请求地址都不一样,文件名字也不一样,所以我们需要每爬取一次都要单独爬取一次字体加密数据,字体加密数据可以使用第三方库fonttools进行解析

我们现在拥有:

1.书名

2.月票数据的密文

3.月票数据密文对应的字体文件

2.开始敲代码

首先定义获取书名的函数get_book_name并进行测试:


import requests
from lxml import etree

def get_book_name(xml_obj):
   name_list = xml_obj.xpath("//div[@class='book-mid-info']/h4/a/text()")
   return name_list

if __name__ == '__main__':
   # 设置我们通用的请求头,避免被反爬拦截
   headers_ = {
       'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36',
       'referer': 'https://www.qidian.com/rank/',
       'cookie': 'e1=%7B%22pid%22%3A%22qd_P_rank_19%22%2C%22eid%22%3A%22%22%2C%22l1%22%3A5%7D; e2=%7B%22pid%22%3A%22qd_P_rank_19%22%2C%22eid%22%3A%22%22%2C%22l1%22%3A5%7D; _yep_uuid=6a2ad124-678f-04d3-7195-2e4e9f5c470e; _gid=GA1.2.501012674.1638335311; newstatisticUUID=1638335311_1217304635; _csrfToken=adBfL5dzru0KuzVgLJpxtsE8zQcfgZT8MzKf0aMs; e2=; e1=%7B%22pid%22%3A%22qd_p_qidian%22%2C%22eid%22%3A%22qd_A16%22%2C%22l1%22%3A3%7D; _ga_FZMMH98S83=GS1.1.1638362844.2.1.1638362855.0; _ga_PFYW0QLV3P=GS1.1.1638362844.2.1.1638362855.0; _ga=GA1.2.2025243050.1638335311; _gat_gtag_UA_199934072_2=1'
   }
   url_ = 'https://www.qidian.com/rank/yuepiao/'
   # 请求网页源代码
   str_data = requests.get(url_, headers=headers_).text
   # 使用xpath解析书名
   xml_obj = etree.HTML(str_data)
   print(get_book_name(xml_obj))   # ['从红月开始', '人族镇守使', '全属性武道', '深空彼岸', '我的云养女友', '我用闲书成圣人', '明克街13号', '星门', '东晋北府一丘八', '夜的命名术', '这个人仙太过正经', '顶级气运,悄悄修炼千年', '不科学御兽', '我的治愈系游戏', '这游戏也太真实了', '长夜余火', '赤心巡天', '轮回乐园', '合道', '宇宙职业选手']

2.请求月票数据密文,并进行测试:


import re

import requests
from lxml import etree

# 获取书名
def get_book_name(xml_obj):
   name_list = xml_obj.xpath("//div[@class='book-mid-info']/h4/a/text()")
   return name_list

# 获取月票加密数据
def get_yuepiao(str_data):
   # 这里我们之前分析发现xpath取出来的数据是空值,我们直接对网页源代码使用re正则匹配获取加密数据
   yuepiao_list=re.findall(r'''</style><span class=".*?">(.*?)</span>''',str_data)
   return yuepiao_list

if __name__ == '__main__':
   # 设置我们通用的请求头,避免被反爬拦截
   headers_ = {
       'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36',
       'referer': 'https://www.qidian.com/rank/',
       'cookie': 'e1=%7B%22pid%22%3A%22qd_P_rank_19%22%2C%22eid%22%3A%22%22%2C%22l1%22%3A5%7D; e2=%7B%22pid%22%3A%22qd_P_rank_19%22%2C%22eid%22%3A%22%22%2C%22l1%22%3A5%7D; _yep_uuid=6a2ad124-678f-04d3-7195-2e4e9f5c470e; _gid=GA1.2.501012674.1638335311; newstatisticUUID=1638335311_1217304635; _csrfToken=adBfL5dzru0KuzVgLJpxtsE8zQcfgZT8MzKf0aMs; e2=; e1=%7B%22pid%22%3A%22qd_p_qidian%22%2C%22eid%22%3A%22qd_A16%22%2C%22l1%22%3A3%7D; _ga_FZMMH98S83=GS1.1.1638362844.2.1.1638362855.0; _ga_PFYW0QLV3P=GS1.1.1638362844.2.1.1638362855.0; _ga=GA1.2.2025243050.1638335311; _gat_gtag_UA_199934072_2=1'
   }
   url_ = 'https://www.qidian.com/rank/yuepiao/'
   # 请求网页源代码
   str_data = requests.get(url_, headers=headers_).text
   # 使用xpath解析书名
   xml_obj = etree.HTML(str_data)
   print(get_book_name(xml_obj))   # ['从红月开始', '人族镇守使', '全属性武道', '深空彼岸', '我的云养女友', '我用闲书成圣人', '明克街13号', '星门', '东晋北府一丘八', '夜的命名术', '这个人仙太过正经', '顶级气运,悄悄修炼千年', '不科学御兽', '我的治愈系游戏', '这游戏也太真实了', '长夜余火', '赤心巡天', '轮回乐园', '合道', '宇宙职业选手']
   print(get_yuepiao(str_data))    # ['&#100498;&#100498;&#100496;&#100489;&#100494;', '&#100492;&#100491;&#100496;&#100496;', '&#100492;&#100495;&#100492;&#100497;', '&#100497;&#100489;&#100498;&#100494;', '&#100497;&#100494;&#100491;&#100500;', '&#100497;&#100495;&#100495;&#100489;', '&#100494;&#100497;&#100496;&#100489;', '&#100494;&#100495;&#100497;&#100500;', '&#100494;&#100498;&#100489;&#100495;', '&#100495;&#100494;&#100495;&#100494;', '&#100500;&#100497;&#100497;&#100500;', '&#100500;&#100494;&#100496;&#100499;', '&#100500;&#100500;&#100497;&#100496;', '&#100500;&#100498;&#100497;&#100495;', '&#100500;&#100496;&#100498;&#100496;', '&#100498;&#100492;&#100489;&#100492;', '&#100498;&#100497;&#100492;&#100499;', '&#100498;&#100497;&#100494;&#100499;', '&#100498;&#100494;&#100499;&#100489;', '&#100498;&#100494;&#100495;&#100496;']

3.获取字体加密文件里的对应关系:

安装fonttools库

python起点网月票榜字体反爬案例

 由于第一次使用fonttools库,在使用时遇到了以下错误 查询百度得知可能是由于字体文件名字有误,把名称换成url上面带的就成功的提取出来键值对了

(也可能是我使用re正则提取font_url时候不规范造成url错误)

只是这个键值对怎么编码对应英文,程序员为何为难程序员呢,不说了我们要定义一个英语与阿拉伯数字对应的字典进行对英文的替换


def get_font(xml_obj, headers_):
   # 使用xpath与re获取字体加密数据包地址
   font_div = xml_obj.xpath("//span/style/text()")[0]
   font_url = re.findall("eot.*?(https:.*?.woff)", font_div)[0]
   font_name = str(font_url).rsplit('/', 1)[1]
   # 获取font文件进行本地保存
   font_data = requests.get(font_url, headers_).content
   with open(f'{font_name}', 'wb') as f:
       f.write(font_data)
   # 加载字体文件
   font_data = TTFont(f'{font_name}')
   # font_data.saveXML('字体.xml')
   font_doct01 = font_data.getBestCmap()
   font_doct02 = {
       'period': '.',
       'zero': '0',
       'one': '1',
       'two': '2',
       'three': '3',
       'four': '4',
       'five': '5',
       'six': '6',
       'seven': '7',
       'eight': '8',
       'nine': '9'

}
   for i in font_doct01:
       font_doct01[i]=font_doct02[font_doct01[i]]
   return font_doct01

程序完美运行:

python起点网月票榜字体反爬案例

总代码如下: 


import re

import requests
from lxml import etree
from fontTools.ttLib import TTFont

# 获取书名
def get_book_name(xml_obj):
   name_list = xml_obj.xpath("//div[@class='book-mid-info']/h4/a/text()")
   return name_list

# 获取月票加密数据
def get_yuepiao(str_data):
   # 这里我们之前分析发现xpath取出来的数据是空值,我们直接对网页源代码使用re正则匹配获取加密数据
   yuepiao_list = re.findall(r'''</style><span class=".*?">(.*?)</span>''', str_data)
   return yuepiao_list

def get_font(xml_obj, headers_):
   # 使用xpath与re获取字体加密数据包地址
   font_div = xml_obj.xpath("//span/style/text()")[0]
   font_url = re.findall("eot.*?(https:.*?.woff)", font_div)[0]
   font_name = str(font_url).rsplit('/', 1)[1]
   # 获取font文件进行本地保存
   font_data = requests.get(font_url, headers_).content
   with open(f'{font_name}', 'wb') as f:
       f.write(font_data)
   # 加载字体文件
   font_data = TTFont(f'{font_name}')
   # font_data.saveXML('字体.xml')
   font_doct01 = font_data.getBestCmap()
   font_doct02 = {
       'period': '.',
       'zero': '0',
       'one': '1',
       'two': '2',
       'three': '3',
       'four': '4',
       'five': '5',
       'six': '6',
       'seven': '7',
       'eight': '8',
       'nine': '9'

}
   for i in font_doct01:
       font_doct01[i] = font_doct02[font_doct01[i]]
   return font_doct01

def jiemi(miwen_list, font_list):
   yuepiao = []
   for i in miwen_list:
       num = ''
       mw_list=re.findall('&#(.*?);', i)

for j in mw_list:
           num += font_list[int(j)]
       yuepiao.append(int(num))
   return yuepiao

if __name__ == '__main__':
   # 设置我们通用的请求头,避免被反爬拦截
   headers_ = {
       'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36',
       'referer': 'https://www.qidian.com/rank/',
       'cookie': 'e1=%7B%22pid%22%3A%22qd_P_rank_19%22%2C%22eid%22%3A%22%22%2C%22l1%22%3A5%7D; e2=%7B%22pid%22%3A%22qd_P_rank_19%22%2C%22eid%22%3A%22%22%2C%22l1%22%3A5%7D; _yep_uuid=6a2ad124-678f-04d3-7195-2e4e9f5c470e; _gid=GA1.2.501012674.1638335311; newstatisticUUID=1638335311_1217304635; _csrfToken=adBfL5dzru0KuzVgLJpxtsE8zQcfgZT8MzKf0aMs; e2=; e1=%7B%22pid%22%3A%22qd_p_qidian%22%2C%22eid%22%3A%22qd_A16%22%2C%22l1%22%3A3%7D; _ga_FZMMH98S83=GS1.1.1638362844.2.1.1638362855.0; _ga_PFYW0QLV3P=GS1.1.1638362844.2.1.1638362855.0; _ga=GA1.2.2025243050.1638335311; _gat_gtag_UA_199934072_2=1'
   }
   url_ = 'https://www.qidian.com/rank/yuepiao/'
   # 请求网页源代码
   str_data = requests.get(url_, headers=headers_).text
   # 使用xpath解析书名
   xml_obj = etree.HTML(str_data)
   # print(get_book_name(
   #     xml_obj))  # ['从红月开始', '人族镇守使', '全属性武道', '深空彼岸', '我的云养女友', '我用闲书成圣人', '明克街13号', '星门', '东晋北府一丘八', '夜的命名术', '这个人仙太过正经', '顶级气运,悄悄修炼千年', '不科学御兽', '我的治愈系游戏', '这游戏也太真实了', '长夜余火', '赤心巡天', '轮回乐园', '合道', '宇宙职业选手']
   # print(get_yuepiao(
   #     str_data))  # ['&#100498;&#100498;&#100496;&#100489;&#100494;', '&#100492;&#100491;&#100496;&#100496;', '&#100492;&#100495;&#100492;&#100497;', '&#100497;&#100489;&#100498;&#100494;', '&#100497;&#100494;&#100491;&#100500;', '&#100497;&#100495;&#100495;&#100489;', '&#100494;&#100497;&#100496;&#100489;', '&#100494;&#100495;&#100497;&#100500;', '&#100494;&#100498;&#100489;&#100495;', '&#100495;&#100494;&#100495;&#100494;', '&#100500;&#100497;&#100497;&#100500;', '&#100500;&#100494;&#100496;&#100499;', '&#100500;&#100500;&#100497;&#100496;', '&#100500;&#100498;&#100497;&#100495;', '&#100500;&#100496;&#100498;&#100496;', '&#100498;&#100492;&#100489;&#100492;', '&#100498;&#100497;&#100492;&#100499;', '&#100498;&#100497;&#100494;&#100499;', '&#100498;&#100494;&#100499;&#100489;', '&#100498;&#100494;&#100495;&#100496;']
   # print(get_font(xml_obj, headers_))
   # 书名列表
   book_name_list = get_book_name(xml_obj)
   # 月票列表
   yuepiao_list = jiemi(get_yuepiao(str_data), get_font(xml_obj, headers_))
   for i in range(len(book_name_list)):
       print(f'{book_name_list[i]}:{yuepiao_list[i]}')

来源:https://blog.csdn.net/m0_46623754/article/details/121663055

标签:python,字体反爬
0
投稿

猜你喜欢

  • python中pandas输出完整、对齐的表格的方法

    2021-03-31 11:13:46
  • Python实现读取文件最后n行的方法

    2023-08-02 10:33:32
  • SQL Server数据库搭建农村信息化的方案

    2009-01-23 14:16:00
  • ASP平台如何打造金牌英文网站

    2008-04-10 08:47:00
  • Django 接收Post请求数据,并保存到数据库的实现方法

    2024-01-13 08:18:56
  • 使用Python判断质数(素数)的简单方法讲解

    2022-07-23 22:34:19
  • Sublime Text4 配置 Python3 环境、代码提示、编译报错的解决方案

    2021-09-24 12:00:03
  • JSON文件及Python对JSON文件的读写操作

    2022-06-18 17:33:51
  • 详解python函数传参是传值还是传引用

    2023-11-13 13:25:58
  • github配置使用指南

    2022-01-05 23:14:49
  • 一个拖动层和Onmouse自动下拉效果

    2007-10-08 21:25:00
  • Python Multiprocessing多进程 使用tqdm显示进度条的实现

    2021-04-03 19:15:08
  • Python实现字典按照value进行排序的方法分析

    2022-11-03 04:27:27
  • ASP对FoxPro自由表(DBF文件)的操作

    2010-05-27 12:20:00
  • python设置Pyplot的动态rc参数、绘图的填充

    2023-12-15 22:52:29
  • asp使用session防止网页频繁刷新

    2007-09-26 14:25:00
  • vue项目持久化存储数据的实现代码

    2024-04-27 15:59:48
  • MySQL 5.0.16的乱码问题解决方法

    2011-12-14 18:33:24
  • 对Python3之进程池与回调函数的实例详解

    2022-07-30 13:07:01
  • python爬取豆瓣评论制作词云代码

    2023-03-14 04:31:40
  • asp之家 网络编程 m.aspxhome.com