Python采集王者皮肤图片实战示例
作者:极客飞虎 时间:2021-08-02 12:09:23
数据采集
我们上一篇介绍了,如何采集王者最低战力,本文就来给大家介绍如何采集王者皮肤,买不起皮肤,当个桌面壁纸挺好的。下面,我和大家介绍如何获取数据。
确定网址
我们在对王者英雄的主页,进行了分析,我们发现,其网页地址相似,就差一个数字。
https://pvp.qq.com/web201605/herodetail/{ename}.shtml
我们可以把它当作为每个英雄的编号,我们可以从英雄列表获取编号,不过,这里我们直接请求第三方接口数据。
获取英雄编号
html_url ='https://www.sapi.run/hero/getHeroList.php'
datas = requests.get(html_url).json()['data']
for data in datas:
ename = data['ename']
cname = data['cname']
print(ename,cname)
这段代码中,html_url
是一个 URL,指向一个 SAPI 的 Hero 列表页面。requests.get(html_url).json()['data']
返回一个 JSON 对象,其中包含了 Hero 列表页面的数据。ename
和 cname
是 JSON 对象中的两个键值对,分别表示 Hero 的编号
和名字
。
在这段代码中,我们使用了一个 for
循环来遍历 JSON 对象中的每一个键值对,并打印出它们的值。这样就可以得到 Hero 列表页面中所有 Hero 的编号
和名字
。
获取皮肤名称
我们拿到每一个英雄的编号之后,我们就可以访问每一个英雄的主页,我们在其主页可以看到他们的英雄名称和他们的英雄皮肤的地址。我们先获取英雄皮肤的名称。
herodetail_url = f'https://pvp.qq.com/web201605/herodetail/{ename}.shtml'
print(herodetail_url)
res = requests.get(herodetail_url,headers=headers)
res.encoding = 'gbk'
# print(res.text)
pfs = re.findall('data-imgname="(.*?)"',res.text)[0]
pfs=pfs.split('|')
print(pfs)
这段代码中,herodetail_url
是一个 URL,指向一个 Hero 详细页面。requests.get(herodetail_url,headers=headers)
返回一个 JSON 对象,其中包含了 Hero 详细页面的数据。res.encoding = 'gbk'
设置了 JSON 对象的编码方式为 GBK。re.findall('data-imgname="(.*?)"',res.text)[0]
使用正则表达式匹配 Hero 详细页面中的英雄名称,并返回第一个匹配项。pfs
是匹配项的值,它是一个包含英雄名称的列表。
接下来,我们对字段进行处理。
for pf in pfs:
pf = pf.split('&')[0]
# print(pf)
pf_list.append(pf)
print(len(pf_list))
print(pf_list)
我们得到了这样的数据。['正义爆轰', '地狱岩魂', '无尽征程', '寅虎·御盾']
,到了这里,我们皮肤名字就获取下来了。
获取皮肤
pages = len(pfs)
for page in range(1,pages+1):
pf_url = f'http://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/{ename}/{ename}-bigskin-{page}.jpg'
pf_url_list.append(pf_url)
这段代码中,我们首先计算出 Hero 详细页面中图片的数量,然后使用 range
函数生成从 1 到 pages
的整数序列。接下来,我们使用一个循环来遍历这个序列,并将每个图片的 URL 添加到 pf_url_list
列表中。
最后,我们将 pf_url_list
列表中的所有 URL 连接起来,并将它们作为参数传递给 requests.get()
函数,以获取 Hero 详细页面的数据。
到这里,我们把所有皮肤的地址获取了下来。
保存数据
for name,url in zip(pf_list,pf_url_list):
path = f'.//皮肤//{cname}//'
# print(path)
if not os.path.exists(path):
os.mkdir(path)
# print(cname,name,url)
pf_save = requests.get(url,headers=headers)
print(f"path + '{name}.jpg'")
with open(path + f'{name}.jpg', 'wb') as f:
f.write(pf_save.content)
这段代码中,我们首先将 pf_list
和 pf_url_list
两个列表进行了 zip
操作,并将结果存储在 pf_list
和 pf_url_list
两个变量中。然后,我们使用 os.path.exists()
函数来检查 path
目录是否存在,如果不存在,则使用 os.mkdir()
函数创建该目录。接下来,我们使用 requests.get()
函数来获取 pf_url_list
列表中的每个 URL,并将它们作为参数传递给 requests.get()
函数,以获取 pf_list
列表中的每个 URL。
最后,我们使用 with open()
语句打开 path + '{name}.jpg'
文件,并将 pf_save.content
写入该文件中。这样就可以将 pf_list
和 pf_url_list
中的每个 URL 保存到 path + '{name}.jpg'
文件中。
来源:https://juejin.cn/post/7221821674747494437
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
python3使用urllib示例取googletranslate(谷歌翻译)
不用为美化select烦恼模仿combox(select)控件
![](https://img.aspxhome.com/file/UploadPic/20078/4/20078421213719.gif)
多语言网站开发 不完全技术分析
整理Python中常用的conda命令操作
![](https://img.aspxhome.com/file/2023/6/84986_0s.png)
gchart:基于google图表API的jquery组件全攻略:1、入门
![](https://img.aspxhome.com/file/UploadPic/20101/25/chart001-34s.png)
sqlserver 文件数据库和关系数据库的比较
Python爬虫实现抓取京东店铺信息及下载图片功能示例
关于Python中的同步异步阻塞与非阻塞
Python装饰器的应用场景及实例用法
使用Python实现跳一跳自动跳跃功能
![](https://img.aspxhome.com/file/2023/5/101125_0s.jpg)
python可视化大屏库big_screen示例详解
![](https://img.aspxhome.com/file/2023/7/87487_0s.jpg)
浅谈PHP中常用的3种设计模式
Python学习之列表常用方法总结
Python实现线性插值和三次样条插值的示例代码
![](https://img.aspxhome.com/file/2023/2/88862_0s.png)
Python使用Pygame绘制时钟
![](https://img.aspxhome.com/file/2023/5/105625_0s.jpg)
CSS 3入门
![](https://img.aspxhome.com/file/UploadPic/20094/19/e2009418204817-32s.jpg)
如何设计一个成功的网站
网站浏览器兼容的底线
![](https://img.aspxhome.com/file/UploadPic/up/2007122211364863.gif)
Django集成MongoDB实现过程解析
Python WSGI 规范简介
![](https://img.aspxhome.com/file/2023/2/92222_0s.png)