利用PyCharm Profile分析异步爬虫效率详解
作者:长江CJ 时间:2023-08-15 03:02:58
今天比较忙,水一下
下面的代码来源于这个视频里面提到的,github 的链接为:github.com/mikeckenned…(本地下载)
第一个代码如下,就是一个普通的 for 循环爬虫。原文地址。
import requests
import bs4
from colorama import Fore
def main():
get_title_range()
print("Done.")
def get_html(episode_number: int) -> str:
print(Fore.YELLOW + f"Getting HTML for episode {episode_number}", flush=True)
url = f'https://talkpython.fm/{episode_number}'
resp = requests.get(url)
resp.raise_for_status()
return resp.text
def get_title(html: str, episode_number: int) -> str:
print(Fore.CYAN + f"Getting TITLE for episode {episode_number}", flush=True)
soup = bs4.BeautifulSoup(html, 'html.parser')
header = soup.select_one('h1')
if not header:
return "MISSING"
return header.text.strip()
def get_title_range():
# Please keep this range pretty small to not DDoS my site. ;)
for n in range(185, 200):
html = get_html(n)
title = get_title(html, n)
print(Fore.WHITE + f"Title found: {title}", flush=True)
if __name__ == '__main__':
main()
这段代码跑完花了37s,然后我们用 pycharm 的 profiler 工具来具体看看哪些地方比较耗时间。
点击Profile (文件名称)
之后获取到得到一个详细的函数调用关系、耗时图:
可以看到 get_html 这个方法占了96.7%的时间。这个程序的 IO 耗时达到了97%,获取 html 的时候,这段时间内程序就在那死等着。如果我们能够让他不要在那儿傻傻地等待 IO 完成,而是开始干些其他有意义的事,就能节省大量的时间。
稍微做一个计算,试用asyncio异步抓取,能将时间降低多少?
get_html这个方法耗时36.8s,一共调用了15次,说明实际上获取一个链接的 html 的时间为36.8s / 15 = 2.4s。**要是全异步的话,获取15个链接的时间还是2.4s。**然后加上get_title这个函数的耗时0.6s,所以我们估算,改进后的程序将可以用 3s 左右的时间完成,也就是性能能够提升13倍。
再看下改进后的代码。原文地址。
import asyncio
from asyncio import AbstractEventLoop
import aiohttp
import requests
import bs4
from colorama import Fore
def main():
# Create loop
loop = asyncio.get_event_loop()
loop.run_until_complete(get_title_range(loop))
print("Done.")
async def get_html(episode_number: int) -> str:
print(Fore.YELLOW + f"Getting HTML for episode {episode_number}", flush=True)
# Make this async with aiohttp's ClientSession
url = f'https://talkpython.fm/{episode_number}'
# resp = await requests.get(url)
# resp.raise_for_status()
async with aiohttp.ClientSession() as session:
async with session.get(url) as resp:
resp.raise_for_status()
html = await resp.text()
return html
def get_title(html: str, episode_number: int) -> str:
print(Fore.CYAN + f"Getting TITLE for episode {episode_number}", flush=True)
soup = bs4.BeautifulSoup(html, 'html.parser')
header = soup.select_one('h1')
if not header:
return "MISSING"
return header.text.strip()
async def get_title_range(loop: AbstractEventLoop):
# Please keep this range pretty small to not DDoS my site. ;)
tasks = []
for n in range(190, 200):
tasks.append((loop.create_task(get_html(n)), n))
for task, n in tasks:
html = await task
title = get_title(html, n)
print(Fore.WHITE + f"Title found: {title}", flush=True)
if __name__ == '__main__':
main()
同样的步骤生成profile 图:
可见现在耗时为大约3.8s,基本符合我们的预期了。
来源:https://juejin.im/post/5cc05c005188250a912b2800
标签:pycharm,python,爬虫
0
投稿
猜你喜欢
Mysql数据库之索引优化
2024-01-23 19:27:40
MS SQL Server中的CONVERT日期格式化大全
2010-08-07 11:31:00
python实践项目之监控当前联网状态详情
2022-06-05 02:02:57
交互设计实用指南系列(10)—别让我思考
2010-03-01 12:50:00
JavaScript中const、var和let区别浅析
2024-05-09 15:03:15
SQL的substring_index()用法实例(MySQL字符串截取)
2024-01-27 19:30:19
vue2.0 解决抽取公用js的问题
2024-05-28 15:59:28
Python无头爬虫下载文件的实现
2023-11-30 03:24:00
opencv实现回形遍历像素算法
2021-12-26 01:49:30
pandas 数据索引与选取的实现方法
2021-07-09 17:37:44
python合并多个excel的详细过程
2023-10-03 14:39:26
提升网站可用性的3个忠告
2008-01-31 13:48:00
用好Frontpage中的各种回车
2008-02-21 14:33:00
Python数据可视化 pyecharts实现各种统计图表过程详解
2022-04-08 17:28:37
Python3逻辑运算符与成员运算符
2021-03-29 18:59:14
vue从后台渲染文章列表以及根据id跳转文章详情详解
2024-04-30 10:39:01
python爬取51job中hr的邮箱
2022-11-06 14:00:54
python Pygame的具体使用讲解
2021-01-15 21:41:26
Python可视化神器pyecharts之绘制地理图表练习
2022-08-12 10:20:00
FrontPage2002简明教程八:站点的管理
2008-09-17 11:36:00