python中用Scrapy实现定时爬虫的实例讲解
作者:宋宋大人 时间:2023-07-26 05:47:01
一般网站发布信息会在具体实现范围内发布,我们在进行网络爬虫的过程中,可以通过设置定时爬虫,定时的爬取网站的内容。使用python爬虫框架Scrapy框架可以实现定时爬虫,而且可以根据我们的时间需求,方便的修改定时的时间。
1、Scrapy介绍
Scrapy是python的爬虫框架,用于抓取web站点并从页面中提取结构化的数据。任何人都可以根据需求方便的修改。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。
2、使用Scrapy框架定时爬取
import time
from scrapy import cmdline
def doSth():
# 把爬虫程序放在这个类里 zhilian_spider 是爬虫的name
cmdline.execute('scrapy crawl zhilian_spider'.split())
# 想几点更新,定时到几点
def time_ti(h=17, m=54):
while True:
now = datetime.datetime.now()
# print(now.hour, now.minute)
if now.hour == h and now.minute == m:
doSth()
# 每隔60秒检测一次
time.sleep(60)
time_ti()
3、更简单的写法
import time
import sys
import os
import datetime
def Dingshi():
while True:
os.system("scrapy crawl lcp")#lcp是我们爬虫的代码名字哦
time.sleep(60)
Dingshi()
知识点扩展:
直接使用Timer类实例代码
import time
import os
while True:
os.system("scrapy crawl News")
time.sleep(86400) #每隔一天运行一次 24*60*60=86400s或者,使用标准库的sched模块
import sched
#初始化sched模块的scheduler类
#第一个参数是一个可以返回时间戳的函数,第二个参数可以在定时未到达之前阻塞。
schedule = sched.scheduler ( time.time, time.sleep )
#被周期性调度触发的函数
def func():
os.system("scrapy crawl News")
def perform1(inc):
schedule.enter(inc,0,perform1,(inc,))
func() # 需要周期执行的函数
def mymain():
schedule.enter(0,0,perform1,(86400,))
if __name__=="__main__":
mymain()
schedule.run() # 开始运行,直到计划时间队列变成空为止关于cmd的实现方法,本人在单次执行爬虫程序时使用的是
cmdline.execute("scrapy crawl News".split())但可能因为cmdline是scrapy模块中自带的,所以定时执行时只能执行一次就退出了。
来源:https://www.py.cn/spider/example/23019.html
标签:python,Scrapy,定时爬虫
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
详解Python中的路径问题
2021-06-05 08:48:45
SQL Server数据库分离和附加数据库的操作步骤
2024-01-27 19:59:23
![](https://img.aspxhome.com/file/2023/0/99980_0s.jpg)
斐波那契数列的递归算法优化
2010-01-23 11:37:00
“验证码”等于“流氓软件”
2007-10-19 18:29:00
![](https://img.aspxhome.com/file/UploadPic/200710/19/20071019183258478s.gif)
python基于celery实现异步任务周期任务定时任务
2021-06-14 05:20:26
![](https://img.aspxhome.com/file/2023/0/109350_0s.png)
pandas 添加空列并赋空值案例
2022-12-04 13:48:16
![](https://img.aspxhome.com/file/2023/1/72091_0s.jpg)
修改mysql默认字符集的两种方法详细解析
2024-01-27 01:48:17
Elasticsearches通过坐标位置实现对附近人的搜索
2023-05-23 16:16:12
Python hashlib加密模块常用方法解析
2022-03-11 05:20:05
Pandas实现DataFrame的简单运算、统计与排序
2022-03-29 02:09:54
python中return如何写
2023-11-17 21:44:56
python实现一个简单的web应用框架
2022-10-16 20:04:58
![](https://img.aspxhome.com/file/2023/0/121360_0s.jpg)
GO的range具体使用
2023-07-21 03:27:27
Python转码问题的解决方法
2023-06-30 07:48:52
opencv python模糊影像检测效果
2021-07-27 04:44:13
![](https://img.aspxhome.com/file/2023/6/80716_0s.jpg)
Python3实现的反转单链表算法示例
2021-09-22 01:33:30
Python如何telnet到网络设备
2023-11-20 09:47:45
![](https://img.aspxhome.com/file/2023/4/112984_0s.gif)
Python中的for循环详情
2022-04-11 04:30:54
![](https://img.aspxhome.com/file/2023/6/88996_0s.png)
Go语言实现遗传算法的实例代码
2024-02-10 01:04:54
用javascript实现的汉字简繁转换功能
2008-05-04 13:15:00