Python while true实现爬虫定时任务
作者:战俘巡航 时间:2021-02-10 13:35:30
记得以前的windows 任务定时是可以的正常使用的,今天试了下,发现不能正常使用了,任务计划总是挂起。
接下来记录下python 爬虫定时任务的几种解决方法。
今天是第一篇,后面会陆续更新。
首先最容易的是while true死循环挂起,上代码
import osimport timeimport sysfrom datetime import datetime, timedelta
def One_Plan():
# 设置启动周期
Second_update_time = 24 * 60 * 60
# 当前时间
now_Time = datetime.now()
# 设置 任务启动时间
plan_Time = now_Time.replace(hour=9, minute=0, second=0, microsecond=0)
# 设置差值,-1 day, 21:48:53.246576,类似于这样
# time.sleep()需要传入int,所以下面使用.total_seconds()
# 主要用来计算差值,返回int,具体功能可以自行查阅相关资料
delta = plan_Time - now_Time
first_plan_Time = delta.total_seconds() % Second_update_time
print("距离第一次执行需要睡眠%d秒" % first_plan_Time)
return first_plan_Time
# while Ture代码块,挂起程序,睡眠时间结束后调用函数名进行执行
while True:
s1 = One_Plan()
time.sleep(s1)
# 下面这里是自己定义的函数,想跑代码的可以换成hellow world函数或者注释掉这行测试下
exe_file(D_list)
print("正在执行首次更新程序")
个人感觉使用这种方式进行定时计划的启动如果为单个程序,并且一天执行一次的话没什么问题,如果要考虑到一天执行多个任务并且一天需要执行多次,短板一下就凸显出来了,
在工作的情况中还需要考虑到很多因素,比如爬虫程序需要在晚上12点和早上6点,9点,下午3点执行四次,并且需要同时执行4个爬虫,还需要考虑到网络是否稳定,如果程序挂掉该怎么处理等等因素
来源:https://www.cnblogs.com/meipu/p/13049270.html
标签:Python,while,true,爬虫,定时,任务
0
投稿
猜你喜欢
python处理cookie详解
2023-09-27 19:14:36
有关Python的22个编程技巧
2021-04-05 22:58:05
python实现凯撒密码
2022-10-13 07:31:44
python用类实现文章敏感词的过滤方法示例
2022-04-10 19:30:25
Pycharm2020.1安装中文语言插件的详细教程(不需要汉化)
2022-10-16 00:45:24
Python Vaex实现快速分析100G大数据量
2021-05-24 08:48:58
python requests.post带head和body的实例
2022-07-12 01:22:59
python基于paramiko库远程执行 SSH 命令,实现 sftp 下载文件
2022-11-09 23:31:31
轻松解决Mysql“信息包过大”的处理方法
2008-06-07 16:50:00
Pytorch中的backward()多个loss函数用法
2023-11-12 00:19:21
python实现windows壁纸定期更换功能
2022-09-06 15:05:11
Python代码注释规范代码实例解析
2023-03-15 04:59:56
python实现自动解数独小程序
2023-03-28 12:15:19
PyCharm永久激活方式(推荐)
2023-06-12 00:53:33
Ubuntu Server 11.10安装配置lamp(Apache+MySQL+PHP)
2023-11-17 02:55:00
带农历的JavaScript日期时间js代码
2010-08-01 10:29:00
用Css来制作一个漂亮的多选列表框
2008-05-29 12:45:00
跟老齐学Python之用while来循环
2021-01-13 23:38:18
注册表单的细节问题
2008-05-24 08:43:00
基于python图书馆管理系统设计实例详解
2023-06-28 23:44:13