python设置检查点简单实现代码
作者:mdxy-dxy 时间:2023-09-25 19:08:44
说检查点,其实就是对过去历史的记录,可以认为是log.不过这里进行了简化.举例来说,我现在又一段文本.文本里放有一堆堆的链接地址.我现在的任务是下载那些地址中的内容.另外因为网络的问题或者网站的问题,每次下载可能不会非常的成功.有可能出现断链或者socket异常错误。不过不管产生什么样的错误,我都希望我的程序能够一直跑下去。或者能停掉后,继续从为下载的链接处跑。而不是从开始的地方跑。这个问题非常简单。因为这些链接是上下文无关的(上下文有关的情况要另外分析)。所以我只要记录程序运行停止前的最后一条,就有希望能够延续前面的工作。这里实现中使用的是记录原有的链接,大家也可以使用计数器的方法来记录。代码如下:
# 这个异常是原文本内容中未出现检查点内容出现造成的
class CheckPointMissContentError:
pass
# 将文件读取指针fd移至到检查点对应的内容处
# check point 的规则为,读取文件一行或者多行,进行操作后,将此一行或多行送入
# 检查文件check_point中。以后再次运行程序,即可从该检查点处继续运行。
def GoCheckPoint(fd,check_point):
if not os.path.isfile(check_point):
f_check = open(check_point,'w')
f_check.close()
f_check = open(check_point,'r')
lines = f_check.readlines()
if len(lines) > 0:
check_content = lines[-1] #找到检查点最后一行
check_content = check_content.strip(' /n/r')
# go to check point
while True:
content = fd.readline()
if content == '': # eof
raise CheckPointMissContentError
if content.strip(' /n/r') == check_content:
break
f_check.close()#关闭检查点
有了上面一段还是不够的,需要下面的代码补充:
# 伪代码
def Download(downloadlist,sleep_time):
if os.path.isfile(downloadlist):
f = open(downloadlist)
# check_point file name,这里为自动生成一个检查点文件
check_point = file[0:file.rfind('.')]+'_check.txt'
Util.GoCheckPoint(f,check_point) #这就是上面代码中的GoCheckPoint函数
f_check = open(check_point,'a')# 以追加方式写入
try:
while True:
content = f.readline()
if content == '': # eof
break
content = content.strip(' /n/r')
if content != '':
# has download url
time.sleep(sleep_time)
DownloadOper(path,url) #这里是伪代码..可以认为是urllib.request.retrieve()函数或者是urllib.request.urlopen()啥的
# 作为响应的操作后再将内容写入检查点文件
f_check.write(content+'/n')
f_check.flush() # 必须的,否则会缓存,不会写入硬盘中
except : # 蹦个异常也不怕,以后再次按F5执行即可
raise Exception()
return Util.FAILURE # 这是我设置的常量,大家认为是0或者1就可以了
finally:
f.close()
f_check.close()# 关闭文件
print('Downloading is done........................')
return Util.SUCCESS
执行完操作之后再写入到检查点文件中。以后程序挂掉,只要检查点文件还在,就可以延续前面的工作。不过这里的检查点相对于数据库中事务处理的检查点还是太简单了点。
标签:python,检查点
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
Python之读取TXT文件的方法小结
2022-10-25 16:11:34
pytorch: Parameter 的数据结构实例
2022-10-19 22:28:22
python机器学习GCN图卷积神经网络原理解析
2022-09-29 06:36:14
![](https://img.aspxhome.com/file/2023/4/99614_0s.png)
python3将视频流保存为本地视频文件
2023-07-26 12:14:45
![](https://img.aspxhome.com/file/2023/1/89281_0s.jpg)
五分钟带你搞懂python 迭代器与生成器
2021-08-24 19:25:10
完美卸载Oracle数据库
2024-01-18 02:50:27
![](https://img.aspxhome.com/file/2023/2/64852_0s.png)
Go语言学习之指针的用法详解
2024-02-12 06:56:10
MySQL判断时间段是否重合的两种方法
2024-01-21 02:41:05
![](https://img.aspxhome.com/file/2023/9/124569_0s.png)
Python进阶:生成器 懒人版本的迭代器详解
2021-12-21 16:08:05
什么是Python中的顺序表
2021-07-12 22:17:47
![](https://img.aspxhome.com/file/2023/8/115138_0s.png)
Django model反向关联名称的方法
2021-03-06 17:21:28
PHP编码转换函数 自动转换字符集支持数组转换
2024-05-02 17:33:28
Mysql5.7如何修改root密码
2024-01-26 21:22:28
Python一阶马尔科夫链生成随机DNA序列实现示例
2021-06-23 07:42:22
![](https://img.aspxhome.com/file/2023/5/112095_0s.png)
Python中用format函数格式化字符串的用法
2022-04-17 03:02:06
Python常见MongoDB数据库操作实例总结
2023-07-08 08:48:34
为什么MySQL选择Repeatable Read作为默认隔离级别
2024-01-13 01:09:26
![](https://img.aspxhome.com/file/2023/6/122936_0s.jpg)
python画环形图的方法
2023-02-12 09:54:24
![](https://img.aspxhome.com/file/2023/2/66742_0s.jpg)
Django连接本地mysql数据库(pycharm)的步骤
2024-01-20 05:05:39
![](https://img.aspxhome.com/file/2023/0/103000_0s.png)
Go语言实现牛顿法求平方根函数的案例
2024-03-27 00:04:56
![](https://img.aspxhome.com/file/2023/5/107355_0s.jpg)