Python中使用asyncio 封装文件读写
作者:liyiyang 时间:2022-11-13 03:18:12
前言
和网络 IO 一样,文件读写同样是一个费事的操作。
默认情况下,Python 使用的是系统的阻塞读写。这意味着在 asyncio 中如果调用了
f = file('xx')
f.read()
会阻塞事件循环。
本篇简述如何用 asyncio.Future 对象来封装文件的异步读写。
代码在 GitHub。目前仅支持 Linux。
阻塞和非阻塞
首先需要将文件的读写改为非阻塞的形式。在非阻塞情况下,每次调用 read 都会立即返回,如果返回值为空,则意味着文件操作还未完成,反之则是读取的文件内容。
阻塞和非阻塞的切换与操作系统有关,所以本篇暂时只写了 Linux 版本。如果有过 Unix 系统编程经验,会发现 Python 的操作是类似的。
flag = fcntl.fcntl(self.fd, fcntl.F_GETFL)
if fcntl.fcntl(self.fd, fcntl.F_SETFL, flag | os.O_NONBLOCK) != 0:
raise OSError()
Future 对象
Future 对象类似 Javascript 中的 Promise 对象。它是一个占位符,其值会在将来被计算出来。我们可以使用
result = await future
在 future 得到值之后返回。而使用
future.set_result(xxx)
就可以设置 future 的值,也意味着 future 可以被返回了。await 操作符会自动调用 future.result() 来得到值。
loop.call_soon
通过 loop.call_soon 方法可以将一个函数插入到事件循环中。
至此,我们的异步文件读写思路也就出来了。通过 loop.call_soon 调用非阻塞读写文件的函数。若一次文件读写没有完成,则计算剩余所学读写的字节数,并再次插入事件循环直至读写完毕。
可以发现其就是把传统 Unix 编程里,非阻塞文件读写的 while 循环换成了 asyncio 的事件循环。
下面是这一过程的示意代码。
def read_step(self, future, n, total):
res = self.fd.read(n)
if res is None:
self.loop.call_soon(self.read_step, future, n, total)
return
if not res: # EOF
future.set_result(bytes(self.rbuffer))
return
self.rbuffer.extend(res)
self.loop.call_soon(self.read_step, future, self.BLOCK_SIZE, total)
def read(self, n=-1):
future = asyncio.Future(loop=self.loop)
self.rbuffer.clear()
self.loop.call_soon(self.read_step, future, min(self.BLOCK_SIZE, n), n)
return future
标签:python,asyncio
0
投稿
猜你喜欢
XMLHTTP 使用代理获取数据asp代码
2010-03-22 14:40:00
ubuntu lamp(apache+mysql+php) 环境搭建及相关扩展更新
2023-10-16 03:26:55
Python加pyGame实现的简单拼图游戏实例
2021-12-20 04:31:45
实例讲解Python脚本成为Windows中运行的exe文件
2023-07-15 02:14:31
Echarts.js无法引入问题解决方案
2023-08-12 22:57:26
MySQL修改默认字符集
2010-11-02 12:11:00
python中星号变量的几种特殊用法
2021-03-20 10:57:50
Python学习之魔法函数(filter,map,reduce)详解
2023-03-25 05:32:21
Python3 加密(hashlib和hmac)模块的实现
2022-07-02 08:13:52
python数据类型之间怎么转换技巧分享
2023-09-04 02:38:42
asp 多关键词搜索的简单实现方法
2011-04-11 10:45:00
精细讲述SQL Server数据库备份多种方法
2009-01-13 13:33:00
看看那些名牌LOGO的成长史
2009-03-24 20:37:00
Pycharm操作Git及GitHub的步骤详解
2023-02-19 04:34:59
python 中if else 语句的作用及示例代码
2023-04-17 00:52:35
使用GitHub和Python实现持续部署的方法
2022-07-16 22:54:35
MySql 随机取N条数据
2009-03-17 12:46:00
Python中如何使用if语句处理列表实例代码
2023-11-01 03:12:46
Tag与Tagging
2009-10-15 12:59:00
Python如何读取、写入CSV数据
2022-02-17 14:03:31