学会迭代器设计模式,帮你大幅提升python性能
作者:TechFlow2019 时间:2023-01-22 12:36:01
大家好,我们的git专题已经更新结束了,所以开始继续给大家写一点设计模式的内容。
今天给大家介绍的设计模式非常简单,叫做iterator,也就是迭代器模式。迭代器是Python语言当中一个非常重要的内容,借助迭代器我们可以很方便地实现很多复杂的功能。在深度学习当中,数据的获取往往也是通过迭代器实现的。因此这部分的内容非常重要,推荐大家一定要掌握。
简单案例
在开始介绍设计模式之前,我们先来看一个简单的需求。假设现在我们需要根据传入的变量获取每周的前几天,比如说我们传入3返回的就是[Mon, Tue, Wed],我们传入5返回[Mon, Tue, Wed, Thu, Fri]。这个需求大家应该都能理解,非常非常简单。
如果用一个函数来实现的话,就是这样:
def return_days(n):
week = ['Mon', 'Tue', 'Wed', 'Thu', 'Fri', 'Sat', 'Sun']
return week[:n]
你看三行代码就实现了,在这个问题场景当中这样写当然是没有问题。但假如我们把题目稍微变一变,这里的week不是一个固定的数据,而是从上游或者是某个文件当中读取的。这里的n也是一个很大的数,我们把这个函数改写成这样:
def get_data(n):
data = []
for i in range(n):
data.append(get_from_upstream())
return data
我们假设get_from_upstream这个函数当中实现了获取数据的具体逻辑,那么上面这一段函数有一个什么问题?
有些同学会说这没有问题啊,因为像是其他语言实现数据获取的时候也都是这么干的。的确,像是Java等语言可能都是这么干的。但是其他语言这么干没错,不代表Python这么干也没错。因为我们没有把Python的能力发挥到最大。
这里有两个问题,第一个问题是延迟,因为前面说了,n是一个很大的数。我们从上游获取数据,无论是通过网络还是文件读取,本质上都是IO操作,IO操作的延迟是非常大的。那么我们把这n条数据全部搜集完可能需要很长的时间,导致下游的漫长等待。第二个问题就是内存,因为我们存储了这n条数据一起返回的,如果n很大,对于内存的开销压力也很大,如果机器内存不够很有可能导致崩溃。
那怎么解决呢?
其实解决的方法很简单,如果对迭代器熟悉的话,会发现迭代器针对的恰恰是这两个问题。我们把上面的逻辑改写成迭代器实现即可,这也就是iterator模式。
iterator模式
iterator模式严格说起来其实只是迭代器的一种应用,它非常巧妙地将迭代器与匿名函数结合在一起,里面也没有太多的门道可以说,我们把刚才的代码改写一下,细节都在代码当中。
def get_data(n):
for i in range(n):
yield get_from_upstream()
data_10 = lambda: get_data(10)
data_100 = lambda: get_data(100)
# use
for d in data_10:
print(d)
很简单吧,但可能你要问了,我们既然写出了get_data这个迭代器,那么我们使用的时候直接for d in get_data(10)这样用不就好了,为什么中间要用匿名函数包一层呢?
道理也很简单,如果这个数据是我们自己使用,当然是没必要中间包一层的。但如果我们是传给下游使用的话,对于下游来说它肯定是不希望考虑上游太多的细节的,越简单越好。所以我们直接丢一个包装好的迭代器过去,下游直接call即可。否则的话,下游还需要感知get_data这个函数传入的参数,显然是不够合理的。
来源:https://www.cnblogs.com/techflow/p/14224887.html


猜你喜欢
Vue项目服务器部署刷新页面404问题及解决

好用的VSCode头部注释插件Fileheader Pro
Python打造虎年祝福神器的示例代码

MySQL服务自动停止的解决方法

让goland支持proto文件类型的实现

mysql 修改表结构 判断并添加column
网页广告 Banner 设计图文手册

什么是python的函数体
go micro微服务proto开发安装及使用规则

Python多重继承之菱形继承的实例详解
深入解析Go语言中for循环的写法

PHP执行linux系统命令的常用函数使用说明
SQL Server 数据库基础编程详解
jmeter实现接口关联的两种方式(正则表达式提取器和json提取器)

Microsoft SQL Server 2000安装问题集锦
Sql Server中的事务介绍
python实现图片加文字水印OPenCV和PIL库

智能录入表格[适合BS模式项目的录入页面]
详谈配置phpstorm完美支持Codeigniter(CI)代码自动完成(代码提示)

零基础写python爬虫之抓取糗事百科代码分享
