python中使用矢量化替换循环详解

作者:梦回丶故里 时间:2023-08-27 00:51:01 

所有编程语言都离不开循环。因此,默认情况下,只要有重复操作,我们就会开始执行循环。但是当我们处理大量迭代(数百万/十亿行)时,使用循环是一种犯罪。您可能会被困几个小时,后来才意识到它行不通。这就是在 python 中实现矢量化变得非常关键的地方。

python中使用矢量化替换循环详解

什么是矢量化?

矢量化是在数据集上实现 (NumPy) 数组操作的技术。在后台,它将操作一次性应用于数组或系列的所有元素(不同于一次操作一行的“for”循环)。

接下来我们使用一些用例来演示什么是矢量化。

求数字之和

##使用循环
import time
start = time.time()

# iterative sum
total = 0
# iterating through 1.5 Million numbers
for item in range(0, 1500000):
   total = total + item

print('sum is:' + str(total))
end = time.time()

print(end - start)

#1124999250000
#0.14 Seconds
## 使用矢量化
import numpy as np

start = time.time()

# vectorized sum - using numpy for vectorization
# np.arange create the sequence of numbers from 0 to 1499999
print(np.sum(np.arange(1500000)))

end = time.time()

print(end - start)

##1124999250000
##0.008 Seconds

与使用范围函数的迭代相比,矢量化的执行时间减少了约 18 倍。在使用 Pandas DataFrame 时,这种差异将变得更加显著。

数学运算

在数据科学中,在使用 Pandas DataFrame 时,开发人员使用循环通过数学运算创建新的派生列。

在下面的示例中,我们可以看到对于此类用例,用矢量化替换循环是多么容易。

DataFrame 是行和列形式的表格数据。

我们创建一个具有 500 万行和 4 列的 pandas DataFrame,其中填充了 0 到 50 之间的随机值。

python中使用矢量化替换循环详解

import numpy as np
import pandas as pd
df = pd.DataFrame(np.random.randint( 0 , 50 , size=( 5000000 , 4 )), columns=( 'a' , 'b' , 'c' , 'd ' ))
df.shape
# (5000000, 5)
df.head()

创建一个新列“ratio”来查找列“d”和“c”的比率。

## 循环遍历
import time
start = time.time()

# 使用 iterrows 遍历 DataFrame
for idx, row in df.iterrows():
   # 创建一个新列
   df.at[idx, 'ratio' ] = 100 * (row[ "d" ] / row[ "c" ])  
end = time.time()
print (end - start)
### 109 秒
## 使用矢量化
start = time.time()
df[ "ratio" ] = 100 * (df[ "d" ] / df[ "c" ])

end = time.time()
print (end - start)
### 0.12 秒

我们可以看到 DataFrame 的显著改进,与Python 中的循环相比,矢量化操作所花费的时间几乎快 1000 倍。

If-else 语句

我们实现了很多需要我们使用“If-else”类型逻辑的操作。我们可以轻松地将这些逻辑替换为 python 中的矢量化操作。

让我们看下面的例子来更好地理解它(我们将使用我们在用例 2 中创建的 DataFrame):

想象一下,我们要根据现有列“a”上的某些条件创建一个新列“e”

## 使用循环
import time
start = time.time()

# 使用 iterrows 遍历 DataFrame
for idx, row in df.iterrows():
   if row.a == 0 :
       df.at[idx, 'e' ] = row.d    
   elif ( row.a <= 25 ) & (row.a > 0 ):
       df.at[idx, 'e' ] = (row.b)-(row.c)    
   else :
       df.at[idx, 'e' ] = row.b + row.c

end = time.time()

print (end - start)
### 耗时:166 秒
## 矢量化
start = time.time()
df[ 'e' ] = df[ 'b' ] + df[ 'c' ]
df.loc[df[ 'a' ] <= 25 , 'e' ] = df [ 'b' ] -df[ 'c' ]
df.loc[df[ 'a' ]== 0 , 'e' ] = df[ 'd' ]end = time.time()
打印(结束 - 开始)
## 0.29007707595825195 秒

与使用 if-else 语句的 python 循环相比,向量化操作所花费的时间快 600 倍。

解决机器学习/深度学习网络

深度学习要求我们解决多个复杂的方程式,而且需要解决数百万和数十亿行的问题。在 Python 中运行循环来求解这些方程式非常慢,矢量化是最佳解决方案。

例如,计算以下多元线性回归方程中数百万行的 y 值:

我们可以用矢量化代替循环。

python中使用矢量化替换循环详解

m1、m2、m3&hellip;&hellip;的值是通过使用与 x1、x2、x3&hellip;&hellip;对应的数百万个值求解上述等式来确定的

python中使用矢量化替换循环详解

python中使用矢量化替换循环详解

import numpy as np
# 设置 m 的初始值
m = np.random.rand( 1 , 5 )

# 500 万行的输入值
x = np.random.rand( 5000000 , 5 )
## 使用循环
import numpy as np
m = np.random.rand(1,5)
x = np.random.rand(5000000,5)

total = 0
tic = time.process_time()

for i in range(0,5000000):
   total = 0
   for j in range(0,5):
       total = total + x[i][j]*m[0][j]

zer[i] = total

toc = time.process_time()
print ("Computation time = "+ str ((toc - tic)) + "seconds" )

####计算时间 = 27.02 秒
## 矢量化
tic = time.process_time()

#dot product
np.dot(x,mT)

toc = time.process_time()
print ( "计算时间 = " + str ((toc - tic)) + "seconds" )

####计算时间 = 0.107 秒

np.dot 在后端实现向量化矩阵乘法。与 Python 中的循环相比,它快 165 倍。

结论

python 中的矢量化速度非常快,无论何时我们处理非常大的数据集,都应该优先于循环。

python中使用矢量化替换循环详解

随着时间的推移开始实施它,您将习惯于按照代码的矢量化思路进行思考。

来源:https://www.51cto.com/article/744265.html

标签:python,矢量化
0
投稿

猜你喜欢

  • asp中通过addnew添加内容后取得当前文章的自递增ID的方法

    2011-02-05 11:05:00
  • Pycharm搭建一个Django项目的方法步骤

    2022-04-12 12:46:41
  • Go编程库Sync.Pool用法示例详解

    2024-02-01 04:48:21
  • 微信小程序时间轴实现方法示例

    2024-04-18 10:02:17
  • Python3 修改默认环境的方法

    2023-04-01 16:23:36
  • 详解go语言中sort如何排序

    2023-09-03 14:00:38
  • python的类变量和成员变量用法实例教程

    2023-10-26 01:09:58
  • 详解mysql建立索引的使用办法及优缺点分析

    2024-01-23 08:48:15
  • python调用系统中应用程序的函数示例

    2021-01-18 11:06:32
  • Python实现的RSS阅读器实例

    2021-11-21 14:46:49
  • 微信小程序实现渐入渐出动画效果

    2024-04-23 09:32:53
  • Python中实现字符串类型与字典类型相互转换的方法

    2021-07-01 20:37:25
  • Python语言的12个基础知识点小结

    2023-08-23 10:12:07
  • SQL Server误区30日谈 第12天 TempDB的文件数和需要和CPU数目保持一致

    2024-01-21 19:07:29
  • Go语言基础知识点介绍

    2024-04-26 17:22:50
  • Vue实现自定义下拉菜单功能

    2024-05-09 15:19:14
  • windows server2016安装MySQL5.7.19解压缩版教程详解

    2024-01-22 01:16:29
  • python+pyqt5编写md5生成器

    2022-03-11 03:06:47
  • Python 通过调用接口获取公交信息的实例

    2023-06-17 21:16:46
  • Python实现控制手机电脑拍照并自动发送邮箱

    2022-10-08 01:52:33
  • asp之家 网络编程 m.aspxhome.com