python一些性能分析的技巧

作者:Ujjwal Dalmia 时间:2023-07-24 17:55:36 

当我们开始精通编程语言时,我们不仅希望实现最终目标,而且希望使我们的程序高效。

在这个教程中,我们将学习一些Ipython的命令,这些命令可以帮助我们对Python代码进行时间分析。

注意,在本教程中,我建议使用Anaconda。

1.分析一行代码

要检查一行python代码的执行时间,请使用 %timeit 。下面是一个简单的例子来了解它的工作原理:


#### magics命令%timeit的简单用法
%timeit [num for num in range(20)]

#### 输出
1.08 µs ± 43 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)

主要注意事项:

  • 在要分析的代码行之前使用%timeit

  • 它返回代码运行的平均值和标准偏差。在上面的示例中,执行了7次,每次执行对该代码循环100万次(默认行为)。这需要平均1.08微秒和43纳秒的标准偏差。

  • 在调用magic命令时,可以自定义运行和循环的数量。示例如下:


#### 在%timeit magic命令中自定义运行和循环数
%timeit -r5 -n100 [num for num in range(20)]

1.01 µs ± 5.75 ns per loop (mean ± std. dev. of 5 runs, 100 loops each)

使用命令选项-r和-n,分别表示执行次数和循环次数,我们将时间配置文件操作定制为执行5次和循环100次。

2.分析多行代码

本节向前迈进了一步,并解释了如何分析完整的代码块。通过对%timeit magic命令进行一个小的修改,将单百分比(%)替换为双百分比(%%),就可以分析一个完整的代码块。以下为示例演示,供参考:


#### 使用timeblock%%代码分析
%%timeit -r5 -n1000
for i in range(10):
 n = i**2
 m = i**3
 o = abs(i)

#### 输出
10.5 µs ± 226 ns per loop (mean ± std. dev. of 5 runs, 1000 loops each)

可以观察到for循环的平均执行时间为10.5微秒。请注意,命令选项-r和-n分别用于控制执行次数和循环次数。

3.代码块中的每一行代码进行时间分析

到目前为止,我们只在分析一行代码或代码块时查看摘要统计信息。如果我们想评估代码块中每一行代码的性能呢?使用 Line_profiler 。

Line_profiler包可用于对任何函数执行逐行分析。要使用line_profiler软件包,请执行以下步骤:

安装— Line_profiler 包可以通过简单的调用pip或conda Install来安装。如果使用的是针对Python的anaconda发行版,建议使用conda安装


#### 安装line_profiler软件包
conda install line_profiler

加载扩展—一旦安装,你可以使用IPython来加载line_profiler:


#### 加载line_profiler的Ipython扩展
%load_ext line_profiler

时间分析函数—加载后,使用以下语法对任何预定义函数进行时间分析


%lprun -f function_name_only function_call_with_arguments

语法细节:

  • 对line_profiler的调用以关键字%lprun开始,后跟命令选项-f

  • 命令选项之后是函数名,然后是函数调用

在本练习中,我们将定义一个接受高度(以米为单位)和重量(以磅为单位)列表的函数,并将其分别转换为厘米和千克。


#### 定义函数
def conversion(ht_mtrs, wt_lbs ):
 ht_cms = [ht*100 for ht in ht_mtrs]
 wt_kgs = [wt*.4535 for wt in wt_lbs]

#### 定义高度和重量列表:
ht = [5,5,4,7,6]
wt = [108, 120, 110, 98]

#### 使用line_profiler分析函数
%lprun -f conversion conversion(ht,wt)

---------------------------------------------------------------
#### 输出
Total time: 1.46e-05 s

File: <ipython-input-13-41e195af43a9>

Function: conversion at line 2

Line #   Hits     Time Per Hit  % Time Line Contents
==============================================================
  2    1    105.0  105.0   71.9   ht_cms = [ht*100 for ht in ht_mtrs]
  3    1     41.0   41.0   28.1   wt_kgs = [wt*.4535 for wt in wt_lbs]

输出详细信息:

以14.6微秒为单位(参考第一行输出)

生成的表有6列:

  • 第1列(行#)—代码的行号(请注意,第#1行是故意从输出中省略的,因为它只是函数定义语句)

  • 第2列(命中)—调用该行的次数

  • 第3列(时间)—在代码行上花费的时间单位数(每个时间单位为14.6微秒)

  • 第4列(每次命中平均时间)—第3列除以第2列

  • 第5列(%Time)—在所花费的总时间中,花在特定代码行上的时间百分比是多少

  • 第6列(内容)—代码行的内容

你可以清楚地注意到,高度从米到厘米的转换几乎占了总时间的72%。

结束语

利用每一行代码的执行时间,我们可以部署策略来提高代码的效率。在接下来的3个教程中,我们将分享一些最佳实践来帮助你提高代码的效率。

我希望这篇教程能提供帮助,你能学到一些新东西。

来源:https://segmentfault.com/a/1190000023818385?utm_source=tuicool&utm_medium=referral

标签:python,性能分析
0
投稿

猜你喜欢

  • python通过pil模块将raw图片转换成png图片的方法

    2021-08-25 00:37:31
  • python里将list中元素依次向前移动一位

    2021-03-23 16:53:43
  • 一文详解Python中的super 函数

    2022-02-26 03:18:35
  • pandas数据筛选和csv操作的实现方法

    2022-04-23 15:36:21
  • Vue Echarts实现实时大屏动态数据显示

    2024-04-27 15:52:02
  • python中map()函数使用方法详解

    2022-12-19 13:56:37
  • JavaScript 作用域scope简单汇总

    2024-04-18 10:54:55
  • Python使用Beautiful Soup爬取豆瓣音乐排行榜过程解析

    2023-10-13 08:08:24
  • defineProperty和Proxy基础功能及性能对比

    2024-06-05 09:19:42
  • Python OpenCV超详细讲解透视变换的实现

    2021-08-02 21:19:48
  • Python项目管理Git常用命令详图讲解

    2021-01-24 13:41:38
  • JSP使用MVC模式完成删除和修改功能实例详解

    2024-03-20 03:39:42
  • python和mysql交互操作实例详解【基于pymysql库】

    2024-01-16 01:03:47
  • php设置允许大文件上传示例代码

    2024-05-09 14:47:46
  • 如何利用Python随机从list中挑选一个元素

    2023-08-04 00:05:54
  • opencv实现图像平移效果

    2022-09-30 00:22:06
  • js保留两位小数方法总结

    2023-07-18 17:34:35
  • 解决vue.js在编写过程中出现空格不规范报错的问题

    2024-04-27 16:18:05
  • selenium环境搭建及基本元素定位方式详解

    2021-12-09 14:53:33
  • Python+Turtle实现绘制可爱的小仓鼠

    2022-09-16 20:52:28
  • asp之家 网络编程 m.aspxhome.com