Python实现监控内存使用情况和代码执行时间

作者:deephub 时间:2023-05-02 15:42:02 

我的代码的哪些部分运行时间最长、内存最多?我怎样才能找到需要改进的地方?”

在开发过程中,我很确定我们大多数人都会想知道这一点,而且通常情况下存在开发空间。在本文中总结了一些方法来监控 Python 代码的时间和内存使用情况。

Python实现监控内存使用情况和代码执行时间

本文将介绍4种方法,前3种方法提供时间信息,第4个方法可以获得内存使用情况。

  • time 模块

  • %%time 魔法命令

  • line_profiler

  • memory_profiler

time 模块

这是计算代码运行所需时间的最简单、最直接(但需要手动开发)的方法。他的逻辑也很简单:记录代码运行之前和之后的时间,计算时间之间的差异。这可以实现如下:

importtime

start_time=time.time()
result=5+2
end_time=time.time()

print('Time taken = {} sec'.format(end_time-start_time))

下面的例子显示了for循环和列表推导式在时间上的差异:

importtime

# for loop vs. list comp
list_comp_start_time=time.time()
result= [iforiinrange(0,1000000)]
list_comp_end_time=time.time()
print('Time taken for list comp = {} sec'.format(list_comp_end_time-list_comp_start_time))

result=[]
for_loop_start_time=time.time()
foriinrange(0,1000000):
    result.append(i)
for_loop_end_time=time.time()
print('Time taken for for-loop = {} sec'.format(for_loop_end_time-for_loop_start_time))

list_comp_time=list_comp_end_time-list_comp_start_time
for_loop_time=for_loop_end_time-for_loop_start_time
print('Difference = {} %'.format((for_loop_time-list_comp_time)/list_comp_time*100))

我们都知道for会慢一些

Time taken for list comp = 0.05843973159790039 sec
Time taken for for-loop = 0.06774497032165527 sec
Difference = 15.922795107582594 %

%%time 魔法命令

魔法命令是IPython内核中内置的方便命令,可以方便地执行特定的任务。一般情况下都实在jupyter notebook种使用。

在单元格的开头添加%%time ,单元格执行完成后,会输出单元格执行所花费的时间。

%%time
defconvert_cms(cm, unit='m'):
    '''
    Function to convert cm to m or feet
    '''
    ifunit=='m':
        returncm/100
    returncm/30.48

convert_cms(1000)

结果如下:

CPU times: user 24 µs, sys: 1 µs, total: 25 µs
 Wall time: 28.1 µs
 
 Out[8]: 10.0

这里的CPU times是CPU处理代码所花费的实际时间,Wall time是事件经过的真实时间,在方法入口和方法出口之间的时间。

line_profiler

前两个方法只提供执行该方法所需的总时间。通过时间分析器我们可以获得函数中每一个代码的运行时间。

这里我们需要使用line_profiler包。使用pip install line_profiler。

importline_profiler

defconvert_cms(cm, unit='m'):
    '''
    Function to convert cm to m or feet
    '''
    ifunit=='m':
        returncm/100
    returncm/30.48

# Load the profiler
%load_extline_profiler

# Use the profiler's magic to call the method
%lprun-fconvert_cmsconvert_cms(1000, 'f')

输出结果如下:

Timer unit: 1e-06 s
 
 Total time: 4e-06 s
 File: /var/folders/y_/ff7_m0c146ddrr_mctd4vpkh0000gn/T/ipykernel_22452/382784489.py
 Function: convert_cms at line 1
 
 Line #      Hits         Time  Per Hit   % Time  Line Contents
 ==============================================================
      1                                           def convert_cms(cm, unit='m'):
      2                                               '''
      3                                               Function to convert cm to m or feet
      4                                               '''
      5         1          2.0      2.0     50.0      if unit == 'm':
      6                                                   return cm/100
      7         1          2.0      2.0     50.0      return cm/30.48

可以看到line_profiler提供了每行代码所花费时间的详细信息。

  • Line Contents :运行的代码

  • Hits:行被执行的次数

  • Time:所花费的总时间(即命中次数x每次命中次数)

  • Per Hit:一次执行花费的时间,也就是说 Time = Hits X Per Hit

  • % Time:占总时间的比例

可以看到,每一行代码都详细的分析了时间,这对于我们分析时间相当的有帮助。

memory_profiler

与line_profiler类似,memory_profiler提供代码的逐行内存使用情况。

要安装它需要使用pip install memory_profiler。我们这里监视convert_cms_f函数的内存使用情况

from conversions import convert_cms_f
import memory_profiler

%load_ext memory_profiler

%mprun -f convert_cms_f convert_cms_f(1000, 'f')

convert_cms_f函数在单独的文件中定义,然后导入。结果如下:

Line #    Mem usage    Increment  Occurrences   Line Contents
 =============================================================
      1     63.7 MiB     63.7 MiB           1   def convert_cms_f(cm, unit='m'):
      2                                             '''
      3                                             Function to convert cm to m or feet
      4                                             '''
      5     63.7 MiB      0.0 MiB           1       if unit == 'm':
      6                                                 return cm/100
      7     63.7 MiB      0.0 MiB           1       return cm/30.48

memory_profiler 提供对每行代码内存使用情况的详细了解。

这里的1 MiB (MebiByte) 几乎等于 1MB。1 MiB = 1.048576 1MB

但是memory_profiler 也有一些缺点:它通过查询操作系统内存,所以结果可能与 python 解释器略有不同,如果在会话中多次运行 %mprun,可能会注意到增量列报告所有代码行为 0.0 MiB。这是因为魔法命令的限制导致的。

虽然memory_profiler有一些问题,但是它就使我们能够清楚地了解内存使用情况,对于开发来说是一个非常好用的工具

来源:https://segmentfault.com/a/1190000043356545

标签:Python,监控,内存
0
投稿

猜你喜欢

  • AJAX快速入门之HTTP协议基础

    2008-01-16 19:04:00
  • MySQL 1303错误的解决方法(navicat)

    2024-01-25 21:24:42
  • SQL中位数函数实例

    2024-01-25 17:21:55
  • 在PyCharm中实现添加快捷模块

    2023-04-22 11:30:58
  • Python矩阵常见运算操作实例总结

    2021-05-29 18:26:38
  • Python查看微信撤回消息代码

    2023-06-12 04:13:44
  • 在Linux系统的命令行中为MySQL创建用户的方法

    2024-01-18 00:52:30
  • Django 查询数据库并返回页面的例子

    2024-01-15 20:08:37
  • python 删除列表里所有空格项的方法总结

    2023-01-28 19:37:24
  • php线性表顺序存储实现代码(增删查改)

    2023-11-19 06:51:53
  • Golang精编49面试题汇总(选择题)

    2023-07-12 23:49:44
  • golang 中strings包的Replace的使用说明

    2024-02-09 16:02:04
  • Python二分查找详解

    2023-01-14 16:25:51
  • JS的Form表单转JSON格式的操作代码

    2023-07-02 05:24:03
  • Django Auth用户认证组件实现代码

    2022-05-02 18:06:01
  • 一篇文章教会你PYcharm的用法

    2023-06-30 14:18:56
  • 利用Python自制网页并实现一键自动生成探索性数据分析报告

    2023-01-19 13:20:12
  • Python3之字节串bytes与字节数组bytearray的使用详解

    2021-07-15 21:37:00
  • Python常见文件操作的函数示例代码

    2022-04-18 06:51:51
  • oracle数据库下统计专营店的男女数量的语句

    2024-01-17 04:18:17
  • asp之家 网络编程 m.aspxhome.com