用Python实现一个简单的线程池

作者:goldensun 时间:2023-09-21 15:14:56 

线程池的概念是什么?

在面向对象编程中,创建和销毁对象是很费时间的,因为创建一个对象要获取内存资源或者其它更多资源。在Java中更是 如此,虚拟机将试图跟踪每一个对象,以便能够在对象销毁后进行垃圾回收。所以提高服务程序效率的一个手段就是尽可能减少创建和销毁对象的次数,特别是一些 很耗资源的对象创建和销毁。如何利用已有对象来服务就是一个需要解决的关键问题,其实这就是一些"池化资源"技术产生的原因。

我理解为线程池是一个存放很多线程的单位,同时还有一个对应的任务队列。整个执行过程其实就是使用线程池中已有有限的线程把任务 队列中的任务做完。这样做的好处就是你不需要为每个任务都创建一个线程,因为当你创建第100个线程来执行第100个任务的时候,可能前面已经有50个线 程结束工作了。因此重复利用线程来执行任务,减少系统资源的开销。

一个不怎么恰当的比喻就是,有100台电脑主机箱需要从1楼搬到2楼,你不需要喊来100人帮忙搬,你只需要叫十个或者二十个人就足以,每个人分配十个或者五个甚至是谁搬的快谁就多搬知道完成未知。(这个比喻好像。。。。。)

不管如何吧,大体上理解了线程池的概念。那么怎么用python实现呢?

代码如下
 


# !/usr/bin/env python
# -*- coding:utf-8 -*-
# ref_blog:http://www.open-open.com/home/space-5679-do-blog-id-3247.html
import Queue
import threading
import time
class WorkManager(object):
 def __init__(self, work_num=1000,thread_num=2):
   self.work_queue = Queue.Queue()
   self.threads = []
   self.__init_work_queue(work_num)
   self.__init_thread_pool(thread_num)
 """
   初始化线程
 """
 def __init_thread_pool(self,thread_num):
   for i in range(thread_num):
     self.threads.append(Work(self.work_queue))
 """
   初始化工作队列
 """
 def __init_work_queue(self, jobs_num):
   for i in range(jobs_num):
     self.add_job(do_job, i)
 """
   添加一项工作入队
 """
 def add_job(self, func, *args):
   self.work_queue.put((func, list(args)))#任务入队,Queue内部实现了同步机制
 """
   检查剩余队列任务
 """
 def check_queue(self):
   return self.work_queue.qsize()
 """
   等待所有线程运行完毕
 """
 def wait_allcomplete(self):
   for item in self.threads:
     if item.isAlive():item.join()
class Work(threading.Thread):
 def __init__(self, work_queue):
   threading.Thread.__init__(self)
   self.work_queue = work_queue
   self.start()
 def run(self):
   #死循环,从而让创建的线程在一定条件下关闭退出
   while True:
     try:
       do, args = self.work_queue.get(block=False)#任务异步出队,Queue内部实现了同步机制
       do(args)
       self.work_queue.task_done()#通知系统任务完成
     except Exception,e:
       print str(e)
       break
#具体要做的任务
def do_job(args):
 print args
 time.sleep(0.1)#模拟处理时间
 print threading.current_thread(), list(args)
if __name__ == '__main__':
 start = time.time()
 work_manager = WorkManager(10, 2)#或者work_manager = WorkManager(10000, 20)
 work_manager.wait_allcomplete()
 end = time.time()
 print "cost all time: %s" % (end-start)

这个代码清晰易懂。

整个代码只有两个类:WorkManager和Work,前者确实如命名所示,是一个管理者,管理线程池和任务队列,而后者就是具体的一个线程。

它的整个运行逻辑就是,给WorkManager分配制定的任务量和线程数,然后每个线程都从任务队列中获取任务来执行,直到队列中没有任务。这里面也用到了Queue内部的同步机制(至于是啥同步机制目前还没去研究)。

总结一下这样一个线程池的作用,对于我本来的目的其实这个东西是永不上的,因为我需要在web页面来控制线程的启动和停止,而这个线程池看起来只是用来并发完任务的。不过我想虽然在控制线程方面没有作用,但是它的并发执行任务的作用还是蛮不错,或许可以用在爬网页的部分。

标签:Python,线程
0
投稿

猜你喜欢

  • pygame实现键盘的连续监控

    2023-09-26 11:17:10
  • mysql having用法解析

    2024-01-20 00:45:28
  • Hugo Config模块构建实现源码剖析

    2024-05-09 09:48:03
  • 使用Python爬取小姐姐图片(beautifulsoup法)

    2022-05-02 04:01:44
  • 带有定位当前位置的百度地图前端web api实例代码

    2024-05-08 10:11:56
  • php输出文字乱码的解决方法

    2023-11-11 07:40:08
  • Python 字典dict使用介绍

    2021-09-23 16:58:51
  • 简述python Scrapy框架

    2022-07-13 06:19:30
  • 简单谈谈php延迟静态绑定

    2024-06-05 15:42:33
  • 使用python3实现操作串口详解

    2021-10-21 18:32:41
  • JS定时器实例

    2024-04-29 13:25:21
  • CSS技巧及常见问题列表

    2008-04-06 14:00:00
  • Python如何实现大型数组运算(使用NumPy)

    2023-05-11 21:49:05
  • Python调用API接口实现人脸识别

    2022-09-10 22:42:20
  • 浅谈配置OpenCV3 + Python3的简易方法(macOS)

    2023-03-26 02:35:36
  • MySQL重定位数据目录的方法

    2024-01-19 02:51:57
  • mysql 8.0.12 安装图文教程

    2024-01-28 05:19:04
  • Golang初始化MySQL数据库方法浅析

    2024-01-16 23:49:20
  • Python中使用PyQt把网页转换成PDF操作代码实例

    2021-12-04 11:31:19
  • Magic Photo Frame 神奇创意相框

    2009-09-15 20:45:00
  • asp之家 网络编程 m.aspxhome.com